如此滞留，渐成常有之事。日子渐久，消息不胜而走，传到左大臣邸中。于是葵姬的侍女们便愤愤不平：“这女子究竟是何等模样之人？令公子如此痴迷！连名字都不曾听说，可见也非身份高贵的上流女子。定是公子一时心血来潮，于它中见到这个侍女，伯世人非议，故予以隐藏，对外人说是他收留的小孩子。”

不久，皇上也闻知此事，觉得对不住左大臣。一日，他对源氏公子说道：“难怪左大臣心情不快。当你年事尚幼时，他就尽心尽力照顾你。你现在已经长大，也该晓事了，怎会做出这等忘恩背义之事呢？”公子只管低头不语。皇上见他并不分辩，便推想他大概和葵姬感情不惬，又可怜起他来，说道：“我看你也并非品行不端，四处沾花惹草之人；也不曾听得你和宫女们及其他女人有何瓜葛。你到底干了些什么，让你的岳父和妻子都怨恨你呢？”

皇上虽然年事已高，却并未疏离女人。宫中美女如云，采女和女藏人中，也有不少姿色美好，聪明伶俐的。公子倘若略有表示，这些女人恐怕也会趋之若鹜。可大概是熟视无睹吧，他对她们很冷淡。间或这些女子忍耐不住用风情话来撩拨他，他也只是敷衍一番而已。这样，宫女们皆传言他冷若冰霜，无情无义。

却说其中有一个上了年纪的宫女，叫做源内侍，出身荣贵，才艺优越，名望也很高。就是芳心未老，生性风骚，放纵于色情。源氏公子甚是奇怪：年纪如此大了，何以这般放荡？一时心血来潮，便与她戏言了几句，哪知她即刻回应，决无逊色之感。公子那时正好闲极无聊，想这老女也许别具风味吧。一念之下，便偷偷和她私通了。但又怕外人察知，笑他连老女人也不肯放过，故而表面上很冷落她。这老女便引为恨事。

一日，内侍替皇上梳发。梳好之后，皇上便召唤掌管衣服的宫女，入内换装去了。此时室内仅公子和内侍两人。公子见这内侍打扮得比平日更为风流：脂粉浓艳，衣服华美，体态风骚。他心中甚感不悦，心想：“这般老衰还要强装年少，也太不像样了！”然而又不肯就此罢休，想道：“她心里到底在想什么？”便伸手将她的衣裾拉了一把。但见她抿口一笑，将一把艳丽的纸扇掩住了口，回头递出一个秋波，娇羞不已，风情万种。可是那眼睑已经深深地凹进，颜色发黑；头发蓬松散乱。公子不由心生感叹：“这鲜丽的扇子和这衰老的面容，也实在不般配呢！”便伸手将扇子拿下。但见扇面艳丽，底色深红，上面树木繁茂，且皆用泥金色调，旁边还题有一首古歌：“林下衰草何憔悴，驹不食兮人不周。”笔致苍老。源氏公子见了感到好笑，想道：“此老女自比衰草，也不无风趣，但尽可题别的诗句，何必用这大煞风景的歌词呢？”一便戏言道：“哪有这等说法？有道是‘试听杜宇正飞鸣，夏日都来宿此林’。”但这老女却不以为然，随口吟道：

“请近看密林荫草，盼君只为好饲驹。”吟时搔首弄姿，一副急不可耐的样子。源氏公子急欲脱身，胡乱吟道：