上官侍郎家的这名宠妾说话硬气乃是有缘故的，并非只是受宠而已；这女子大名谢三娘，正是那“旧时王谢堂前燕”的谢家，虽则家道没落已久，乃至为人妾室，但教养气节仍在。谢氏收养了萝瑟女之后，丈夫上官亦不能如何。这家大妇颜色已衰，一生未出，性格温柔软弱，在家没有权势；加上这新妾人格远远超过主人主母，两年来家中的大小原是听从谢三娘的，却也不怪，若是这家中能添丁，也是这位谢夫人的儿女，故而人人趋炎附势。
萝瑟奴大难不死，留在谢夫人身边，名字中的“奴”也去掉，直称萝瑟；虽然名上是个侍女，夫人知道她是个音乐奇才，从不令她沾染一点阳春水，免得以后回宫任职时双手不再灵活。两人在闺房中时，谢夫人称她为妹妹，萝瑟不会说话，却会笑着点头。
波斯人爱以花名女，那九死一生的幼儿，萝瑟替她取名为牡丹。因为波斯语中没有牡丹一词，她在巾子上绣了“天国之花”的波斯语，读作阿瑟芒斡朵。她知道唐人最怜爱的就是此花，绝不会令牡丹遭受一点风雨摧残。谢夫人指着巾帕上的文字问她给女儿取了何名，她站起来伸出手点了点窗外盛开的牡丹花。
她手指的正是姚黄牡丹，与魏紫并占牡丹鳌头，此时正是仲春花好。谢夫人笑着点头，道：“如此，她也有个汉人名字，叫做黄楼。”黄楼子是姚黄别称。从此谢夫人总是抱着这女儿穿行在花园，“黄楼儿”、“黄楼子”这样唤她，女孩儿也十分聪慧，三个月时便会应答。萝瑟不能出声，但能令女儿小手摸着她的双唇，教她念若干波斯词语，若是黄楼模仿出来，萝瑟便激动得落下泪来，教育这小小女儿竟是她能听到乡音的唯一途径。
及黄楼十月大时，安庆绪出逃邺城，官军收复洛阳，接连迫降斩杀安氏一族手下将领数人，连胜回朝，肃宗归都长安。既然唐军到、新帝归，那么马上就要彻查变节徒了。上官宅上下闻军马蹄声便溃不成行，谢夫人令萝瑟带黄楼去寻王维先生，谁知王维毕竟受过伪职，此刻也被当作变节叛党押回都城去了。官兵收复后，洛阳的城禁森严，虽一蚁不能出入。叛党被一家一户抄送押往京师，竟搜到次年四月才搜空，将上官一家装车送往长安。
黄楼已经一岁有余，一路上指着押解兵身上的铠甲呀呀儿语，喊“要”、“要”。每每如此，便让萝瑟想起曾经被叛军欺侮的日子来，泪流不止，谢夫人只得抱过孩子要她安静一些。但这女孩儿十分坚持，每见到着铠甲的兵卒，都喊要穿。
大约就是从那时开始，一家人就知道这夷女与平常人不同，隐隐约约中又不敢替她的人生下什么断语，只知道这女儿会有很多年都在战乱中度过，她将一生与兵甲为伴。
颠沛流离来到长安城，国都仍在，宫阙已经化作飞烟。上官侍郎家一行收押进天牢时，恰又逢王维的牢房正在对面，重逢时分不禁百感交集。王维自上次离去，还未见过黄楼，此时见这小小女儿竟然也身陷囹圄，一时不知究竟是救了她还是害了她。然而谢夫人此时一句话说出来，更是令狱中一片死寂。
“若是皇帝想要处死我们一家，已出世的女儿尚且可以充做宫奴留下一条命，但我腹中未出生的孩儿却要不幸与我一起去死了。”
此时，谢夫人有孕才两个月，这孩儿将是上官家唯一的后继。
王维还记得先前谢夫人对他说过的一番话，当下虽然缄默，但心中已经下了决心，若是自己能向皇帝讨回清白，不但要救那名胡女，也要救谢夫人的孩儿。他到底不是真的变节！
果真被他赌回一条命——那夜雷海青被害，他曾写过“万户伤心生野烟，百官何日再朝天？秋槐花落空宫里，凝碧池头奏管弦”的句子，传到肃宗耳里，知道他身在伪朝有许多不得已。又因为弟弟王缙平叛有功，已官至刑部侍郎，却宁可自己削爵回庶，换他重回宫廷。肃宗谅他向来淡泊，不是势利之徒，同意将他重新收编，做太子中允，比原来官等只是稍降。
判下，他失声痛哭，只说狱中还有一些文稿忘了取出，恳求上允回狱取物。他折回大牢，趁狱卒不注意，递给萝瑟一支竹笛，再未说别的。
-------------------------
复了官职，他带着新墨未干的字画去见肃宗。他向来不切切于表忠心，但这一次不是为了自己。从太上皇到朝上百官，谁不爱他的墨宝，但放在以前他只在京郊自己的别墅里裱挂，遇到知心的酒友才会赠送。
肃宗见了他，到底还是怜爱的。当朝最受重用的行军司马李泌也和他一般不爱出仕途而爱青山，此值两京收复之际，却上奏要归隐；为这一事，他无人商量，王维来找他倒是正好。
君臣二人于是斟了酒，一面叙旧往日开元天宝的胜景，一面谈起司马归山一事。说到伤心之处，相顾无言。肃宗李亨做太子时就是个软弱之人，唯玄宗是瞻；现在虽然归国，又遇到后宫宦臣弄权，以致自己的良相竟然要因此辞官；又说到太上皇至今未能回京一事，不知现在在南国几多伤怀，席间数度流涕。
王维便说：“太上皇旧时爱好音律，不知如今箫管鼓乐还能否使上一笑？”
肃宗只是叹了一口气：“卿也见了，大明宫被烧成那样，存在其中的乐谱还剩几何？此前那些乐官舞伎也都被叛党掳去，现在剩下的这批也演不出父皇在时的一半辉煌。”
王维道：“如此，臣知道前朝一名女官能记谱过目不忘，梨园能得此人，盛世再现也不难。只是……只是她战时流离失所，被原来的上官侍郎家买去做了家奴，现在被一道关押在逆党天牢中。”
皇帝才要询问，通传上来一句：“左羽林军大将军来了。”
传后，走上来一名器宇轩昂的武官，此人名唤谢凤，开元末年考上武状元，编入羽林军，乱中一直保护皇帝安危；而此人不但护驾有功，甚至也随郭子仪将军打过几个大仗，因此虽然位列三品将军，皇帝对他却是十分高看的。谢凤一来，便传战事捷报，使得方才还在垂泪的肃宗心中一快，唤他一道过来饮酒。
皇帝还记得刚才谈了一半的话题，接着问道：“爱卿方才说到的那位女官，现在在哪？怎么在天牢？”
王维与新来的谢凤暗中窃窃交换眼神，然后一字一顿地说：“正是前朝的上官侍郎家中缺人，他家夫人看她可怜，将她买去做了侍儿。现在因为上官失节，连坐关在牢里。”
谢凤立即打断道：“哎呀，不得了，那位上官逆子岂不是前朝的中书侍郎上官某？”
“正是。”
“小子不才，从小就知道这世上有比我气节还高的豪杰，”他将头转过来看着皇帝，“这人不是别人，正是小子的堂妹，名唤三娘。但堂亲家道中落，将三娘嫁给上官那贼人做妾，早年我还不是将军，官不比那位中书侍郎；如今想救堂妹，想不到她已经被这贼子妹夫拖进大牢了！”
肃宗这边被谢凤这一番话弄得晕头转向，王维立刻接过话来：“圣上，如今弄明白了，大牢里关着谢将军的堂妹，又连带关起前朝乐官；将这两人放出，既可以安抚将军，又能重振梨园。至于那位上官侍郎，原本怎样审判仍旧按照圣上的心意即可，莫要牵连了忠贞之人。”
肃宗心说既然是两名女子，释放也无伤大雅，不过是做个顺水人情。当下点了点头，王维却激动得落下两点泪来，举杯贺道：
“圣恩能沐世俗女子，可见上心仁厚，这是天下的幸事！”
他到底把她们救出来了！
-------------------------
谢三娘身孕未显，故而未遭半分盘问便放了出来；黄楼随母亲萝瑟一道出狱，出狱后便住进梨园，此时正一岁半。
今时不同往日，萝瑟现在已经是个女官，身份大不相同。梨园多换新人，见了萝瑟不知是谁，只听说曾是太上皇身边的红人，连老臣都认识她。那时许多曲谱都因为大明宫被毁而散佚了，萝瑟身为夷女，却对演过的曲谱过目不忘，各部都能背诵；最令人震惊的还是她看着不声不响，却能跳贵妃的霓裳羽衣、阿蛮的凌波舞、公孙氏的剑器浑脱，这些无处记谱作画的舞姿，若是没有她记着，便要永久毁在战乱中——而她如今也不过十八岁罢了。
太上皇岁末归京，她再未为他表演过，也未再见他的模样。黄楼吵闹，她找了个借口比划着向总管辞了官，留下十余本乐谱，带着女儿出了宫。谢夫人即将临盆，她要去照看她。
那时候她们已经知道，那位谢凤将军，与谢三娘并无堂兄妹关系，和王维倒是故人。当时酒席上那一出，也是演戏，为的只是救谢夫人于危难。谢将军因此认了三娘做义妹，她后来生下的那名小公子则为此取名为武。
谢氏人福浅薄，生下上官武之后不久便离世，将小儿托付给了谢凤将军与王右丞。上官武与黄楼，乱世中的这两名小儿女，虽然没有丝毫血缘，但自弟弟出生开始便结成胜过血缘的深情；纵然身世如同一对风中蝴蝶，也从来未将他们分开。