建成后李适在楼下开酒会大宴群臣，王珠在楼上哭，直言不喜这样的生活。
吓得当场的臣子三魂去了气魄，就怕一个不小心成了怒火的牵累。
自此，李适好不容易缓和的心情再度破灭，朝臣试着调和了几次，结果不尽如人意，这场君王和嫔妃之间的僵持就这么延续了下来，好在李适还没有完全失去理智，影响没有波及太多人，而在一件大事发生之后，大家慢慢也就没有心思再理会。
朱泚造反时为求平叛，李适曾跟吐蕃借兵，允诺胜利后将安西，北庭两地割给吐蕃，但平叛过程中，吐蕃迟迟不肯发兵，发兵后也只在掠夺财物时表现积极，唐军仍是凭一己之力评定叛乱。
即使如此，后来吐蕃派遣使者来要安西和北庭，李适仍欲应允，朝堂上下一片反对之声。
贞元三年才被提为中书侍郎兼宰相的李泌强烈抗议，他上任后缓和了武将的愤慨，保全李晟，马燧一干人等，将内政打理井井有条，使军费增加，在朝堂上下颇有威望。
李泌说：“安西北庭二地，控制西域五十七国及十姓突厥，皆捍兵处，以分吐蕃势，使不得并兵东侵，今与其地，则关中危矣。且吐蕃向持两端不战，又掠我武功，乃贼也，奈何与之？”
最终李适才在群臣的建议下打消念头。
不久，王贵妃的事情也终于有了结果，王珠几乎抱了必死的心情跪在李适面前，声泪俱下：“妾乃布衣女子，喜耕种，不慕荣华，生平只求一真心人，皇宫于妾来说，不啻为豪华监狱。今虽富贵，终无意趣。望吾皇降皇恩，赐放妾身还家。”
李适沉思一夜，第二天一早传出废去王贵妃名号的命令，王珠身穿入宫时的衣服，坐着一辆小车出了宫门，退回其父王承升家中。但李适毕竟心里不舒服，于是就与王珠约法三章，不准她再嫁仕宦之家。
回到家后的王珠，如小鸟出笼般恢复了女儿本色，竟日笑逐颜开，一副天真烂漫的神态和丫鬟小姐妹们整日玩耍，一点也没觉得丢了贵妃头衔有多难过。花前月下奏琴一曲，引得那班婢媪听了，一个个都手舞足蹈地快乐起来。
这时朝中有一个中书舍人，名叫元士会，长得眉清目秀，深通音律，被文人圈内称为才子。
元士会得知王珠宁为民妇不为皇妃的另类传奇经历，大为叹服，就想找一个合适的日子前往王家拜会，一睹这位终于俗违的奇女子。
元士会和王承升原是知己朋友，是王家的常客，王珠未入宫之前，也曾和元士会相见过几次，一起探讨宫商音律，切磋围棋艺术，彼此留有好感。只可惜元士会当时已娶妻钟氏，夫妇琴瑟相得，但这次再见妻子已经病逝，他辞了中书舍人之职挂冠而去，以平民之身携王珠双双返回故里，过起自己隐居的生活。
王珠元士会之后生活贫苦，身份被人知晓后甚至被人抢了钱烧了房子，但两人不以为意两人继续云游，一时传为佳话。
贞元五年，李泌请辞，他年事已大，精力不济，很多事不太顺手，李适未准，不久后去世。
李泌的葬礼上，张珙曾去吊唁，这位和他一起在户部共事过的老前辈教会了他很多，即使曾经一度将他推下尚书之位，也生不起怨恨。
这一年，李诵已近而立，常心有所感到长安玄都观散心，也或许是张珙在附近买了别院住着的缘故。某一天，他巧遇了未及弱冠的刘禹锡和柳宗元，当时，刘禹锡在京城文人的圈子里已经颇有名气，李诵隐了身份与他们相交，相聚之地也大多在此。
李诵善吹笛，每每在观里总会心绪难平，一曲曲愁肠婉转的调子从玄都观传出来，还启发除了一个惹人遐想的话本子。
当时的李诵