王容的提议，尽管听上去考虑得面面俱到，但杜士仪何尝不知道，她其实是最不能割舍的一个。因此，即便数日之后，杜仙蕙再次发热病倒，他仍然没有立时三刻下定决心。他可以在很多冒险的时刻痛下决断，可事关儿女，他反而犹疑不决了起来。然而，朔方维持着风平浪静的态势渐渐迎来了冬天，可随着天子骤然回銮长安，河西陇右节度牛仙客封爵陇西县公，以及张九龄裴耀卿双双罢相的消息几乎是接踵而来。
李隆基对张守珪牛仙客这样或有赫赫战功，或能敬忠职守的边臣素来极其嘉赏，而张九龄却每每认为不能滥赏边臣，一来二去，已经不止一次让李隆基觉得不耐烦。而这位中书令又最喜欢凡事当面直谏，常常据理力争到不留情面，再者在东宫的问题上始终固执己见，这一次终于被李隆基认为是一块绊脚的石头而随手挪开了。
念在信赖了其多年，而且也着实欣赏张九龄的风仪翩翩，李隆基还给了一个尚书左丞相的高官，而裴耀卿亦是得了尚书右丞相之衔，赐封赵城侯。
相比于当初罢相之后就出为刺史的张嘉贞李元纮杜暹等人，这样的高高供起，已经算是很优厚的待遇了，但也仅限于此。从日理万机的宰相到赋闲无实权，这样从高峰跌入低谷的落差，等闲人是很难接受的。
而固安公主在信上末尾提到的，却是导致张九龄和裴耀卿双双罢相的一个导火索——李隆基原本准备明年二月方才起驾回长安，但这一次却因为在洛阳宫中突然闻听怪声，连夜不得安眠，这才不顾张裴两人的谏劝执意回长安。至于宫中怪声，虽说没人查出所以然来，可固安公主却提供了一种可能性。
乃是天子的枕边人作祟。
在洛阳宫，李隆基直接就把太子李瑛放在眼皮子底下，而回到长安，有太极宫大明宫兴庆宫这三大宫殿群，安分守己好几年的李瑛也许就不会被安置在离天子很近的地方，只要一放得远，李瑛自己固然能舒一口气，但某些人也会因此而有可趁之机。天子登基已经有二十六年，亲政也已二十四年，自己皇帝固然没当够，可别人却未必一直这样等待下去。
前一日得到消息后，后一日，杜士仪不动声色地在节堂接见了朔方文武上下，将第一批从河洛迁来胡户的安置工作交给了张兴和来圣严，命康庭兰领蕃兵从旁辅佐之后，他便回到灵武堂中，招来高适和王昌龄，将张裴二人罢相之事直截了当地告知了两人。果然，王昌龄和高适同时错愕难当。
为人爽直的王昌龄甚至直言不讳地说：“当初姚相国罢相，是用人不明，宋相国罢相，是钱法以及刑法被人诟病，张燕公罢相，因交接相士僧道之流，而李相国杜相国以及萧相国韩相国等罢相，则多半是因为彼此纷争。而此次张相国和裴相国罢相，实在是令人匪夷所思。张相国之刚直和才华，人人称道，裴相国权掌漕渠转运，人人称便，为国省利颇多。他们彼此融洽，几无过失，如今却骤遭罢相，实在是令人匪夷所思。”