接过李辅国的奏折，唐肃宗感到十分疲倦，眼睛有睁不开的感觉。李辅国上前扶住他的身子说道：“皇上身体不适，奏折就不用看了。现在的重点是平叛，边疆的事马虎一下不要紧，攘外必须安内。”唐肃宗没有深思，批准了李辅国的上奏，下发了圣旨。
韦伦接到圣旨，百感交集，想到自己身先士卒，在前线拼命，得来的竟是贬官。甚是不服，立即又向朝廷递奏折，但是得到的回复是又降了一级。接到圣旨，他的眼泪都出来了。他十分倔强，而且不甘心，从此频频向朝廷递奏折。但他每上奏一次，便被贬一次官职，从巴州长史一直贬到务川县尉，由从三品降至从九品。韦伦的雄心壮志被彻底的扑灭了，但他无计可施，只有忍受。但是这样做对有才能的人打击太大了，而那些无才的人，便拼命巴结李辅国，好得到重用。如此一来，李亨的朝堂上，好多都是李辅国推荐的。
李隆基回到长安后，一直居住在兴庆宫。由于朝廷的收入减少，军费开支巨大，宫廷内的度支费用不断缩减，李隆基的开支也一再削减。为他歌舞的宫女都逐步撤走了，没有了杨贵妃，李隆基的晚年就靠歌舞音乐来冲淡寂寞。现在歌舞也没有了，他只能与高力士等人聊天儿，谈论一些存年旧事，有时接见一下朝中官员和前方的将帅。
李辅国将这事奏报唐肃宗，挑拨他们父子之间的关系。对唐肃宗说道：“启奏皇上，上皇天帝很是繁忙，经常接见官员和将帅。其中有没有不利于皇上的事不得而知。”唐肃宗想到了永王李磷的往事，虽然剿灭了他的反叛，并将其就地正法。但兄弟相残，影响极坏。心中不快，对唐玄宗有些不满，父子之间产生了隔阂。但唐玄宗并不知道，他掌握权柄四十多年，接见大臣习以为常，没有放在心里。
唐肃宗继位之初，尊唐玄宗为上皇天帝，开始一段时间，唐玄宗还有相当的权力，将韦见素等人推荐到李亨的身边做宰相。不久之后，李亨便罢免了这些人，就是不希望太上皇再管事。李辅国是有心之人，对出入兴庆宫的官员都作有记载，暗地里上报唐肃宗。
这一天，合该有事，早上起来阳光明媚，因为久雨初晴，好久没见过太阳的李隆基就想到室外去转转。护卫陈玄礼说道：“皇上四五年没去勤政楼了，今天天气这样好，何不去那里走走。”
唐玄宗虽然做了四十多年的皇帝，对勤政楼甚是眷恋，很想去走走。但是现在必定是唐肃宗作主，原来跟随他的官员都放到次要位置上了。他推荐的宰相已经全部下野，知道唐肃宗不愿他插手朝中事务，便说道：“我是下野之人了，去那里还合适吗？”
高力士说道：“就是看看，走走，又不干涉朝政，有何不可啊？皇上这些年来寂寞得很，久子容易抑郁成疾。到外面散散心，病灾也少一些。”“说得也是，朕下野之后，从来就没有过问朝中之事，走走也不碍事。”
在通往勤政楼的路上，唐玄宗见到来往的行人虽然很多，但远不及昔日的热闹。西市也没有了往日的繁华，生意萧条。他对跟在车旁的陈玄礼说道：“现在战事不断，苦了百姓，钱都用于打仗了。这都是朕的错啊，真是用错了人，就坏了社稷啊。”