李揆对高力士、陈玄礼有好感，但不敢违背皇帝口谕，对李辅国说道：“那就让御史台调查一下，太上皇为社稷操了几十年的心，虽然晚年精力不足，听信谗言，给国家带来动乱。但必定是皇上的父亲，如何处理啊？高力士陈玄礼等人都是跟随太上皇几十年的老臣，兢兢业业服侍太上皇，对社稷也有贡献。不要轻易下结论，要慎重行事。”
李辅国说道：“我已经调查过了，确实高力士等人策划的阴谋，他们对当今皇上甚为不满。便蛊惑太上皇在市面上当众揭朝廷的短处，在京城中造成了十分恶劣的影响。”
李揆说道：“没那么严重吧，他们都是太上皇的老人，对朝廷忠心耿耿，一点小事，总不能杀了他们吧。”
李辅国说道：“皇上对这件事，十分震怒，口谕严惩。不杀他们，也要让他们离开太上皇，免得再起事端。最好的办法，是将他们流放到外地。”
李揆证住了，不相信的看着李辅国。李辅国说道：“干嘛这样看着我，你要是不愿意，我们一起去见皇上。”
李揆觉得事关重大，当即起身与李辅国一起进宫。唐肃宗斜躺在床上，见李揆进来，挪动了一下身体。李揆行了参拜之礼，便立即上奏：“启奏皇上，长庆楼的事涉及太上皇及一些老臣，臣奏请从轻处理，告诫他们一下就行了，免得太上皇不乐。”
唐肃宗说道：“太上皇年事已高，难免犯糊涂。但高力士、陈玄礼、王承恩、魏锐等人心怀不轨，蛊惑人心不宜再侍候太上皇了，怎样处理，让辅国拟旨，中书省议一议，报朕审批。”听了唐肃宗的结论，李揆感到震惊，但不敢争辩。李辅国高兴了，当即代拟圣旨，交给了李揆。
李揆接过草拟圣旨，望着唐肃宗，意思是征询他的意见。李辅国上前扶正唐肃宗的坐姿，唐肃宗挥动一下手说道：“程序还是要走的，抓紧办吧。朕等着签批。”李揆当即跪下，拜别唐肃宗。到了中书省之后，便在草拟圣旨上签了字。
李隆基移居太极宫甘露殿不久，上元元年1八月，唐肃宗下旨：“高力士、陈玄礼，与宦官王承恩、魏悦等人蛊惑人心，行为不轨，流放黔中道。”
李辅国向高力士宣读圣旨的时候，唐玄宗知道了这件事，内心十分伤痛。本想向唐肃宗求情，但圣旨已下，木已成舟，不可挽回，更怕引起李亨的猜疑。只好眼睁睁的看着对他忠心耿耿，侍候他五十多年的心腹老臣离开身边，到边远的不毛之地受苦。
高力士向唐玄宗告别，唐玄宗一夜之间老了许多，想当年一言九鼎，如今自己最贴心的护卫都保护不了，不觉老泪纵横。只好悲痛的说道：“将军去的地方瘴气又多又浓，从前流放的犯人，往往因中瘴气而亡，你要多加注意。朕无能为力，过一段时间皇帝的气消了，定会诏你回京城的。”
高力士流着眼泪说道：“臣不怕瘴气，只是担心太上皇无人照顾。太上皇要好生调养，不要担心微臣。”怕唐玄宗伤心，他立时离开了太极宫，踏上了充军的行程。行至巫州，见其地荠菜很多，烂在地野，并不是用来做菜吃。感伤不已，作歌咏道：