李适之是个直性人，认准了的事，他不会后退，当即便进宫向唐玄宗陈述理由。他一心一意为了国家，希望能挖出金子来。
见到唐玄宗，李适之说道：“启奏皇上，黄金是西域的通用货币，有了黄金就能购买大量的洋货。我的奏折说得很清楚了，这是个赚钱的好门道，应该尽早开工。”
唐玄宗说道：“金子虽然很好，但不能损害我们大唐。适之啊，你的心是好的。朕也知道华山有黄金，但不能挖，那里有大唐的龙脉，挖断了龙脉可不得了啊。”李适之知道这是无稽之谈，立即上奏：“启奏皇上，不能听信那些术士的胡说八道啊，大唐的土地都是皇上的，那里能挖，那里不能挖呀。您是皇上，只要皇上说能挖，任何地方都能挖。”
“放肆，皇帝是天子，也有听从上天的安排。”唐玄宗大声斥责。李适之还想申辩，唐玄宗很不高兴的对他说道：“华山开采金矿不妥，以后这件事不准再提。今后向我递奏折之前，先跟林甫商议之后再来，不要太轻佻随便了。”
李适之如坠云雾之中，对皇上态度的转变甚是不解。唐玄宗对他摆摆手，自己起身到后宫去了。李适之十分没趣，退出皇宫。
李适之的表现，唐玄宗十分不满。他走了之后，李林甫立即向唐玄宗上奏：“启奏皇上，适之对金矿之事不依不饶，而且对册立贵妃娘娘也有意见，虽然没有直接反对，但言行中流露出来的不满情绪。平时做事古板得很，对皇上不坚持上朝私下也有意见。”唐玄宗说道：“你是说适之不大称职，对朕有意见。”李林甫说道：“皇上圣明。”听了李林甫的话，唐玄宗心底下已有换掉他副宰相的念头。
要换副宰相，总要物色接班的人选，唐玄宗在朝中寻找。李林甫走后，唐玄宗对高力士说道：“慎矜的表现不错，可作为左相的候选人。将军认为如何？”高力士说道：“张均兄弟也不错，皇上要想选准人，就应该多找几个候选人。如果只是在京城中选，面还是窄了点，还可以从调出京城的人员当中，寻找有才能之人。”
唐玄宗眼光突然放亮，当即说道：“你说得不错，这些年来很多在京城做官的人，被调出了京城，到地方为官，这些人当中，不少人很有才华。严挺之很不错，他很有才华。在张九龄当中书令的时候，他担任中书侍郎，作为张九龄在中书省的副手，一直与他配合默契，深得张九龄器重。张九龄被贬的时候，他受到了牵连。但因为他办事干练，朕不忍心处置他。林甫当首席宰相后，参奏他与张九龄打得火热，坚持将他贬为洛州任刺史。州改郡之后，又改任陈留太守。现在正要用人，招他到中书省任职，考察一段时间。”
高力士说道：“严挺之十分能干，才能在李丞相之上，做中书侍郎时口碑载道，在洛州干得有声有色，当时陈留出了事故，皇上将他调处处理，做得很好，还得到了皇上的赞扬。”“朕想起来了，是有这件事。”唐玄宗对严挺之的兴趣起来了。第二天亲自上朝，朝议人事安排等问题。散场之后他留下李林甫，单独对他说道：“严挺之还在吗？这个人很有才能，原先在中书省干得很好，应该重用，如有可能，将他调回京城。”