见众人皆劝其留在晋阳，童贯心里不悦，解释道：“晋阳有诸位把守，本宣抚使甚是放心；本宣抚使不放心的是京师那边。假如京师那边有事，朝野震动，影响甚大，俺作为朝廷枢密使，京师安危，俺义不容辞，责无旁贷，俺必须得回去。”
众人闻言心想，圣上派你来统辖节制云燕地区，就是因为云燕地区重要，你现在借口朝廷那边危急，是要临阵逃脱。朝廷那边除了你童贯，就在没人了？既然你那么重要，为什么没留在朝廷反倒是被派到了云燕地区？
晋阳知府张孝纯考虑到金兵已兵临城下，情势危急，如此情形下，童贯临阵逃脱，一走，必然影响士气，致使军心动摇，晋阳将不保。张孝纯遂望童贯一揖，说道：“枢密使大人平西夏，定唐蕃，威震海内。目今，晋阳情势危急，还望枢密使大人号令天下兵马，全力抵御金兵，确保云燕疆域不失。”
童贯道：“俺正是要返回京师，号召天下兵马，不仅要保云燕，更要保京师。诸位就不要再劝阻本王了。”
童贯一会儿自称枢密使，一会儿自称宣抚使，一会儿又把他的广阳郡王拿出来自称，目的只有一个，就是云燕地区与我无关，我只是宣抚，是视察，并不是实职，不负有实责。
童贯执意要回京，张孝纯就急了，也顾不得忌讳了，竟谴责童贯道：“平时的时候，大王是何等的威风，一副如欲平治天下，当今之世，舍我其谁的架势；目今，金人背盟，大王当号令天下兵马，全力抵抗，现在却弃之而去，是要把河东全部丢给金人啊！大王试想想，河东丢失，河北将会如何？河北丢失，中原乃一马平川之地势，无任何天堑之险，京师岂是保的住的？弃晋阳而就汴京，非是为保汴京，乃为自保也！”
童贯被张孝纯当众谴责，勃然大怒，呵斥张孝纯道：“你什么意思？”张孝纯答道：“没什么意思，就是想让大王留下来，领导晋阳军民坚守城池，以保晋阳不失。”童贯愤然笑道：“何其可笑！”张孝纯道：“有甚可笑的？”童贯道：“我童贯受圣上之令为宣抚，乃是宣慰燕云的，不是来守卫疆域的。你定要留我，还要你们这些官吏大将做什么？！”张孝纯拍手叹道：“今日终于见识到了。童大师一生威望甚高，事到临头却畏缩恐惧，抱头鼠窜，即使是回到京师，有何面目再见圣上呢？”张孝纯当众嘲讽，令童贯恼羞成怒，但考虑到只有这些人坚守在晋阳，自己才能抽身离去，故此顾不上和张孝纯计较了，只是在心里骂道：你懂个锤子！此时的圣上，正巴不得俺回去呢！
童贯遂将晋阳防务交给谭稹、王稟、张孝纯、王稟等人，他带着一千余名精兵强将，往京师汴京去了。
与完颜粘罕在晋阳受阻不同，金国完颜宗望率领的东路军进展顺利，一路进发到了黄河岸边。也是大宋该有这一难。地方官吏和厢军将领们，在明明知道金军南犯，明明抵挡不住金军，明明知道金军渡过黄河后汴京就要被攻陷的情况下，一溃而散，竟然连黄河以北村庄中的船只都没销毁或藏匿，给金军渡过黄河创造了条件；更可笑的是，惊慌中的大宋朝廷，竟然未紧急派兵马去把守黄河，以至于金军得以逍遥自在地渡过了黄河。