岳飞到了南京，见赵构刚当皇帝不几天，便听奸臣之，打算逃往东南避敌。心中愤慨，便上了数千的奏疏。大意说：“陛下已登大宝，黎元有归，社稷有主，已足以伐虏人之谋。而勤王御营之师日集，兵已渐盛，彼方谓吾素弱，未必能敌，正宜乘其怠而击之！而李纲、黄潜善、汪伯彦辈，不能承陛下之意，恢复故疆，迎还二圣。奉车驾日益南，又令长安、维扬、襄阳准备巡幸。有苟安之渐，无远大之略，恐不足以系中原之望。虽使将帅之臣戮力于外，终亡成功。为今日之计，莫若请车驾还京（指汴京），罢三州巡幸之诏，乘二圣蒙尘未久、虏穴未固之际，亲率六军，逶迤北渡。则天威所临，将帅一心，士卒作气，中原之地，指日可复。”
赵构看了还不怎样，汪伯彦、黄潜善看了却是大怒，说岳飞不该越职事，立把官职贬去，令其归田。岳飞接到诏书，便带岳云上路。
吉青等见还是奸臣当道，好生不平，都想告退。经岳飞再三劝阻，并说：“宗留守现在东京。万一南京当道不能相容，你们可寻宗留守。千万散移不得。”
众人全都答应，只张宪一人，说什么也要跟随同回。岳飞以前答应过他，曾有“从此同建功业，决不分离”之，只得应了。
岳飞见君暗臣奸，壮志难酬，由不得心灰意懒，一怒往汤阴赶去。到家见了岳母，谈起这次从军经过，意欲奉母避往江汉。
岳母正抱着孙女岳霙，听岳飞说连立战功和贬官回来经过，都是神色自若。后听岳飞公然说出灰心的话，立把面色一沉道：“五郎，你真有志气！上次从军，受了点小挫折回来，你便在家守了两三年。那次说是要终父丧，有可原。这次回家，居然说出从此归田奉母的话，还要叫我避往江汉。我来问你，金兵如此凶恶，中原一失，江汉岂能长保？我母子全家无论逃避到哪里，早晚也必落于敌手。要往江汉逃避，你自己去。休说我当娘的不会那样畏敌贪生，便是我那有志气的儿媳，也不会跟你走。”
岳飞从没见过母亲这样生气，暗忖：“我日前还请皇帝不要作南迁打算，平日也常以‘忠义’二字激励众兄弟，如何今日也作此想？”忙即跪下，说道：“儿子原是一时之愤，蒙娘教训，如梦初醒。娘莫生气，儿子改过，决不再说这样话了。”
岳母见张宪、岳云也跪在后面，忙唤起，再向岳飞正色道：“这不是说不说的事，你老有这类想法，就靠不住。周老恩师也当对你说过，古来的英雄豪杰，哪一个不受多少险阻艰难，困苦折磨？你今年才得二十五岁，稍受挫折便这样壮志消沉，非但对不起你那些共患难的弟兄，又有何面目对周老恩师于地下呢？”
岳飞忙赔笑道：“儿子错了！等儿子在家小住几天，把娘和全家迁往开封，就寻宗留守，还去杀敌便了。”
岳母笑道：“你真能为我打算，可知我这老娘，决不肯走呢！”
岳飞心中忧急，赔笑问道：“这里相隔敌人甚近，许多可虑。儿子这次往投宗留守，决不再有后退之念。娘若同去，可以稍尽子职，放心得多。为什么不肯走呢？”
岳母道：“我如不走，你保卫邦家之念更切，决不肯听任家乡故土沦于敌手，必以全力去和敌人死斗。我若随你同去，再带上你的媳妇儿女，行军之际，你必多出顾虑。那许多受苦受难的百姓，谁无父母？谁无妻子？你怎么单朝自己的身家打算呢？我决不怕敌，也决不会坐听敌人残杀！万一你们这班少年人都不能力国抗敌时，国家更难免于灭亡了。你媳妇自从近年你教她武功，体力越强，已非寻常妇女可比。保我老小到时逃避，定办得到。在敌人未到以前，要我弃家逃亡，我婆媳决不会走！”
岳飞知道母亲性，哪里还敢再说？岳母跟着又问：“五郎几时起身，我婆媳好为你饯行？”
岳飞忙答：“只要母亲吩咐，几时走都可以。”
岳母笑道：“万一你再受上一点闲气，又跑回来，岂不使我痛心！我想给你留点记号，在背上刺几个字，使你到了军中，时常想起，以免再有退缩之念而使功败垂成，半途而废。到了时候，我婆媳也必会去寻你。五郎，你愿意么？”