不久，金兵将河北诸州郡攻破。赵构害怕，逃往扬州躲避。济南府刘豫将守城勇将关胜杀死，强迫百姓叛宋降金。百姓不肯，刘豫偷偷缒城投降。赵构所派使臣王伦，也被金人拘留起来。大将韩世忠准备会合山东的兵同往淮扬抗敌，不料刘豫叛宋降金，势孤力弱，援兵不至。金帅宗翰分兵三千往袭扬州，世忠自率大军迎战，寡不敌众，连夜退走。
宗翰连取淮扬、彭城，大将刘光世奉命防御金人，敌兵未至，全军先溃。赵构正在扬州和一宠妃白昼宣淫，听内侍邝询急报金兵杀来，吓得周身乱抖。当时骑马逃到瓜州，只寻到一只小船，匆匆渡江。随行只有王渊、张浚、内侍康履、邝询和几名兵士。逃到镇江，天已入夜。因为惊悸太甚，由此得了阳痿之症。
奸臣汪伯彦、黄潜善正和一些贵客在庙里听和尚克勤讲经说法，希图佛菩萨保佑他们升官财，富贵无穷。刚把经听完，正受众人的奉承，满心得意，气焰甚高，忽听堂吏大呼：“金兵杀来，圣驾已先走了！”汪、黄二人相顾仓皇，面无人色，匆匆上马，往南逃窜。城中百姓得信，纷纷夺门外出。人多践踏，死伤甚众。个个痛恨奸贼，咒骂不绝。司马卿黄愕逃到江边，军士们误当作是黄潜善，大骂：“你这个误国害民的奸贼！”黄愕连忙分辩，人头已被斩落。
赵构君臣匆匆逃亡，新置办的行宫陈设和朝廷仪仗全被敌兵掠去，百姓遭殃，更不必说。太常少卿李陵抢了九庙神主逃走，出城被金兵一追，连赵氏祖宗牌位也被抛弃。其实金兵前锋只五百人，赵构真要率领三军固守一战，并无败理。都是赵构畏敌如虎，才至于此。
宗翰看准宋室君臣庸懦无能，只用三千人马，便将扬州行在（皇帝逃亡的所在地称为行在，是舞文弄墨、避讳逃亡的门面话）不战而得，一面却以全军之力将韩世忠战败，以致江淮一带全成了敌骑蹂躏之地，被祸害的人命财物不可数计。
金人因扬州百姓和一些无人统率的残军纷纷起来抗敌，自知立脚不住，便纵兵掳抢，把扬州城烧了个干净，方始退兵而去。
赵构一路逃窜到了临安（杭州），方始停住。汪、黄二奸知道坚持和议，闯下这场大祸，依然恬不知耻，联名上疏，说：“当此国家多难之时，不敢求退。”妄想保持他的禄位。无奈公论不容，中丞张澂奏论二奸贼有二十行大罪，主要是祸国殃民，陷害忠良，贬窜李纲，又对宗泽百般作梗，使他费尽心力招抚来抗敌的几十万忠义之士，全数瓦解而去。赵构虽想留着汪、黄二奸为未来求和之用，无奈群愤激，迫不得已，才将汪、黄二奸贬去。
金人不久便命汉奸刘豫知东平府，节制河南州郡，刘豫的儿子刘麟知济南府，并命大将达赉屯兵险要之处，暗中监视。后来见刘豫贪图富贵，死心塌地做汉奸，想拿中国的兵攻打中国，又立他当了齐国皇帝，与宋为敌。刘豫对金主自称“儿臣”，历史上的“儿皇帝”，刘豫也是一个。
当年六月底，金兀术大举南侵，连破磁，单、密州，声势比以前更盛。杜充先听兀术带领数十万金兵就要杀来，越想越胆寒，打算丢掉东京，逃往建康。岳飞力劝，大意说：“中原之地，尺寸不可弃……留守……且不守此，他人奈何？今留守一举足，此地皆非我有矣。他日欲复取之，非捐数十万之众不可得也。”
杜充不听，以军令强迫岳飞随往建康。岳飞部下连新收抚的兵将不过三千，杜充一走，军粮先无着落，暂时只有保全实力，别无良策。恰值牛皋也由磁州败阵退回，说起这次兀术以倾国之兵来犯，自己虽然上来连胜两次，士卒伤亡甚多。主将又因粮缺势孤，弃城而逃。这才带了孤军，一路突围转战而来。河北诸郡沦陷于敌，都是兵少缺粮、朝廷不管之故。互相愤慨了一阵，只得随军南去。岳飞奉命当前锋，中途连破李成等叛贼于铁路步（镇）、盘城（县）、滁州等地。
到了十月，赵构又由临安逃往越州（绍兴）。杜充听岳飞之劝，一路收集残兵，居然也有十几万人。岳飞部下连同牛皋带来的人马，也有一万左右。江浙一带的居民，因杜充部下有岳飞等勇将，都想靠他保卫长江，不使敌骑南渡。杜充只是残杀军民立威，毫无御敌之策。