这日，金兀术与叛贼李成合攻乌江。杜充闻报，吓得闭门不出。诸将屡次请他出兵抗战，概不答覆。岳飞又急又怒，一直冲进他的卧室，再三力劝，说：“劲虏大敌，近在淮南，睥睨长江，包藏不浅。卧薪之势，莫甚于此时。而相公乃终日晏居，不省兵事。万一敌人窥吾之怠而举兵乘之，相公既不躬其事，能保诸将之用命乎？诸将既不用命，金陵失守，相公能复高枕于此乎？”说时，声泪俱下。
杜充早已准备降敌，因岳飞兵力最强，不敢得罪，表面敷衍，却不出来。等金兵由马家渡渡过长江，才派岳飞等和都统制陈淬一同出战。杜充的心腹大将王曼，听说杜充有降敌之意，带了所部数万人马，当先逃退。凡是杜充部下的将官，全部溃散，只有岳飞这一支人马与敌人死战，非但没有援兵辎重，粮草也被逃将带走。敌人虽被暂时打退，部下将士全都没有吃的，只得把全军夜屯钟山，歇息了多半夜。天还未明，突然往攻敌营，把金兵杀了好几千。陈淬部将听说杜充把建康府库搬光，带领全家渡江降敌的消息，人心浮动，多想叛逃。戚方正在陈淬部下，先带了一支人马去当强盗。
岳飞得信，立时召请两军将士话，大意说：“我辈荷国厚恩，当以忠义报国，立功名，书竹帛，死且不朽……江左形胜之地，使胡虏盗据，何以立国？今日之事，有死无二，辄出此门者斩！”说到慷慨激昂之处，众皆感动，不敢再有异志。
岳飞又将刘经等将校和一些散兵溃卒招集过来，前后夺了金兵和叛将的粮草很多。后来闻报，兀术将往临安进兵，便领所部人马前往截击，在广德境内连打了六次胜仗，杀伤敌人甚众。生擒女真汉儿军王权等二十四人，俘虏诸剃头签军领四十八人和好些敌兵。经过分别审问查看，挑出一些可用的汉儿军，先以恩信结纳，放将回去，令其夜斫金兵营寨，烧毁炮车和随军辎重器械，再乘敌人混乱之际，连夜进攻，又把金兵杀得大败。
军中缺粮，全仗夺取敌人的粮草度日，有时将士都吃不饱，但是上下一心，军纪最严。屯兵之处，肩背挑负，商贩如常，一时威名远震。好些被胁从的敌军走近当地，都说：“这是岳爷爷的军队！”纷纷赶来投降，又收了万余人。
不久金兵往攻溧阳。岳飞派刘经带兵半夜偷袭，杀了五百多金兵，生擒女真汉儿军、伪同知溧阳县事渤海太师李撒八等十二人和千户留哥。
建炎四年正月，宜兴吏民共同来信，说叛将郭吉在当地抢劫民财，请岳飞为民除害，并说宜兴粮米能供给一万人马十年之用。
岳飞连忙领兵赶去。还未到达，郭吉已将全城抢光，用一百多条大船载了赃物，逃入太湖。岳飞闻报，立命王贵、傅庆带兵紧追。宗泽的家将张保、王横正驾小舟来投，俱通水性，熟习湖中形势。岳飞又命牛皋带了张保、王横和一千精锐，分驾小舟赶往接应。两下夹攻，将郭吉所有人船辎重全数夺回。凡是抢自民间的，部分还给了百姓。所部兵士，秋毫无犯。纵使兵多，地方不够住，又缺少帐篷，多半轮流露宿，决不妄入民家，也不妄动民间一草一木。远近州县的百姓，弃家迁往宜兴的有一万多户。当地百姓更为岳飞建下生祠。
当年四月，金兵再犯常州。岳飞命众将中途截杀，连胜四阵，金兵单是互相践踏拥挤、坠河淹死的就不计其数。又生擒了女真万户少主孛堇、汉儿军李渭等十一人。
当岳飞在广德大败金人之时，兀术留下十万人马和岳飞对敌，自领大军将临安攻破。闻赵构由越州逃亡明州，忙遣勇将阿里蒲卢浑渡江穷追。吓得赵构又由海道逃往定海，只将宰相赵鼎和主和派的脑范宗尹留在明州，商计投降之事。对另一大将张俊说：“你能把敌人挡住，我便封你王爵。”赵构和战两难，全都害怕，不知如何是好。
另一路金兵攻破江西诸郡，直扑湖南，又将潭州攻破。守将王暕、刘价、赵聿之战死殉国。金兵因潭州百姓始终反抗，更肆凶威，纵兵掳抢一空，屠城而去。兀术见到处都有百姓反抗，与金兵为仇，不敢在江南久停，回到临安，大抢一空，然后火烧全城而去。因为所抢掠的金珠细软辎重太多，若走陆地，恐被岳飞和各地义军所夺，自己改由秀州水路，往北退走。下余大部人马，分成好几队，一路焚掠，退兵北回。