1938年1月15日，南线日军第13师团由滁县沿津浦路向北进攻，中国守军以运动防御逐次退守池河西岸，日军占领明光。1月26日，“华北方面军”命令第13师团“歼灭凤阳、蚌埠附近之敌”，第13师团遂即分兵三路向北进攻：东路军从明光渡池河，沿津浦路向蚌埠进攻；中路军从滁县出发，在池河镇渡池河，由总铺向蚌埠进攻；西路军从全椒出发，在大桥镇附近渡池河，攻占定远，掩护并策应东路军、中路军作战。
中国守军第31军按李宗仁命令，将主力西撤至蚌埠西淮南铁路一带，待命侧击北进之敌，以一部兵力在淮河、池河之间进行逐次抗击。经七天激战后，三路日军先后突破池河防线，进至西岸。东路日军于28日渡过池河，2月1日攻占临淮关，2日占领蚌埠；中路日军于29日渡过池河，2日占领凤阳；西路日军于28日渡过池河，2日占领定远。中**队全部退至淮河北岸，为阻止日军渡河，并将淮河铁桥炸毁。至此淮河阻击战开始了。
淮河北岸守军主力部队，是奉李宗仁之令刚从青岛开来的第51军，军长于学忠。第51军是中**队中资格最老的部队之一，富有作战经验。此次淮河作战，于学忠第51军担负主力阻击任务，该军两个师守卫淮河北岸的临淮关至小蚌埠之线长达几十公里的河防。
2月2日，日军七八百人，在飞机大炮掩护下，企图从临淮关强渡淮河，一举夺取淮北。守军第114师第340旅英勇抵抗，激战四小时，日军未能得逞，只得退回南岸。第二天，临淮关以西、蚌埠以东日军两千多人，在飞机大炮掩护下，乘民船和橡皮艇又一次强渡淮河。第114师再次英勇抵抗，将日军击毙在河里三四百人。此后日军多次在此强渡，均被击退。
2月10日拂晓，日军几千人向第114师的防线发动大规模进攻，战斗异常激烈。一部日军曾攻占北岸大堤，军长于学忠亲临前线指挥，士气大振。师长牟中衍令第340旅组织反击，守军与敌浴血肉搏一整天，将丢失阵地夺回，渡河日军全被歼灭。
但是日军不甘失败。第二天，日军步兵与炮、空协同作战，后续部队渡过淮河，占据了从临淮关至黄坡子等部分阵地。守军乘敌人立足未稳，几次大举反击。第114师伤亡两千余人，终因兵力火力不足，无力恢复及守住河岸阵地，被迫撤至沫河口、年家庙之线。夜间，向淝水河附近之河集、新马桥之线转移。