1937年7月7日，卢沟桥事变爆发，日本帝国主义全面侵华战争开始了。徐向前为“七七事变”的枪声所震动。卢沟桥的一声枪响，民族仇恨超越了阶级对立，他积极拥护中共中央确定的国共合作、建立民族统一战线、共同抗日的方针，决定放下旧仇，共雪民族之大耻。在8月召开的洛川会议上，红军改名为“国民革命军第八路军”，徐向前任129师副师长。会后，毛泽东对徐向前说：“你是山西人，和阎锡山是同乡，下一步，你和周恩来同志去太原，做做阎锡山的工作。”这样，徐向前随同周恩来、朱德、彭德怀等人来到了太原。徐向前和周恩来一样，夜以继日地工作，会见各界人士，深入群众，利用一切机会宣传共产党的抗日主张，在周恩来领导下，同阎锡山的谈判进展顺利。阎锡山同意成立第二战区民族革命战争动员会，并答应为八路军建立晋察冀抗日前线提供方便。
从此，徐向前与刘伯承、邓小平一道，大刀阔斧地展开了创建以太行山为依托的晋冀豫抗日根据地的工作。在三个月的时间里，取得了显著成绩：建立了抗日民主政权，迅速发展了抗日武装，积极开展游击战，打击了日军的嚣张气焰。在刘伯承、邓小平、徐向前的领导下，129师先后取得了凤凰山战斗、长生口伏击战、神头岭战斗、反六路围攻、响堂铺战斗和晋东南反九路围攻战役的胜利，累计歼敌近7000人。战后，日寇被赶出了晋东南，以太行山区为中心的晋冀豫抗日根据地基本形成了。
1938年4月，毛泽东给刘伯承、邓小平、徐向前发了电报，要他们在河北平原开展游击战争。徐向前接受了任务，告别了刘伯承、邓小平，率部队挺进冀南，来到了一马平川的河北大平原。徐向前从戎十余载，多在山区转战，对山地的作战指挥可说已驾轻就熟。来到大平原后，没有了大山的依托，游击战争怎么展开是摆在徐向前和战士前面的一个新课题。徐向前并没有被困难吓倒。他亲自调查冀南的民情、民俗，找干部、群众谈话，并与宋任穷、刘志坚等领导人研究如何开展平原游击战争问题。最终他与干部的思想不谋而合：人民群众才是最高的山，最大的森林，要坚持抗战，要生存发展，就要依靠人民群众，在平原上造“人山”。徐向前写了《开展河北的游击战争》一文，阐述了建立“人山”的思想。这是一篇开展平原游击战争的精辟论著，处处闪烁着毛泽东军事思想的光辉。它不仅对冀南有直接的指导作用，也为全党提供了坚持和发展平原游击战争的重要经验。
徐向前在冀南一年多的时间里，与宋任穷、刘志坚、杨秀峰等同志亲密合作，打开了冀南的抗日局面，妥善处理了许多复杂问题。根据地发展到西起平汉路、东至运河、南起豫北、北至滹沱河以南的广大地区，人口逾800万。
1939年6月初，徐向前奉命赴山东，任国民革命军第18集团军第1纵队司令员，统一指挥山东和苏北、皖北八路军各部队，坚持抗日游击战争。在此期间，他联合抗日民族力量，并与国民党顽固派展开摩擦与反摩擦斗争，广泛建立地方政权，有力地抗击了日寇对山东的新“扫荡”。