抗日战争爆发后，8月25日，张宗逊任八路军一二○师贺龙部358旅旅长，辖七一五、七一六团；9月进入山西前线；10月8日指挥袭击宁武县城，14日攻占大牛店，18日令七一六团在雁门关伏击日军，打击进攻忻口日军的后方补给线，切断了日军由大同经雁门关到忻口的后方补给线，使进攻忻口的日军供应濒于断绝，攻势受挫。1938年2月，张宗逊部打击从太原向临汾进攻的日军，歼四百人；3月17日到达神池以南的虎北村、山口村一带，与一千多日军遭遇，歼三百人，接连收复了多座县城；10月开赴同蒲路以东地区，参加反围攻作战；10月下旬，当他得知一股日军孤军深入后，便果断地抓住战机， 指挥部队在五台县之滑石片地区设伏，一举全歼进犯五台的日军主力蚋野大队700余人。 缴获大批武器；12月随贺龙、关向应开赴冀中，1939年5月组建八路军一二○师“张纵队”，辖独立第一旅、独立第二旅，张宗逊任司令员，张平化任政委，在沧石路右侧开展游击战；6月22日向张荫梧部反击，歼二千五百人；8月18日，“张纵队”离开冀中平原，越过平汉路；9月10日“张纵队”番号撤消，张宗逊仍任三五八旅旅长，参加了陈庄战斗。1940年6月参加了晋西北夏季反“扫荡”；8月参加了百团大战；10月30日晋西北军区成立，张宗逊任第三分区司令员，辖三五八旅。1941年8月参加指挥了晋察冀边区反扫荡。1942年5月带职去延安参加整风学习，12月与杜芳结婚。1943年3月返回部队；6月第三次反共高潮爆发，张宗逊在葫芦河地区布防；10月开展全旅大练兵，受到良好效果。1945年4月参加了中共七大，6月当选为候补中央委员；7月胡宗南部进攻边区，张宗逊指挥八个团进行爷台山战斗；8月成立晋绥军区，张任副司令员；9月到晋西北创建吕梁山军区，张宗逊任军区司令员兼政委，辖五个军分区。

　　西北战线尽心力

　　解放战争开始后， 1946年7月，晋绥、晋察冀两大军区联合进行了大同集宁战役，张宗逊作为前线野战总指挥，指挥17个旅51个团十几万人，既没有攻下楚溪春1。5万人防守的大同，又没有在集宁拦住傅作义3。5万人的援军，造成战略性的大溃败。11月10日任晋绥军区第一纵队司令员；12月奉命率部开赴陕甘宁边区保卫中央。1947年2月14日，陕甘宁野战集团军组成，张宗逊任集团军司令员，习仲勋任政委，辖六个旅；3月4日指挥西华池战役，把一个歼灭战打成击溃战；致使全军上下对他的军事水平产生怀疑，极力提拔他的毛泽东不得已临阵换将，要陈赓带队入陕保卫延安并出任野战军司令，但陈赓不愿放弃富庶的晋南而到陕北这个苦地方打游击，迟迟不动。3月13日国民党军对陕甘宁边区发起进攻，突破共军防线，张宗逊掩护中共中央和中央军委机关及群众转移；3月16日野战集团军撤消，部队归副总司令彭德怀统一指挥；7月31日西北野战军成立，彭德怀任司令员，张宗逊任副司令员兼一纵司令员，（不久第一纵队司令改为贺龙嫡系贺炳炎担任）。在野战军副司令任上，恰封西府陇东战役后期部队陷入重围，他在彭德怀不在的情况下，果断命令部队守住了后撤的唯一通道，保障了全军撤退。