1937年8月,张廷枢来到太原。那时,太原集结了很多东北学生、东北军中下级军官。他们企望组织起来,进行抗战。张廷枢表示,愿意组织大家抗战。后来,张廷枢找到了周恩来。对大家的抗战愿望,周恩来表示鼓励和支持。在周恩来和八路军总部直接关怀下,太原八路军办事处为100多人办了训练班。其中,有张廷枢以及东北军团、营、连长50多人;东北大学生50多人。
1937年10月,张廷枢与张政枋一道,率领100余人、携带精锐武器,从太原到达晋东南八路军总部,被授予“八路军第一游击纵队”番号,张廷枢任司令员,张政枋任副司令员。他们还受到毛主席和朱总司令亲切接见。为加强部队政治工作,八路军总部总政治部组织部长周桓,兼任“八路军第一游击纵队”政治部主任。“第一游击纵队”驻扎在河北邢台一带,一方面发动群众,一方面扩充队伍。很快,部队发展到3个支队、近两千人。