1931年5月，中共鄂豫皖中央分局成立。10月，红军进行整编，吴焕先任红二十五军七十三师政委。11月，红四方面军成立，任红二十五军政委，不久，调任红四方面军政治部主任。中共鄂豫皖省委成立后，当选为省委常委。　在执行土地政策中，时任鄂豫皖中央分局书记的张国焘主张“地主不分田”，“富农分坏田”的极左政策，吴焕先与之争论：“地主不分田，那让他们干什么?”并在他负责的区域内抵制了张国焘的极左做法。张国焘为了独揽鄂豫皖苏区的党政军大权，借“肃反”之机，对抵制和反对他推行错误路线的曾中生、邝继勋、许继慎、周维炯等领导人实行无情打击和残酷迫害，吴焕先十分反感，他愤懑地说：“苏区干部哪有这么多反革命?”后来，当“肃反”的矛头指向王秀松时，吴焕先不顾个人安危，公开反对。虽然张国焘对他心怀不满，由于他在干部和人民群众中享有崇高威望，对他不敢下手。就在红四方面军主力撤离鄂豫皖时，张国焘借机将他留下，降为鄂东北游击总司令。

　　1932年10月，第四次反“围剿”失利，红四方面军主力西撤。11月30日，鄂豫皖省委决定重建红二十五军，吴焕先任军长，王平章任政委，全军7000余人。翌年3月6日，红二十五军向进驻郭家河的敌35师104旅发动进攻，全歼该旅，俘敌团长以下2000余人，缴获轻重武器2000余件。随后，吴焕先又率红二十五军连续取得潘家河、杨泗寨战斗的胜利，红二十五军迅速发展到13000余人。5月2日，省委部分领导人执行“左”倾盲动主义路线，强令红二十五军攻打敌重镇七里坪。在久攻不下的情况下，吴焕先向省委负责人反复陈词，方许撤围。此役，红二十五军与敌相持43天，伤亡6000余人。7月，敌人调集14个师、4个独立旅共10万余人，向鄂东北发动第五次“围剿”，吴焕先面对汹涌而来的敌人，力主避敌锋芒，率部转战皖西北。敌以3个师扼守潢麻公路。此时，敌2个师又5个旅重兵合围，我部遭受重创，全军只剩3000余人。红二十五军在皖西难以立足，遂留下八十二师坚持皖西重返鄂东北。

　　红二十五军在飘忽不定的游击战争中经常面对数倍于已的敌人，全体指战员们始终斗志旺盛，意志坚强。平日，部队每到一地，吴焕先总是亲自召开会议，了解干部战士的思想和执行纪律的情况，注重在斗争中选拔积极分子、发展党员，经常深入基层同战士谈心，讲革命道理。作战时，他总是身先士卒，亲历险境，与战士一起在枪林弹雨中冲杀。当时部队缺粮严重，他和战士们一样忍饥挨饿。看着他黄肿的脸，警卫员悄悄寻来一点大米给他熬一小锅稀饭，吴焕先一口未尝，让警卫员将稀饭全部送给了伤病员。他对待自己的亲属更是严格要求。1933年秋在围攻七里坪的艰苦日子里，他的母亲跑反乞讨到了军部，战士们知道后，纷纷要求军长将老妈妈留下来，省委书记沈泽民也破例批给了一斗大米，但吴焕先还是硬着心肠拒绝了。当老妈妈拄着讨饭棍离开部队时，战士们禁不住流出了热泪，如此一别，吴焕先就再也未见到母亲。时隔不久，他的妻子曹干仙知道部队严重缺粮后，便带上自讨的半代粮食和十几个鸡蛋送给了部队。他却将这点食物一一分给战士享用。几天后，他的妻子饿死在乞讨路上。

　　1934年4月，吴焕先率部越过敌兵扼守的潢麻公路，于商城豹子岩同徐海东所率红二十八军会合。按照省委决定，两军合编为红二十五军，徐海东任军长，吴焕先任政委。重编后的红二十五军决定改变过去的军事行动方针，在省委扩大会议上，他们提出今后红军和游击队的行动要“灵活、慎重，不要机械”的作战方针，要从实际出发，“打不了不打，打不胜不打，要打就打歼灭战。”同时，针对战场上主要对象东北军思乡观念强和不满蒋介石丧权辱国、导致东北家乡沦陷等情况，制定了《哗变士兵优待条例》，组织“哗变士兵委员会”，开展战场瓦解敌军工作，收到明显效果，东北军士兵经常带枪投奔红军，敌105师一个排的士兵在打死排长在将敌115师拖垮之后，乘敌疲惫之时，吴焕先和徐海东分头率队从两翼突然向敌人发起进攻，战士们一边高喊“中国人不打中国人!”“东北军兄弟们不要上老蒋的当!”一边迅猛插入敌群，面对红军强大攻势，敌军已无斗志，纷纷弃械投诚，取得了豹子岩会师后的第一场胜利战斗。接着又挥师西进，于罗山取得长岭岗大捷。