1917年，孙中山领导护法运动期间，余亚农曾投滇军方声涛部，任夏述唐旅参谋。1922年陈炯明叛变，孙中山蒙难永丰舰，下令讨贼，余亚农参加东路讨贼军许崇智部，任第8旅16团第3营营长，不久败于广州石碑，乃离职返沪。 　　国共两党合作后，余亚农返回安徽，与孙品骖等人发动“讨曹（锟）驱马（联甲）”运动，后因奉军进攻而失败，孙品骖下野，余亚农只身走保定，去天津。不久即自天津投奔国民军第5军方振武部，初任参议。1926年3月，国民军第5军参与国民军与直、奉军的南口之役，转战晋北。余亚农任第2（混成）旅第6团团长。8月，国民军兵败，5军退至五原。9月，国民联军成立，5军余部被整编为国民联军第2军，余亚农任第2军第8旅旅长。 　　民国15年9月，冯玉祥于五原誓师，参加北伐。国民联军出兵援陕，解西安之围。余亚农率全师官兵经察、绥、宁而援陕，解救了被围困8个月的杨虎城部。民国16年春，余亚农率部经三原，出潼关，进驻襄樊。此时，冯玉祥部国民军改隶蒋介石指挥，国民联军加入国民革命军，改编为第2集团军，宣布全军集体加入国民党，参加北伐。方振武所部第2军扩编为第3方面军，隶属第2集团军，余亚农升任第1军第3师师长。不久进入豫西，以期与北伐大军会师中原。10月，因与冯玉祥矛盾频起，方振武率所部脱离第2集团军建制，投入蒋介石的第1集团军，所部改称中央直属第9方面军，参与讨伐唐生智。1928年3月，南京政府二次北伐，方振武所部此时已改编为第1集团军第4军团，余亚农改任第34军89师师长。 　　民国17年5月3日，日本侵略军在济南制造“五三惨案”。余亚农奉命率部防守黄河大桥，与日本军第6师团斋藤旅团发生激战，官兵虽有重大牺牲，但终于保住了大桥。同年，奉军被驱逐出关后，蒋介石“编遣国会”， 1929年1月，国民革命军各部缩编。89师被缩编为44师131旅，余亚农任旅长，调驻安庆集贤关。8月，余亚农调任45师134旅旅长。9月，方振武因反对所谓的“编遣”，被蒋介石软禁于南京。蒋介石欲将45师师长鲍刚与第6师师长方策对调，鲍刚不服，在芜湖起兵反蒋，余亚农闻讯后，于安庆北门外集贤关营园客厅，将奉蒋命前来“点编”的嫡系部队第26路总指挥兼第6师师长方策扣押，率所部开进五祖山，树旗反蒋，终因众寡悬殊而失败，方策收编45师残部，接任师长。余亚农流亡上海。 　　蒋阎冯中原大战爆发后，余亚农乘船去天津转郑州，被冯玉祥委为豫皖边区第1路军司令，活动于中原。后因内部不团结，该部为蒋介石分化瓦解。余亚农重返上海。