1929年初，国民党召开编遣会议。蒋介石拟利用编遣全国军队之机削弱异己，首先任命阎锡山为蒙藏委员会委员长，以孤立冯玉祥和李宗仁。阎在各方讨价还价声中，曾提出有利于蒋的编遣方案。3 月15日第三集团军总司令部被撤销，而代之以第三编遣区办事处后，阎成了光杆司令，方知上当受骗，遂联冯以辞职并以相偕出洋相要挟。6 月25日冯玉祥抵达太原，阎竟然将冯软禁以自重。蒋阎双方函电往来，讨价还价。7 月23日，国民政府特派阎为西北边防司令长官，阎以“此时对外对内不宜设此官”为由，拒绝就职，并于 8 月27日辞去山西省政府主席以试探。10月28日，国民政府任命阎为陆海空军副司令，但蒋声称“在中央有职务者不得再兼省职，国务委员应在京，无事不得离职”。阎知蒋为调虎离山，推诿不就;后在各方人士敦促下，始于11月 5日就职，但并不到南京视事。

    当年12月，唐生智联阎倒蒋，阎暗中首肯。在唐发出通电后，阎见其未将已名列于首位，在赵戴文等人的劝阻下，出尔反尔，转而与张学良等通电拥蒋反唐。蒋令讨唐军均归阎指挥，阎于1930年1月3日亲赴郑州指挥作战。蒋为消灭政敌，密令何成浚与河南省主席韩复榘相机捕阎。此计被阎的部下窃听电话获悉，阎乃化装遄返太原。

    此后，蒋阎关系进一步恶化，双方厉兵秣马，准备决战。阎将晋军扩充为10个军、4个保安纵队、4个骑兵师和7个炮兵旅，共约20万人;并与冯玉祥达成谅解，资助军费送冯回陕，冯指挥所部共同行动。

    1930年 3月14日，原第二、三、四集团军将领57人，通电拥阎为陆海空军总司令，冯玉祥、李宗仁、张学良为副总司令，出兵讨蒋。4 月 1日，阎、冯、李在驻地分别宣誓就职。阎在就职通电中，揭露蒋将国民党变为“一人之化身，专制独裁，为所欲为”，致使“党不党，政不政，国不国，民不聊生”，“犹复迫我以武力，助其铲除异己”，说自己不得已“应军民之请求”。以战争手段重建党国。国民政府则于4月5日下令免去阎锡山本兼各职并通令缉捕，国民党中常会亦决定永远开除阎锡山的党籍。剑拔弩张，在津浦、陇海、平汉线上双方陈兵百万的中原大战随之全面展开。

    战争初期，形势对阎、冯是有利的。晋军占领济南，蒋介石本人在柳河车站险被冯军俘虏。但是乌合之众的反蒋军，有的观望不前，有的投降叛变，加上指挥失当配合不力，致使会师徐州的计划未能实现。8月1日，蒋军全面反攻，战局急转直下，向着有利于蒋的方向发展。

    7 月，国民党反蒋各派在北平成立了“中国国民党部扩大会议”，决定另组“国民政府”，推选汪精卫、阎锡山、冯玉祥、李宗仁、邹鲁、唐绍仪、张学良为委员，以阎为主席。9月9日，阎锡山在北平怀仁堂宣誓就职。

    在大战期间处于举足轻重地位的张学良，坐山观虎斗，当局势日趋明朗时，于 9月18日通电拥蒋，派兵入关。面临南北夹击之势，阎、冯等反蒋军全线崩溃，蒋介石取得了中原大战的胜利。撤消太原的扩大会议、“国民政府”和“陆海空军总司令部’随即先后解体。阎锡山于10月15日宣布下野，12月潜赴大连，托庇于日本帝国主义，一枕黄粱美梦就此收场。此战军民死伤近30万人，豫鲁两省赤地千里，饿殍遍野，国力损耗，元气大伤;而东北军进驻关内，边防空虚，客观上为日本帝国主义造成发动“九一八”事变的条件。