山西经过几年的休养生息，阎锡山自觉羽毛丰满，便“站”在娘子关上窥测形势，伺机而动。1924年第二次直奉战争中，阎出兵石家庄阻截直军北上，促成段祺瑞出任临时执政。1925年12月，打退了国民军总参议续桐溪策划的建国豫军樊钟秀对山西的进攻。1926年 3月，又将占领山西雁北地区的国民军逐出山西，并将自己的势力扩展到绥远。

    在此期间，国共两党实现合作，筹划进行北伐。国民党极力争取阎锡山，双方关系开始改善。1925年，国共合作的国民党山西省党部在太原成立。阎处于举足轻重的地位，在张作霖的威胁和拉拢下，对北伐采取坐山观虎斗的态度。北伐军于1926年 7月誓师后，直指湘鄂，摧枯拉朽，很快打垮了吴佩孚;接着又取得赣、闽、浙、皖、苏的胜利，孙传芳溃不成军。大势所趋，北伐奉张，已是指日可待。阎看到这一形势，乃于1927年6月6日就任国民革命军北方总司令，悬挂青天白日旗。国民党中央政治会议追认这一职务，并于 6月29日推阎为该会委员。7月7日，国民政府军事委员会又任阎为委员。 7月15日，阎指挥晋军出兵石家庄。 9月29日阎锡山誓师讨奉，在京汉、京绥沿线与奉军激战。但是蒋介石、汪精卫先后破坏国共合作，北伐受挫，国民革命军一时未能北上，奉军乘势大战晋军，傅作义部被围涿州，雁北地区被奉军占领，山西处境危殆。阎指挥晋绥军牵制了相当一部分奉军，对北伐全局来说在战略上具有重要意义。

    蒋介石下野未及半年，于1928年初复出后，以继续北伐统一全国为目标，看到雄踞山西的阎锡山有举足轻重之势，乃竭力拉拢：1928年 2 月28日，国民政府任命阎为国民革命军第三集团军总司令，3月7日国民党中央政治会议任命阎为太原政治分会主席，3月9日国民政府又任命阎为山西省政府主席。当月，蒋介石统率北伐军对奉军展开全面进攻，第三集团军转守为攻，收复大同，占领保定，并向京津进军。此时第二集团军冯玉祥部人多势众，蒋故意拉阎抑冯，于6月4日通过国民政府任命阎为京津(后称平津)卫戍总司令，并让第三集团军部队先行入京，天津亦和平接收。至此，阎锡山在北伐中掌握了晋冀察绥四省和平津两特别市的军政大权。10月19日，国民党中央政治会议任命阎为内政部长(由赵戴文代理)。阎锡山从此与蒋介石、冯玉祥、李宗仁齐名，成为雄踞华北的军阀。1929年3 月召开的国民党第三次全国代表大会，阎虽未出席，但仍当选为中央执行委员(四、五届连任)。