将军为东北军核心将领之一,为少帅张学良之左膀右臂。
1908年(宣统元年)考入通州速成随营学堂步兵科。1911年以第1名的成绩毕业于北洋武卫左军(即毅军)速成随营学堂步兵科。历任排长、连长,1914年任热河西林镇守使署中校副官长。1917年调任直系吴佩孚部北洋陆军第18混成旅炮兵营长。1921年秋川鄂战起,川军大举进攻湖北,驻湖北的第18旅参战失利。适两湖巡阅使吴佩孚亲临督战,于学忠往见吴佩孚,面陈战策,被采纳,经过5昼夜激战,大获全胜,得吴佩孚赏识,提任步兵第2团团长,很快升任18混成旅旅长,1925年10月升任14省联军第26师师长,1926年任长江上游警备副司令,1926年冬任第9军军长兼荆襄警备区边防总司令等职。1926年,北伐军攻克武昌,吴佩孚主力被歼,他于1927年6月离开部队返回蓬莱故里。不久,第二次直奉战争后转投奉系张作霖,历任镇威军第4方面军团第20军军长,后晋升陆军中将。1928年,任东北军第1军军长、东北保安司令长官公署军事参议员、临绥驻军司令。1930年9月,受命率领东北军第1军随张学良从沈阳出发,入关进驻北平,被南京政府任命为平津卫戍司令。