臧伯平早年就学于保定第二师范、北京民国大学国文系。
1929年8月参加革命工作并加入中国共产主义青年团,1930年转为中国共产党党员。
1937年8月历任唐县县委书记、1941年在河北省建屏县、灵寿县任县长、1943年任晋察冀边区第四专员公署专员、第十一专员公署专员、地委常委。
1947年11月起任石家庄市建设局局长、市政府秘书长等职。
新中国成立后,先后任石家庄市副市长、市长。1952年任河北省建设厅厅长、1954年任中央第二机械工业部七局局长、1958年任北京航空学院党委第二书记,1964年调任南开大学副校长、党委书记。
“文革”期间遭到迫害,1973年底恢复工作,1977年任天津大学校长,1978年任南开大学党委书记兼校长。
1979年6月任教育部副部长,并连续两届担任第六、第七届全国政协委员。1982年退居二线,1995年8月离职休养。
2005年10月4日在北京逝世,享年92岁。