咸丰三年(1853年)，中国近代史上的第一支新式地主武装湘军在衡州府（衡阳）产生了。按最初的计划，只想编练一只万人的部队，但因曾国藩的号召力很强，军饷发的也高，很快便超过这个数字。 　　陆师的编制是：塔齐布、罗泽南、邹寿章、周凤山、储玫躬、曾国葆、朱孙诒、邹士琦、杨名声、林源恩各领一营，每营500人，共是5000人。王錱一人原领6营，约2400余人，曾国藩命其缩编为3营、1500人统带，王錱不服，乃率军投湖南巡抚骆秉章而去。

 　　水师的筹建稍晚于陆师。1852年底，太平军进攻益阳、岳州，得到大批船只，遂建水师。后由武汉攻南京，千船万舸，蔽江而下，控制了千里江面。迫于应付太平军的水师攻击，咸丰三年(1853年)，清政府饬令湖南、湖北、四川造船练兵。湖南巡抚骆秉章自认建水师困难，没有进行。而郭嵩焘亲见太平军的水上作战，往来迅捷，遂建议江忠源再度上书，要求清廷拨款、造船，实力编练水师。咸丰准奏，命令广东购置洋炮，两湖、四川造战船，建立水师，对抗太平军。

 　　咸丰三年(1853年)冬初，曾国藩奏请拨款4万两，在衡州建立造船厂，日夜赶造战船。他请来广西同知褚汝航、岳州守备成名标督造船只，从广西速购大批木材。到咸丰四年初(1854年)，湘军水师成军，共有战船361号，有拖罟(ɡǔ，音古，大纲)大船1号、快蟹40号、长龙50号、舢板150号、改装渔船120号。船上共装大炮470门，新式洋炮320门。

 　　水师成军之初，人数与陆师相等，亦编为10营，营官由褚汝航、夏銮、胡嘉垣、胡作霖、成名标、彭玉麟、杨载福、龙献深、邹汉章、诸殿元10人担任。水营的招募从时间上看虽不太迟，但招募过程却很曲折。本来衡永郴桂道之衡州、郴州、桂阳、永州一带多有习水性之人，也乐于应募，但曾国藩却不愿在那里招募，其原因一是陆师多在湘乡一带招募，水师也想在那里招募；另一原因是湘南一带多次发生起义，会党势力很大，曾国藩也不敢在那里招募。湘乡的壮丁多已参加了湘军和地方团练，又不习水性，所以不愿受招。但曾国藩利用各种关系，日夜说服动员，正好湘乡一带发生旱灾，百姓受灾生活困难，湘军的待遇又好，所以才纷纷投军，使水营也较快成军。

 　　水师的营官招募也很困难，幸赖彭玉麟出为营官，才使水师成军，终成湘军首领、一代名将。

 　　彭玉麟仅在十几岁时中了秀才，以后再未赴考。开始在衡阳绿营副将手下充掌书记，又为一富商看守仓库。有空即读《公瑾水战法》，又最爱画梅，几案箱笼，所处皆满。　咸丰二年(1852年)，耒阳地区发生武装暴动，急迫时，守城官募兵无以应，当时彭玉麟仍在耒阳富商家受雇，当机立断，发主人库存募勇守城。事息，城官保为绿营把总，彭玉麟一笑置之，并不受赏，被传为士林中少见之英杰。

 　　曾国藩打听到彭玉麟的为人处世，尤其是此人熟读《公瑾水战法》，生在蒸水之滨，水性好，跑马射箭、枪法、拳术也都有功底，曾临战之功而不受奖赏。于是派人请他参加湘军，做水师将领。几次派人去请，彭玉麟也不受命。后曾国藩仿效刘备三顾诸葛的故事，亲往彭玉麟处相请，曾国藩见这位年近40的汉子，依然长身玉立，英迈娴雅，十分敬佩。乃温言相劝，多方激励，方请得彭玉麟出山，做了水师统帅，并自领一营。

 　　彭玉麟入水师，为湘军水师的建设大出其力，成为湘军水师统领。彭玉麟率领水师营官每日抓紧指挥练习水战，至咸丰四年一月(1854年2月)，湘军水师终于练成，出师衡州。
中国近代海军的奠基人
　　彭玉麟对湘军所作出的贡献并不亚于曾国藩、左宗棠等人。彭玉麟不仅是湘军水师的创建者，还是中国近代海军的奠基人。秀才出身的他早年贫苦，当过学徒、帐房先生，但凭借过人的胆识和才智，彭玉麟加入曾国藩的阵营，统领湘军水师，并在镇压太平天国的几大战役中，靠着一股“不要命”的霸蛮狠劲成就非凡战功。他一生与水师打交道，内乱平息后，又奉命创建长江水师，晚年更是抱病以钦差大臣身份坐镇广东海防最前线，并大胆启用老将冯子材，在中法之战中取得著名的“镇南关大捷”。

 　　清朝最有名的“辞官专业户” 　　不过奇怪的是，与很多靠杀人起家的湘军将领不同，彭玉麟对升官发财兴趣不大，他一生多次辞谢高官厚禄，譬如相当于“副省级”的安徽巡抚、“省部级”的两江总督、令无数人垂涎三尺的肥缺漕运总督、“部长级”的兵部尚书，堪称清朝最有名的“辞官专业户”。彭玉麟生性不爱浮华，自奉甚俭，平日布衣蔬食，自律甚严，但对他人却十分阔绰，几千几万两的俸银和赏银，随手而尽，一部分用于周济穷困的亲友，赠予凯旋的部下，另一部分则用于赞助公益事业，现在衡阳城内的船山书院就是他一手捐建的。