1927年,蒋介石发动“四·一二”反革命政变,严立三与蒋介石意见不合。当时国民党左派的中心人物邓演达正在武汉,坚持反蒋,言论激烈。蒋介石素知严立三与邓演达交情深厚,对严更加不放心。在南京,蒋介石接见严立三,他对严立三说:“邓演达在武汉,天天喊要打倒我蒋介石,你同他是莫逆之交,为什么不去信劝阻他?”严当即申明,自己是革命军人,奉命北伐,只知任务是打倒军阀,与邓通信也只是说北伐尚未成功,宁汉不能分裂。蒋介石听后仍然不放心,就转移话题,问严近来身体怎么样,副师长陈诚能力怎么样?明白蒋介石的用意,严立三当即回答说:“我的胃病很厉害,请准我离职休养。陈诚是浙江青田人,能力很强,可以接替我的职务。”蒋介石要严回苏州待命,接着何应钦奉蒋之命,赶到苏州,集合队伍,宣布严师长因病休养,由副师长陈诚代理。宣布以后,全师哗然,引起骚乱,弄得何应钦不知如何收场。严立三当即出面制止,责令参谋长、军需处长交出关防及全部结余款项,由陈诚接管。严立三平时廉洁自持,这时全师还有结存银元10万多元。他一块也不留,全部交出。部属的馈赠也一概不收。交接完毕后,严立三只身乘车去了杭州,脱去军装,换上僧衣,住进了天竺寺。闻讯前去慰问的,他一概谢绝不见。“北伐名将”进了寺庙,成为轰动当时社会的一大新闻。严立三这招以退为进,以柔克刚的做法,的确精妙非常。因为当时他无法跟蒋介石硬碰硬,只有住进寺庙,当了和尚,全社会马上就会传开来,中国的舆论都会同情和支持他,他的名声也就越大,这样他就可以进一步与蒋介石抗衡。事实上,没过几个月,严立三就去湖北省当了民政厅长。严立三的这种处世态度,与他早年的学习修养有关。他喜爱读老庄,老子、庄子的无为而治、与世无争、以柔克刚等哲学思想对他影响很大。在湖北,由于军人干预省政,严立三难以实现自己提出的关于逐步推行地方自治、实行二五减租等改革方案,十分痛苦。1928年春,蒋桂战争发生之前,严立三突然失踪,对于他的去向,众说纷纭,实际上他已隐居庐山,开始了将近10年的隐居生活。他就任湖北省民政厅长,前后一共不到半年。严立三住在庐山含鄱岭南麓的太乙村,自己种菜,自己砍柴,用竹管导水入厨房,生活上坚持自食其力。劳动之外,便是读书,不过问时事政治。朋友知道他的情况后,纷纷给他送钱送物,他一律拒绝。有些黄埔学生前来探望,他劝他们不要来,以免招致麻烦。当时很多人对严立三的退隐,感到很不理解,称他为“怪人”。甚至有人嘲讽:“诸葛亮不求闻达于诸侯,但在南北交通要道的襄阳隆中隐居;严立三视官爵如敝屣,却住在冠盖云集的庐山。”来说明他的隐居是沽名钓誉。对于这些,严立三总是一笑置之,不加评论。