蒋介石对严立三一直都不放心,曾两次亲往太乙村访问,严立三都避而不见。由此可见严并非沽名钓誉,更见他的胆量。“九·一八”事变后,报界对严立三长期隐居庐山,有所报道,称之为“当今的‘严子陵’,清高过于严子陵”。蒋介石见报之后大为震怒,曾想派人将严立三赶出庐山。陈诚向蒋介石建议,说严立三在黄埔学生中很有威信,给严难堪影响不好。不如用共赴国难的名义,邀请他到南京担任一个空头职衔。于是蒋介石派陈诚劝严立三到南京任军事训练总监,严拒绝了;二次又派陈诚劝驾,请严立三出任中国禁烟总监,又被严拒绝。1935年6月,“何梅协定”签定以后,华北危机日趋严重。严立三对南京国民政府的丧权辱国十分愤慨,对中华民族的前途非常忧虑。他报国无门,心情惆怅。1936年,严立三只身北上去陕西谒黄帝陵。他肩挑简单行李,沿途考察山川形势,访问民间疾苦。这次谒陵他一直是徒步往返,历时三个多月,在黄帝陵前,严立三洒下了悲愤的眼泪。