谢诞生后即离乡，第一次返回故乡已经卅八岁。宋永初三年(422)五月，宋文帝刘裕卒，太子刘义符即位，是为少帝。谢灵运等受到当朝权臣徐羡之、傅亮等排挤，离京出守永嘉。同年七月，离京往永嘉途中曾枉道回始宁小住。七月廿日抵始宁，逗留数天，即折回钱塘，经富春、桐庐、七里濑，再折回南至东阳郡长山(今金华市)，然后陆行抵青田溪，再乘船至永嘉，已是八月十二日。他的行踪有本人诗作可证。这次枉道而行说明当时会稽与临海两郡之间陆路难通。这次回乡，时间很短，不能说是隐居。

     景平元年(423)秋至元嘉三年(426)秋，谢第一次回乡隐居，长达三后。谢赴永嘉任太守仅一年，“出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。所至辄哟诗咏，以致其意焉。在郡一周，称疾去职。”4去职获准，买舟北上，欣然返回始宁。《归途赋》云：“践寒暑以推换，眷桑梓以缅邈，褫簪带于穷城，返巾褐于空谷。果归期于愿言，获素于思乐。”实际上比他自己所预期的“挥手告乡曲，三载期归旋”(《过始宁墅》诗)是大大提前了。隐居期间，“修营别业，傍山带江，尽幽居之美，与隐士王弘之、孔淳之等放纵为娱，有终焉之志，作《山居赋》自注以言其事。“6这期间创作诗文颇丰，今存有《会吟行》、《田南树园激流植援》、《石壁立招提精舍》、《石壁精舍还湖中作》、《南楼中望所迟客》、《石门新营所住四面迥溪石濑茂林修竹》、《述祖德诗》等诗篇。文章以阐述佛道思想为多，有《与庐陵王义真笺》、《和范先禄祗洹像赞三首》、《和从弟惠连无量寿颂》、《维摩诘经》中十譬八首，《伤己赋》、《逸民赋》、《昙隆法师徕》等7”。从作品中反映，他的隐居生活安闲自适，投入颇深。

     刘义隆即位后，政局起了变化，谢的政敌徐羡之、傅亮先后伏诛。元嘉三年(426)三月，太祖征谢为秘书监，“再召不起，上使光禄大夫范泰与灵运书敦奖之，乃出就职。8”这才离乡北上，经丹徒，谒庐陵王墓，再进京任职，时间为元嘉三年秋。“既至，文帝(即太祖刘义隆)唯以文义见接，每侍上宴，谈赏而已……灵运意不平，多称疾不朝直……出郭游行，或一日百六七十里，经旬不归，既无表闻，又不请急，上不欲伤大臣，讽旨令自解。灵运上表陈疾，上赐假东归。

     元嘉五年(428)春至八年(431)春，灵运第二次回始宁隐居，也是三年。“灵运既东归，与族弟惠连、东海何长瑜、颖川荀雍、泰山羊浚之以文章赏会，共为山泽之游，时人谓之四友。''这时期主要作品有《入东道路》、《登临海峤初发强中》、《酬从弟惠连》，《登石门最高顶》、<石门岩上宿》等。这次回乡，谢与会稽太守孟颉不和直至发生冲突。“孟事佛精恳，而为灵运所轻。尝谓颉日：得道应需慧业，丈人升天当在灵运前，成佛必在灵运后。颧深恨此言。”“会稽东郭有回踵湖，灵运求决以为田，太祖令州郡履行，此湖去郭近，水物所出百姓惜之，颛坚守不与。灵运既不得 回踵，又求始宁坯嶂湖为田，岩又固执。灵运谓颉非存利民，正虑决湖多害生命，言论毁伤之，与颧遂构仇隙。”于是颛一而上疏文帝(即太祖)，谓灵运有“异志”，一面如临大敌，发兵自防。灵运获知，急驰京都，上表文帝自辩。文帝知其被诬，不加罪，也没让他回始宁。灵运暂住京中，元嘉八年(431)冬被派往临川任内史。从此，灵运再也没有回过故乡。