谢灵运生于会稽始宁（今绍兴嵊州市），祖籍陈郡阳夏。原名谢公义，字灵运。父谢瑍，仕至秘书郎；母为王羲之与郗璿的独女王孟姜的女儿刘氏。
谢灵运小时在钱塘道士杜炅的道馆中寄养，十五岁回建康，故小名客儿。灵运“博览群书；文章之美，江左莫逮。”十八岁袭封康乐公，世称谢康公、谢康乐。
晋安帝义熙元年（405年）谢灵运已二十岁，出任琅玡王、大司马司马德文的行军参军，后任太尉参军、中书侍郎等职。好营园林，游山水，制作出一种“上山则去前齿，下山去其后齿”的木屐，后人称之为“谢公屐”。与族弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，以文章赏会，共为山泽之游，时人谓之四友。
义熙二年（406年），谢灵运出仕。
义熙三年（407年）改任抚军将军、豫州刺史刘毅的记室参军。
义熙八年（413年）刘毅反刘裕，兵败自杀，谢灵运返京任秘书丞。
义熙十一年（416年），谢灵运转任中书侍郎。
义熙十四年（419年），刘裕在彭城建宋国，谢灵运任宋国黄门侍郎。
永初元年（420年），刘裕代东晋自立，创刘宋，是为宋武帝，谢灵运爵位由康乐公降为康乐县侯，食邑五百户 ，任太子左卫率。
永初三年（422年），刘裕死，宋少帝继位，谢灵运被权臣排挤出京，任永嘉郡太守，在职一年，即称病返乡隐居。
元嘉元年（424年），宋文帝刘义隆即位，任命他为秘书监，始不肯就任，经光禄大夫范泰的催促，于元嘉八年（431年）就职。
元嘉三年（426年）。文帝诛权臣徐羡之等，召谢灵运回朝，谢灵运因不受重用，心有不平，多称疾不上朝而肆意遨游。借文帝讽旨令其自解之机，请病假东归，二次隐居故乡。因日夜游宴，谢灵运于元嘉五年（428年）被免职。
元嘉八年（431年），因决湖造田之事，谢灵运被会稽太守孟顗告发 ，他上书申辩 。文帝知其被诬，未予追究，任其为临川内史。但他依然荒废政事，遨游山水。司徒刘义康遣使收录，谢灵运兴兵拒捕，犯下死罪。文帝爱其才，降死一等，流放广州。
元嘉十年（433年），谢灵运因罪徙广州，密谋使人劫救自己，事发，被文帝以“叛逆”罪名杀害，终年四十九岁。
谢灵运颇信佛教、道教，生得一副美须，死前布施，捐出自己的胡须，装饰南海祗洹寺的维摩诘菩萨佛像。唐时，唐中宗之女安乐公主将维摩诘菩萨佛像之须，剪取一半，以备斗草之用。又恐他人所得，因剪弃其余。今遂绝 。
