谢灵运出生前两年(383)，前秦符坚率领百万军队进攻东晋疆域。在东晋面临这一最大危机之际，谢灵运的祖父谢玄(343-388)以讹水之战把前秦军队击败，与宰相谢安(320-385)一起被誉为晋朝元勋，在这之后不久出生的谢灵运天赋才能，谢灵运学书于母，其母为王献之(王羲之之子)外甥女，灵运勤于学问，被称为“江左莫逮”之人。一方面，谢灵运身为位拜公爵的名门贵族的嫡子，又是独子，加上其祖玄与其父焕相继离世，惧于厄难的谢家把谢灵运送到道教的杜明师处让他郑重地抚养到十五岁。被溺爱的谢灵运，傲慢而又短见，养成了喜欢阔绰华丽的性格。与高祖刘裕第二皇子刘义真勾结，梦想成为与自己的家世相当的大臣宰相，但反而遭受了被贬滴的挫折。但第三代皇帝刘义隆爱其文才，任命其为朝廷内清官(清廉洁白之官)中最高位的秘书监(掌管宫中图书的秘书省长官，3品)，但谢灵运却远离了政治。谢灵运以豪华的衣服为饰，无视戒律，又因批判政权再度左迁，最终因反叛之罪，被处死刑。若仅从史实来看，谢灵运是一个夸耀家世、傲慢而又短见的自我中心主义者。

    清水凯夫根据史学家宫川尚志的说法指出，住在会稽的谢氏(谢玄家族)是五斗米道的信徒，杜明师是钱塘五斗米道的名师杜子恭。在杜明师指导抚育的十五年间，谢灵运应该学了不少与道教相关的知识吧。

    谢灵运具有与道教相关的教养的例子之一，是其诗《从南山往北山经湖中眺望》:“不惜去人远，但恨莫与同”中的“去人”。李善注曰:“人谓古人也。”即指古代人，五臣(吕向)注曰:“谓隐人也。”即解为隐于人之意。现代的解释有“隐逸之人，指深解湖山美景的古人。”“过去的人，指古人。”“离开古人(据李善注)。一说即与城市相隔之意、见明张凤翼《文选纂注评林》。”⑦等等。徐仁甫批判李善注，解释道:“按不惜、但恨二句，从《西北有高楼》，‘不惜歌者苦，但伤知音稀’。然知音稀则歌者愈苦;莫与同、又岂非由于去人远乎。《庄子·徐无鬼》;‘夫逃空虚者·一闻人足音蛰然，则喜。’此则有与同矣。两句固有因果关系，则人不必谓古人。”