谢灵运十五岁时，移居在京师建康(江苏省南京市)郊外乌衣巷的同族的邸宅里。那儿也是谢安之孙谢混召集一族子弟，为使他们在贵族社会冲大显身手而进行教育、熏陶的地方。谢灵运与堂兄弟谢瞻(385-421)、谢晦(390-426)、谢哩(?-427)、谢弘微(392-433，本名密，内讳)一起接受被称为“乌衣之游”的家庭教育，进一步提高其教养。谈论式的熏陶是谢氏一族的传统，与继承家风也有密切关系。东晋谢安之时，专门有清谈式的议论，而谢混是“风流”人物，不仅善于清谈且富有才艺，从东晋玄言哲学思潮到南朝文化，谢混开文学隆盛之端绪。谢灵运“车服鲜丽，衣裳器物，多改旧制。”像这样讲究款式和设计，应该是收到了“风流”才子谢混的影响，窃以为谢混的新的文学的感受力培养了谢灵运的做诗能力。

    谢灵运作为诗人，在历史上最初受到认可的记载，在义熙14年(418) 9月9日壬寅，刘裕在彭城戏马台(江苏省铜山县南)举行的宴会上。其与堂兄谢瞻一起作为朝廷使者去慰问刘裕，《文选》收录了二者同题之作《九日从宋公戏马台送孔令》。这次宴会，表面上是为孔靖退职归乡举行的，事实上却是北伐成功的刘裕对内对外夸耀自身权威的宴会。作为留给后世的记录，在座的所有人都要赋诗，但朝廷使者谢灵运、谢瞻作为诗人在席，则有锦上添花的目的。

    谢灵运的诗，开头部分只是描述了秋天的景色:“季秋边朔苦、旅雁违霜雪。凄凄阳卉胖、皎皎寒潭洁。”

    第三句“凄凄阳卉胖”出自《诗经·小雅·四月》中的“秋日凄凄、百卉具胖。”西晋的潘岳(247-300)多从《诗经》取句，谢灵运这一句就很像潘岳的句子。

    现存这一时期的谢灵运诗歌少，几乎没有重点描写山水风景的诗作。刘裕作为宋王朝建立者即位以来的义熙年间，于灵运而言，叔父谢混的盟友刘毅与刘裕在霸权之争中败北，谢混离世。刘裕得势，谢氏一族面临命运左右的重大局面。期间，谢灵运深深倾向于佛教。据说灵运十五岁的时候(隆安3年，399 )，已经听说了慧远的存在并请求入门，义熙7年(411)二十七岁的谢灵运，随刘毅赴任江州(江西省九江市)都督及刺史之职。此时谢灵运登庐山，据说他初次在东林寺见到慧远便己心服，据南朝梁慧皎所撰《高僧传》，其师道安认识到慧远的聪明，允许其用特别是诸如《庄子》之类的佛教外典，是不囿于教理之人。又，福永光司曾说:“慧远的文学造诣也很深，在庐山曾给弟子雷次宗讲《诗经》……《宋书》卷九十三中记载，宗炳入庐山，为‘就慧远考究文义’。故推测当时的庐山是传教的中心地，同时也是学问文艺的中心地。”