永初三年(四二二)七月，谢灵运出为永嘉太守。在从都城建康去永嘉上任的途中，他经过自己的庄园始宁墅(今浙江省上虞县)，又游历了富春渚和七里濑等处。这首诗就是这期间写的。
诗的开头写秋晨游眺之所见，面对着流逝的江水、陡峭的山崖，诗人充满了羁旅之思。接着又通过对隐居垂钓生活的向往，表达了自己在政治上遭受打击之后的愤懑情绪。
－－－－－－－－邓魁英、韩兆琦等《汉魏南北朝诗选注》
开头四句语言颇艰涩费解。第一句，“羁心”指一个被迫远游为宦的人满肚皮不情愿的心情。这句意思说在秋天的早晨自己郁积着一种不愉快的羁旅者的心情。接下来第二句说，既然一清早心情就不愉快，那么爽性尽情地眺览沿途的景物吧。第三、四两句似互文见义，实略有差别。“逝湍”指湍急而流逝的江水，则“孤客”当为舟行之客；而“徒旅”虽与“孤客”为对文，乃指徒步行走的人，则当为陆行之客，故下接“苦奔峭”三字。夫舟行于逝湍之中，自然提心吊胆；但其中也暗用“逝川”的典故。《论语·子罕》：“子在川上曰：‘逝者如斯夫，不舍昼夜！’”因知此句的“伤”字义含双关，既伤江上行舟之艰险，又伤岁月流逝之匆遽，与下文“遭物悼迁斥”句正相呼应。第四句，江岸为水势冲激，时有崩颓之处，徒步旅行的人走在这样的路上自然感到很苦。不过从上下文观之，这句毕竟是陪衬，重点还在“伤逝湍”的“孤客”，也就是作者本人。所以“孤客”、“徒旅”是以个别与一般相对举，似泛指而并非全是泛指。
第二节的四句全是景语。这中间也有跳跃。开头明写秋晨，下文却来写“秋晚”，而用“日落山照曜”一句来代表。这种浓缩的手法是我国古典诗歌的特点之一，而谢灵运的诗在这方面显得尤为突出。但是缓是急，仍须研究。汉武帝《瓠子歌》（见《史记·河渠书》引）：“河汤汤兮激潺谖。”可见当训水流急貌。何况“石浅”则水势自急，必非缓流可知。此四句“石浅”句写水，写动态，“日落”句写山，写静态；水为近景，色泽清而浅；山为远景，色泽明而丽。“荒林”句写目之所见，“哀禽”句写耳之所闻。全诗景语，仅此四句，起到承上启下的作用，照理讲它们并非主要内容。只是若把这四句删掉，此诗即无诗味可言。可见情由景生，原是写诗要诀。
第三节从写景转入抒情，却兼有议论。“迁斥”有两层意思，一是主观上指自己被出为郡守，无异于受迁谪和贬斥，二是客观上感到节序迁改推移，时不待人。这二者都是值得伤悼的。但只要存有希望，就可以领悟精微玄妙的道理，不致因外来的干扰影响自己的情绪了。然而这种悟道的境界，只有太古时代的圣君贤哲才能心领神会，处于衰乱末代的人是无法理解的。所以作者说，“我既已持有上古时代的圣贤的一颗心，哪里还在乎当今世人的讥诮呢！”从这里，看得出作者同刘宋王朝的统治阶级是互相对立的，这是豪门世族与军阀新贵之间必然存在的矛盾。最后矛盾激化，谢灵运终于以谋反罪被杀害。从历史主义的观点来分析，这是丝毫不足为怪的。
最后一节，作者借古人以明志。“严子”和“任公”这是两种不同类型的古人。严光是避世的隐者，而任公则象征着具有经世大才的非凡之辈。作者意思说自己纵有经天纬地之才，由于不合时宜，宁可做个隐士。结尾两句，作者明确表示：即使不同时代的人也可以志趣相投，步调一致。言外隐指：本人知音寥落，当世的人对自己并不了解。从而可以推断，上文作者所伤悼的具体内容到底是什么了。