三、四句由牛渚“望月”过渡到“怀古”。谢尚牛渚乘月泛江遇见袁宏月下朗吟这一富于诗意的故事，和诗人眼前所在之地（牛渚西江）、所接之景（青天朗月）的巧合，固然是使诗人由“望月”而“怀古”的主要凭藉，但之所以如此，还由于这种空阔渺远的境界本身就很容易触发对于古今的联想。空间的无垠和时间的永恒之间，在人们的意念活动中往往可以相互引发和转化，陈子昂登幽州台，面对北国苍莽辽阔的大地而涌起“前不见古人，后不见来者”（《登幽州台歌》）之感，便是显例。而今古长存的明月，更常常成为由今溯古的桥梁，“月下沉吟久不归，古来相接眼中稀”（《金陵城西月下吟》），正可说明这一点。因此，“望”、“忆”之间，虽有很大跳跃，读来却感到非常自然合理。“望”字当中就含有诗人由今及古的联想和没有明言的意念活动。“空忆”的“空”字，表现了诗人对过去的回忆，也暗示了这份回忆注定没有回应，暗逗下文。
如果所谓“怀古”，只是对几百年前发生在此地的“谢尚闻袁宏咏史”情事的泛泛追忆，诗意便不免平庸而落套。诗人别有会心，从这桩历史陈迹中发现了一种令人向往追慕的美好关系—贵贱的悬隔，丝毫没有妨碍心灵的相通；对文学的爱好和对才能的尊重，可以打破身份地位的壁障。而这，正是诗人在当时现实中求之而不可的得。诗人的思绪，由眼前的牛渚秋夜景色联想到往古，又由往古回到现实，情不自禁地发出“余亦能高咏，斯人不可闻”的感慨。尽管自己也象当年的袁宏那样，富于文学才华，而象谢尚那样的人物却不可复遇了。“不可闻”回应“空忆”，寓含着世无知音的深沉感喟。
“明朝挂帆席，枫叶落纷纷。”末联宕开写景，想象明朝挂帆离去的情景。在飒飒秋风中，片帆高挂，客舟即将离开江渚；枫叶纷纷飘落，象是无言地送着寂寞离去的行舟。秋色秋声，进一步烘托出因不遇知音而引起的寂寞凄清情怀。
诗意明朗而单纯，并没有什么深刻复杂的内容，但却具有一种令人神远的韵味。这种神韵的形成，离不开具体的文字语言和特定的表现手法。这首诗，写景的疏朗有致，不主刻画，迹近写意；写情的含蓄不露，不道破说尽；用语的自然清新，虚涵概括，力避雕琢；以及寓情于景，以景结情的手法等等，都有助于造成一种悠然不尽的神韵。李白的五律，不以锤炼凝重见长，而以自然明丽为主要特色。此篇行云流水，纯任天然。这本身就构成一种萧散自然、风流自赏的意趣，适合表现抒情主人公那种飘逸不群的性格。诗的富于情韵，与这一点也不无关系。