诗的三、四句紧扣首二句之意、“道人不是悲秋客，一任晚山相对愁。”在这里，诗人以道人自比，表现出诗人对闲适味道。飘逸、淡泊无求境界的向往。诗人之所以能够“南去北来休便休”，就是因为他不是见秋生悲的“悲秋客”，而是不以物喜，不以物悲的道人。因此，当众人对秋生悲时，诗人自然无悲可言，“一任晚山相对愁”。此时，作者远远望去，楚江两岸的山脉凄清寥落，像是在飒飒秋风中相对发愁。晚山本来不会悲愁，在超脱淡泊的道人看来，晚山也不会悲愁。只有在悲秋人眼里，晚山连同周围的一切才看上去象是都在悲叹哀伤。在此，诗人没有直接去写愁容满面的“悲秋客”，而是通过“悲秋客”眼里所看到的秋暮中凄凉悲伤的景物来写“悲秋客”，这样写，更显示出诗人超然物外的潇洒飘逸。
程颢是北宋有名的理学家，他这首诗就有些谈禅（佛教道理）的味道。但诗人并不是真的那么旷达，真的能超凡脱俗。其实他写要“休便休”，恰恰说明他对“南去北来”已经感到疲倦，渴望守着家人过宁静安逸的生活；他写“白蘋吹尽楚江秋”，可见他对秋天的到来是敏感的；他写“晚山相对愁”，恰恰反映了诗人内心深处的忧愁。所以欣赏诗歌，既要看诗歌中的议论，更要看诗歌中所描写的形象。