以下笔锋突转，描写杏花遭到风雨摧残后的黯淡场景。春日绚丽非常，正如柳永《木兰花慢》中所云：“正艳杏烧林，缃桃绣野，芳景如屏。”但为时不久就逐渐凋谢，又经受不住料峭春寒和无情风雨的摧残，终于花落枝空；更可叹的是暮春之时，庭院无人，美景已随春光逝去，显得那样凄凉冷寂。这里不仅是怜惜杏花，而且也兼以自怜。试想作者以帝王之尊，降为阶下之囚，流徙至千里之外，其心情之愁苦非笔墨所能形容，杏花的烂漫和易得凋零引起他的，种种感慨和联想，往事和现实交杂一起，使他感到杏花凋零，犹有人怜，而自身沦落，却只空有“故国不堪回首月明中的无穷慨恨。”愁苦“之下接一”问“字，其含意与李后主的”问君能有几多愁，恰似一江春水向东流“亦相仿佛。
词之下片，以杏花的由盛而衰暗示作者自身的境遇，抒写词人对自身遭遇的沉痛哀诉，表达出词人内心的无限苦痛。前三句写一路行来，忽见燕儿双双，从南方飞回寻觅旧巢，不禁有所触发，本想托付燕儿寄去重重离恨，再一想它们又怎么能够领会和传达自己的千言万语？但除此以外又将凭谁传递音问呢？作者这里借着问燕表露出音讯断绝以后的思念之情。“天遥”两句叹息自己父子降为臣虏，与宗室臣僚三千余人被驱赶着向北行去，路途是那样的遥远，艰辛地跋涉了无数山山水水，“天遥地远，万水千山”这八个字，概括出他被押解途中所受的种种折磨。回首南望，再也见不到汴京故宫，真可以说是“别时容易见时难”了。
以下紧接上句，以反诘说明怀念故国之情，然而，“故宫何处”点出连望见都不可能，只能求之于梦寐之间了。梦中几度重临旧地，带来了片刻的慰安。结尾两句写绝望之情。晏几道《阮郎归》末两句“梦魂纵有也成虚，那堪和梦无”，秦观《阮郎归》结尾“衡阳犹有雁传书，郴阳和雁无”，都是同样意思。梦中的一切，本来是虚无空幻的，但近来连梦都不做，真是一点希望也没有了，反映出内心百折千回，可说是哀痛已极，肝肠断绝之音。
作者乃北宋著名书画家，其绘画重高写生，以精工通真著称于世。这种手法于此词的景物刻画中也有所体现，尤其上片对杏花的描绘，颇具工笔画的意蕴。