“小梅飘雪杏花红。”次句仍点时令，但转从花的开落角度写。梅花已经开过，正飘散着雪白的花瓣，杏花却开得正鲜艳。这句色彩的对比鲜明，画出寒食节明丽的春光，与上句的色调恰成对照。如果说上句多少透露出因怀人而产生的凄迷孤寂之感，那么这句则与记忆中的温馨亲切的往事不无关系。《寒食夜有寄》说：“云薄月昏寒食夜，隔帘微雨杏花香。”《偶见》：“秋千打困解罗裙，指点醍醐索一尊。见客人来和笑走，手搓梅子映中门。”可以证明梅、杏与往昔情缘的关系。夜间是看不见“小梅飘雪杏花红”的景象的，这正可以进一步证明这句所写的并非眼前实景，而是记忆中的景象。一、二两句的含义则是：身上感受到恻恻轻寒和丝丝寒风，闻到梅花和杏花的香味，于是才意识到，一年一度的寒食节又来临了，又是“小梅飘雪杏花红”的时节了。
正因为前两句在写景中已经暗暗渗透怀人的感情，因此第三句便直接联想起与这段情缘有关的情事。“夜深斜搭秋千索”，表面上看，似乎这只是写诗人夜间看到附近园子里有一座秋千架，秋千索斜斜地搭在架上。实际上诗人的这段情缘即与寒食节荡秋千的习俗有关。《开元天宝遗事》说，天宝年间，“宫中至寒食节，竞竖秋千，令宫嫔辈戏笑以为宴乐”。可见秋千之戏为寒食节特有的文娱体育活动，且以女子戏者为多。据《香奁集》记载推断，诗人与他所恋的情人，正是在寒食节的秋千架旁结下一段情缘。因此，夜间瞥见秋千架的暗影，便情不自禁地想到当年的情事。
往事如烟，现在对方“阔别三千里”，踪迹杳然，不可复寻。在怀旧的怅惘中，诗人透过朦胧的夜色向秋千架的方向望去，只见楼阁的暗影正隐现在一片烟雨迷蒙之中。这景色，将诗人思而不见的空虚怅惘和黯然伤魂，进一步烘托出来。
这首怀旧诗，通篇只点染景物，不涉具体情事，也没有一处直接抒写怀旧之情，全借景物暗示、烘托，境界朦胧。