九月二十二日，扬州城西泛舟，同诸子各赋一题，得荒寺
衰草遍隋宫，禅房秋寂寞，
日斜僧不归，落叶惊黄雀。
这首意蕴丰富的五绝，实在可以当作两首诗来读。
深秋时节，夕阳西下，秋风瑟瑟。满目衰草掩映着隋宫遗迹，与古行宫默然相对的是寂寞的禅房。枯叶在寒风中飘落，像是沉重的叹息，惊起不安的黄雀。这很像一个似曾相识的佛家境界，使我们很容易联想到王维“月出惊山鸟”(《鸟鸣涧》)、韦应物“落叶满空山，何处寻行迹？”(《寄全俶山中道士》)和苏轼“空山无人，水流花开”(《十八大阿罗汉颂·第九尊者》)的意境。然而，这只是表层的、形迹上的相似。前人诗作的境界于空寂中潜藏着无限的生机，流动着生命的韵律，而这份空灵、清新与生命的气息，在吴诗中是找不到的。因为诗人所刻意描绘的，本来就不是一个生气流动的世界，而是一片枯寂的、近乎寂灭的废墟。这既是《荒寺》题中应有之义，同时也与作为亡国遗民的诗人深沉的故国之思和世纪末心态相吻合。可以说，在这貌似禅境的枯寂的诗境中弥漫着的，是诗人沉痛的黍离之感。
嘉纪27岁时，崇祯帝自缢煤山，明朝覆亡，清兵南下。明年(1645年)4月，清兵攻占扬州，屠城十日，史称“扬州十日之难”。此后，嘉纪即绝意仕进，布衣终身。明朝遗老陆廷伦《陋轩诗序》说：嘉纪诗除抒写百姓疾苦外，“怀亲忆友，指事类情，多缠绵沉痛; 而于高岸深谷、细柳新蒲之感尤甚。予读之往往不及终卷而罢。而吴子酒半出袖中诗属为序，予亦何能究其言悉其旨乎？ 少陵云： ‘伤心不忍问耆旧，复恐初从乱离说。’ 而 《陋轩集》中，亦有 ‘往事不得忘，痛饮求模糊’ 之句。然则予之不尽言也，亦犹少陵之不忍问也，又若吴子之百觞千爵以祈模糊也。悲乎！”这段极为沉痛的话，正道出了嘉纪此诗的底蕴。
隋炀帝曾在扬州建江都、显福、临江等行宫。作为亡国的象征，隋宫成为历代诗人抒发古今兴亡之感时经常提到的对象。当诗人游经这衰草凄迷中的古行宫时，兴亡之感便油然而生。这决不是一般泛泛的感慨，而是郁结着亡国遗民切肤之痛的蓄积已久的情愫。秋色中的禅房是荒凉寂寞的，而诗人之心又何尝不苍凉落寞！扬州十日屠杀的记忆是那样清晰而“不得忘”，因此，诗人在这里描绘了如此荒凉寂寞的景象也就决非偶然了。“僧不归”既给人以多种想象，而“落叶惊黄雀”，更有姜夔 《扬州慢》“废池乔木，犹厌言兵”的意味。这，大约就是陆廷伦所不能尽 “其言悉其旨”的 “高岸深谷”、“细柳新蒲”之感吧。嘉纪所不便说或不能明说的一切，都蕴含在这枯寂的境界中了。他的 “求模糊”，实在是一种无奈，却达到了很好的艺术效果。正如明陆时雍《诗镜总论》所说：“善言情者，吞吐深浅，欲露还藏，便觉此衷无限。”以迹近禅宗的境界，寄寓深沉的亡国之痛，这也许是此诗的最大特点。
当然，诗无达诂，笔者自然也不想固必其说，就像王夫之《姜斋诗话》卷一说的那样： “作者用一致之思，读者各以其情而自得。……人情之游也无涯，而各以其情遇。”观者仁者见仁，智者见智可也。