宋高宗绍兴五年(1135)，陈与义除显谟阁直学士提举江州太平观，奉祠闲居，乃卜居于浙江桐乡县青墩镇。六年春，与义夜登青墩镇寿圣院僧舍小阁，忆念洛阳旧友，因作《临江仙》以寄慨。
与义有《牡丹》诗，“一自胡尘入汉关，十年伊洛路漫漫。青墩溪畔龙锺客，独立东风看牡丹。”这首诗与《临江仙》词写于同年同地。诗由牡丹花引起情思，而《临江仙》词则由杏花感发兴会，它们的艺术构思，确有异曲同工之妙。词的上片专写“忆昔”。“午桥”，在洛阳城南。二十多年前，时当宋徽宗政和年间，词人与“豪英”们在“杏花疏影”的良辰美景里，雅集午桥，豪情满怀。沟水带着月影无声地流去，大家举觞酣饮，在悠扬的笛声里度过一个美好的夜晚。“杏花疏影里，吹笛到天明”二句，造语妙绝，“清婉奇丽”(胡仔《苕溪渔隐丛话后集》语)，它们仰承“忆昔”句，分明写出是二十余年前的赏心乐事，刘熙戴说：“倘谓现在如此，则甚矣。”(《艺概·词概》)极是。然而，如今这一切都已成为过眼烟云，句外含有“怅悒”之意，俯注“二十余年如一梦”句，很自然地与下片“言今”衔接起来，气势内谮。可见，上片的结句具有很重要的结构作用。
下片抒写夜登小阁的情思。换头处，词人以对立联想的艺术想象方式，从昔日的豪酣，突然跌出“二十余年如一梦”的悲凉。靖康之变后，社稷板荡，世事沧桑，亲故零落凋伤，词人也颠沛流离，转辗来到南方，百感交集，生出“此身虽在堪惊”的无限感叹来。今朝，登上僧舍小阁，闲看“新晴”风物，耳听“渔唱”闲声，多少古往今来、盛衰兴亡之事，一齐涌上心头。当然词人悲叹的重点还在宋徽宗靖康以后“胡尘入汉关”的动乱现实，以及自己饱经丧乱的切身感受。
本词上下片构成强烈的、多侧面的比照：“今”与“昔”，“豪英”与“此身”，“吹笛”与“渔唱”，“豪情”与“闲情”，呈现出词意跌宕、词境多变的特色，有效地揭示出承平、动乱、苟安的时代特征递相交替的迹象，有力地反衬出词人悲咽、苍凉的心境。全词笔意超旷，不假雕饰，浑成自然，语言疏宕明快，多巧语、快语。陈与义是宋代的诗学名家，词虽然写得不多，却很受后代词学评论家的推重，黄升说他“可靡坡公之垒”(《中兴以来绝妙词选》)，陈廷焯说他“逼近大苏”(《白雨斋词话》)。从本词和现存的陈与义词“语意超绝”的艺术风貌看，说他的词风接近苏东坡，言之成理。