杜甫带着凄凉的心绪，沿着岷江，乘舟往东，经过嘉州（今四川乐山）——戎州（今四川宜宾）——渝州（今重庆）——忠州（今四川忠州），九月到了云安（今四川云阳），水路近八百公里。江上的湿气很重，让他的肺病和风痹一起发作，到了云安后，实在走不动了，就上岸来，在严县令的水阁中卧床一个冬天。

这一路，他们在千山之间泛着一叶小舟。微薄的旅资捉襟见肘，不仅去不了洛阳，连下吴越也艰难。白天小舟顺流而下，杜甫不知该投奔哪里；晚上把小舟系在江岸的石根下，江风吹着青枫，猿猴在山崖里悲啼。杜甫看着一轮孤月，又深受疾病折磨，心里觉得格外寂寞，难免想念自己一生的挚友。

这时，李白已去世两年。与他在齐赵间一同骑猎的苏预早已传来死讯。曾在长安时与他相濡以沫的郑虔，也已病死在台州。郑虔号称书、画、诗三绝，但一生潦倒，与杜甫同病相怜。安禄山破长安时，郑虔被俘，授水部郎中，他托病不就。等长安收复，肃宗回朝，就将他远远地贬到了台州（今浙江临海）做司户参军。杜甫十分伤心，觉得郑虔这一去，山高路远，定难重逢，于是写诗相赠，凄惨动人。如今两人各在天涯，杜甫忽然听到老友过世，更是老泪纵横，面对大江失声痛哭。

经过忠州时，恰好严武的棺椁（guǒ）途经这里。杜甫虽然曾对严武有一丝不满，但此刻回想起来，平生对他帮助最大的，就是这棺中之人。斯人已逝，以往的小小怨言，也都烟云飘散。杜甫去拜访了严武的母亲，想到严武的功业，以及二人相处的时光，又一次伤心欲绝，仿佛三峡都笼罩上凄凉的寒色。

而严武死后，其部下无人掌控，彼此攻击，酿成了大乱。郭英乂继任节度使，但暴戾骄横，很快被严武的部下崔旰（gàn）赶走，又被韩澄杀死。不久，另一些部下柏茂琳、杨子琳等又起兵讨伐崔旰。于是蜀中大乱，商旅断绝，吴盐不能入，蜀麻不能出。杜甫听到这些消息，连写了三首绝句。第一首写蜀中的纷争扰乱：

前年渝州杀刺史，今年开州杀刺史。

群盗相随剧虎狼，食人更肯留妻子？

第二首写蜀中百姓的流离失所：

二十一家同入蜀，惟残一人出骆谷。

自说二女啮臂时，回头却向秦云哭。

第三首写官兵虽然骁勇，但与羌兵一样残暴，烧杀抢掠，无所不为：

殿前兵马虽骁雄，纵暴略与羌浑同。

闻道杀人汉水上，妇女多在官军中。

这让杜甫更加明白了严武的分量，后来在纪念严武的诗里，将他比作诸葛亮，写道：“公来雪山重，公去雪山轻。”

噩耗接二连三，高适又在长安死于任上。杜甫觉得好友陆续过世，好似秋风落叶，心里更感凄凉，觉得自己也难免步他们后尘。此时，他已是百病缠身，头风、肺病、疟疾、风痹，交相地折磨他，让他觉得自己年老疲惫，容颜衰朽。

这些情绪，都表露在《旅夜书怀》当中：

细草微风岸，危樯独夜舟。

星垂平野阔，月涌大江流。

名岂文章著，官应老病休。

飘飘何所似？天地一沙鸥。

杜甫说，世人都知道他在诗歌上的名声，又怎会知道，他也是个胸有韬略、腹有良谋的将相之才。他辞官，表面看来是因为老病，其实是才能无处施展罢了。他觉得自己飘飘于天地之间，就像一只渺小的沙鸥。

此时，他内心复杂，一面希望江水北折，带他回到北方的两京，回到朝廷，做些对社稷微小而有益的事情；而另一面，他又想念万里桥以西、百花潭以北的成都草堂，留恋在那里度过的时光。然而他翘首西望，只有一片茫茫，成都终究是回不去了。

有时他也会觉得途中无聊，就开点玩笑，说：“听说云安有曲米春，是醇香的好酒，只饮一盏，就能让人沉醉呢。你们赶紧划船哪。”而他果然滞留在云安，卧病一个寒冬。当他看到南方雪极稀极少，往往还没落地，就已融化，只在高山之上，才有一点薄雪，就更加怀念北方深厚的积雪了。