杜甫将严武送到绵阳，挥手告别后，成都却发生了件大事。
剑南兵马使徐知道眼瞅着严武不在，山中无老虎，猴子称大王，趁着成都空虚，竟然就在七月起兵造反，把严武的职位全加到自己身上，又派兵把剑阁守住，阻断中原入川的要道，不让援军进来，同时往西联络羌兵，以图增加战斗力。
这样一来，杜甫回不了成都，困在绵州；严武也出不了四川，困在巴州。幸亏高适当时担任蜀州刺史，立即发兵，击溃了徐知道的杂牌军。徐知道的部将李忠厚一看情况不妙，为了自保，就杀死了徐知道。但他和花敬定一样，自以为有功，在成都大肆杀戮依附过徐知道的军民，竟在满座谈笑之中，推杯换盏之间，一面奏着笙箫，一面用刑具杀人，直到血满长街。整个成都风云变色，百姓掩面痛哭。
四川一时陷入混乱之中。
杜甫在绵州听到这个消息，心急如焚，得不到草堂里家人的消息，又回不了成都，刚好梓州刺史李使君相邀，就往东来到梓州。
然而，徐知道的叛乱，影响很深远，梓州一带也很混乱。当杜甫奔赴梓州时，单人匹马走在山道上，看着天色渐晚，千山万水被晚霞染成赤红，黑暗的密林中群鸟乱叫，心里就开始惊慌。他慌的不是马匹受惊，堕落山崖，而是怕乱草中有强盗埋伏，若是忽然张弓射出一箭来，真让人猝不及防。这让他不由想到了开元年间，天下太平，走再远的路，也不必携带兵器。而如今呢，听说沿途强盗极多，大白天就做些杀人越货的勾当。可又有谁是天生做强盗的呢，那些手持长弓的贼人，原本是官军，是徐知道麾下的弓弩手，如今主将被杀，他们迫于生计才走上这条道的。
杜甫知道，这些年文官享乐，武官嚣张，百姓的税负不断加重，忍无可忍后，就铤而走险。军官叛乱，百姓造反，烧杀抢掠之事，时有发生。官军平叛之后，有功劳没纪律，也烧杀抢掠。外加吐蕃正虎视眈眈，四川的局面就越来越坏。
杜甫在嘉陵江畔，远离家人，身边也没什么朋友，心里非常寂寞。有时候对着寒江，往东遥望，长风吹着落叶，寒烟笼着江水，想到自己年老体衰，还在为生计奔波，活得毫无意义。于是，他很想买条船，从嘉陵江出发，一路往东，然后北上，去长安寻求机会，去洛阳回归故里，都强过老死在蜀中。
高适控制了成都，局势渐渐稳定。照理说，杜甫应该回成都，与家人团聚。而高适作为老朋友，肯定会资助他的生活。想当初，杜甫刚到四川，就曾给担任彭州刺史的高适写信要求帮助，言语之间，是老朋友才有的率直。高适邀请他去蜀州，并游览了蜀州名胜。段子璋叛乱时，高适代理成都尹两个月，也曾来到草堂，与杜甫开怀畅饮。
然而，这次杜甫却没有回成都，到了秋天，还将家人都接到梓州，这是非常奇怪的。
原来，杜甫这些年在成都，对川蜀地理非常熟悉。他又是好论天下大事的，难免会对高适指手画脚。
为此，我们大可设想这样一个场景。
那回高适在王抡的陪同下，来到草堂。好友相见，当然分外高兴。酒酣耳热后，杜甫就说：“达夫兄，当年我说你当十年幕府，必然能做帅才，如今果然应验啊。剑南是我大唐西边门户，又沃野千里，其重要性不言而喻。而咱们西边的吐蕃，虽然经过和亲，成了大唐的外甥国，却一直有侵略中原的野心，不可不防啊。”
高适说：“不错。”
杜甫说得激动起来：“而吐蕃要想进犯，必然要突破川蜀西部的松州、维州、保州，所以应该加强这里的驻防。戍卒和粮草，都应该增加。”
高适听到这里，却大摇其头。
“不对，不对，子美，你可知道，这三州境内有一道岷山，高插云霄，终年白雪覆盖，山高路险，人马极难通过，更不用说运送粮草物资了。吐蕃人怎么会从那里过？子美啊，你想想看，要是在那儿驻军，粮草运送十分艰难，真是劳民伤财啊。”
杜甫一听就有些急眼，忙又争辩了几句。
“万一吐蕃从那里进攻呢？”
高适有些不耐烦了，就挥了挥手说：“那三州真是一夫当关，万夫莫开，有目前的戍卒镇守，就算吐蕃进犯，也尽可应付了。”
杜甫多喝了点酒，加上眼前的是好朋友，言语就不客气了。他冷笑道：“军国大事，岂可儿戏？”
高适也冷笑：“军国大事，岂是腐儒能知道呢？”
旁边的王抡一看两人表情不对，赶紧打圆场：“二位，二位，多年不见，谈论什么军国大事，喝酒，喝酒！”
于是话题转为谈论诗文，高适、杜甫都是大诗人，当然互相佩服，很有共鸣，气氛顿时和谐了。然而，杜甫却失望了。他本希望在高适麾下做个谋士，一同经邦济世，但现在看来，也是没有机会了。他觉得高适不能赏识他，那就算能给他肥肉大酒，也不过是酒肉朋友。这不是杜甫想要的。
当然，这只是设想，或许并非真实。然而，有一点是肯定的，现在高适做了成都尹兼西川节度使，而杜甫却不回成都，留在了梓州。幸好梓州刺史章彝是严武部下，虽然为人凶悍，但对杜甫不错，时时照顾他。杜甫陪他赴宴，打猎，游山玩水，小心地侍奉着，换取一点生活的资费。
763年正月，唐军在河北战场上连连得胜。此前，史思明已被儿子史朝义杀死，而史朝义现在败走广阳，眼看着没了前途，心灰意冷，就在一棵树上吊死了，其部将一看，也都纷纷投降，延续八年之久的安史之乱终于宣告平息。
当杜甫在梓州听到这个好消息，真是欣喜若狂，走笔写下一首极快乐的诗：
剑外忽传收蓟北，初闻涕泪满衣裳。
却看妻子愁何在，漫卷诗书喜欲狂。
白日放歌须纵酒，青春作伴好还乡。
即从巴峡穿巫峡，便下襄阳向洛阳。
——《闻官军收河南河北》
这时，杜甫已经动了回洛阳的心思了，然而他没有旅费，所以继续在梓州等待机会。
天下的局势并没有随着安史之乱的平息而好转。事情正如杜甫所预料，回纥、吐蕃，趁着唐朝混乱，都想浑水摸鱼。就在763年初，吐蕃大举进犯，到了七月，将唐朝边境的各州，从北到南全都占领，并一路往东，于十月进入长安，将府库一抢而空。代宗仓皇之中，带领百官，狼狈地逃往陕州（今河南三门峡），而百姓也四处奔走。长安第二次陷落了。
高适在吐蕃进攻长安之前，本打算围魏救赵，进攻吐蕃南境，以解长安之危。不料打草惊蛇，吐蕃看准了虚实，十月，直扑防守稀松的松州，高适猝不及防，仓促应战，结果损兵折将，连连败退，十二月时，已丢失了松州、维州、保州，还有西山城，让成都大受震动。
杜甫听到这些消息，无比焦愁，写下几首苍凉悲壮的诗。
十月时，他听说松州被围，写了《警急》，希望高适凭借雄才大略，可以一举解围。当他听到松州失守，就写了《王命》，认为高适御敌无能，希望朝廷速派严武来。此后看到高适四处征兵，前往防守，又写了《征夫》，表现蜀中百姓的痛苦。
河北沧州名人植物园的高适雕像
十室几人在，千山空自多。
路衢（qú）唯见哭，城市不闻歌。
漂梗无安地，衔枚有荷戈。
官军未通蜀，吾道竟如何。
诗中说，征夫阵亡者那么多，十户之中，没有几人存活。而蜀中有千座高山，有险而不能守，到底是谁的过错？言下之意，当然是在谴责高适。又说，如今我走在路上，到处听得到哭声，听不到歌声，可见百姓之苦。杜甫感觉自己像桃木偶一样，从长安漂到秦州，从秦州漂到成都，却没有一个平安居所，处处兵荒马乱，现在官军还没能到蜀地来增援，我又能到哪里去呢？
此时，他在阆（làng）州，受到阆州刺史的礼遇，代笔写了一份给皇帝的奏章，在文章里，他直言不讳，给朝廷出主意：要想守住巴蜀，上策是派亲王来镇守，中策是派懂谋略的重臣前来。而这个重臣，在杜甫心目中，显然就是严武。毫无疑问，当高适得到这个消息，内心自然是别扭的。
过了不久，在长安，大将郭子仪又一次力挽狂澜。他此前受奸人诬陷，被剥夺了官职，现在国难当头，他仓促受命，手里没一点军队，只好在秦岭一带收集散兵数千人，白天击鼓张旗，晚上多处燃火，用疑兵之计，让盘踞长安的吐蕃人没日没夜地担惊受怕。吐蕃人认为，郭子仪是天下名将，肯定有阴谋，又想，自己这回已抢够了，占着长安也没用，于是没过几天，就撤兵西去。十二月，代宗才回到了满目疮痍的长安。
外患暂时得到遏制。但杜甫更想离开梓州，要么回洛阳，要么去江南，总之，留在川蜀毫无意义。在章彝的筹划下，他凑足了旅费，于764春天来到阆州，准备从阆水入嘉陵江，到渝州（今重庆）再沿江东下。
正当他收拾好行装，准备出发，又一个消息传来。高适被召回朝廷，任刑部侍郎。而严武重新来到成都，担任成都尹兼剑南节度使，主持川蜀地区的防御。严武一到成都，立即写信，希望杜甫回去。
杜甫一听，欣喜之极，马上放弃东去的打算，带领家人回到了成都草堂。
而他和高适之间，难免出现了裂痕。从此之后，高适再没有给杜甫写过诗。杜甫倒写过几首诗去解释，但也没有收到回应。一年后，高适去世，杜甫想到了他们一生的交往，心中痛苦不已。
明代杜堇所绘《东山宴饮》
画中三人饮酒，其中一人为杜甫，旁有侍童执酒壶。杜甫在梓州通泉写作《陪王侍御同登东山最高顶，宴姚通泉，晚携酒泛江》一诗，当中有“东山高顶罗珍羞，下顾城郭销我忧。清江白日落欲尽，复携美人登彩舟”之句，正是此画的主题。