到了六月底边，三川水退。杜甫装成一个穷苦百姓，穿着一身破烂衣服，往灵武赶去。路上受了许多辛苦艰难，眼看快到相隔灵武还有二百余里的芦子关，杜甫竟被安禄山的手下贼将掳去，将他上了刑具，押送洛阳。
安禄山对待俘虏非常残酷，如肯降做伪官的还不怎样，否则便受尽凌辱毒打。杜甫早已拿定主意，不肯降贼，后来实在禁受不住，觉得这样徒死无益，除拿定主意不做伪官而外，也不像初被俘时那样倔强，任性骂贼。这一来总算把命保住，可是要想脱身还是困难。每日苦盼官军能够夺还两京，扫荡敌寇。遇到机会便离开贼营，出来看望几家相识朋友，并察看乱离时期官民身受之苦。这期间写了不少诗。到了第二年的三月下旬，正想长期沦陷贼中，欲逃不得，心情苦痛，万不料以前被官军抓走的老长工项明竞会被贼掳去，并在贼中当了一名头目。相见惊喜，互说各人经过。
杜甫见项明对他还是像先前那样忠诚，便约他夜来密谈，暗中告以心事，托他帮助自己脱身逃走。
项明说：“这个容易，看管主人的这一小队贼兵为首头目本来是我部下，交情甚厚。我只要把他说动，必能办到。”
杜甫谢了。
第三日夜里，项明来说：“事已办妥。此去途中有好些地方都被贼兵占领，没有敌寇所发腰牌路引决过不去，还有危险。”那看守杜甫的小头目名叫曾乙，业已说妥。”他也有事要往灵武那一带看望他的兄弟，非但答应帮助杜甫逃走，并且答应同项明保护杜甫上路，以免中途发生阻拦。跟着便把曾乙引来相见。
杜甫见那人是个壮汉，人虽粗野，却不像别的贼党那么横恶，和他谈了一阵，彼此也颇投机。项明忽说有事，要往杜曲看个朋友，说罢辞去。曾乙跟在后面也托故起身，一同走出。
次日一早，项明背了一个铺盖卷，曾乙拿着全副雨具，还有半口袋干粮赶来。项明说：“此去灵武还有不少的路，还要走几天，中途要经过好些山野。现在是下雨的时候，非但铺盖行李不能缺少！雨具、干粮也要准备好了才能上路。因此昨天赶回杜曲家中，越窗而入，见床上有现成的被褥，旁边还有一包行李，内里裹着雨具和半袋干粮，正好曾乙寻去，便同取来。”说罢，三人随便吃了点东西，便即起身。由金光门溜出，往凤翔赶去。
杜甫一路察看形势，并令曾乙向贼军打听军情，得知好些虚实。这日行经青坂，忽听曾乙说：“唐军人马甚多，和贼军在陈陶对阵，唐军大败，统兵大将乃是新任宰相房琯。”杜甫自和房琯分手之后就未得着他的音讯。这次虽因唐军打了个大败仗，心中愤急，但想到房琯居然做了宰相，并且握有兵权，从此前途大有可为，也颇高兴。再往前走便被贼兵拦住盘查，几乎又被捉去，多亏曾乙随行，带有贼军腰牌，才得无事。似这样，连经好些险阻，才得赶到凤翔。
这时，房琯因为打败，业已关在牢内。杜甫一到行在便去请见。这时凡是由贼军中逃出的朝臣肃宗都给官做，相待甚优。杜甫到后，又把贼中形势当面奏报。肃宗颇喜，便授他为左拾遗，另外还给了一，些犒赏。杜甫去看房琯，没有见到。听说朝廷因他损兵折将大为愤怒，恐怕底下还要降罪。杜甫关心良友，先颇忧虑，后来想起后任宰相张镐深受朝廷信任，又是太上皇特地派来的有名人物，何不先去找他试上一试？第二日整齐衣冠，前往相府求见。张镐和杜甫谈得虽颇投机，但知房琯这次出兵以前曾经夸口，不料连遭惨败，被贼军杀了个片甲不回。朝廷十分愤怒，非要严办不可。自己代他求情，业已受了申斥，再说无效，便劝杜甫慎重，并说：“你人微言轻，最好少管闲事。我遇见机会，为他出一点力，免受重刑也就是了。”
杜甫知他这是实话，只得再三称谢，拜辞出去。回到住处，偏是朋友情长，怎么也放他不下。一时激动，写了一篇保奏房琯的表文。大意是：“房琯文武全才，众望所归。这回兵败，不能全都怪他。国家用人应当舍短取长，尤其陛下今当中兴用人之际，更不应为此小罪轻意罢免大臣。”
肃宗见表大怒，下诏三司推问。杜甫本来还有危险，总算张镐极力代他求情，并告肃宗说：“杜甫虽然说话激烈，实是一片好心。倘若因此致罪，以后没入敢说话了。”肃宗这才消怒，收回前命。
杜甫得讯后往见肃宗拜谢，见面时又代房琯说话，说：“房琯这次得罪，主要是宠信门客董庭兰，这是一个贫病无知的老琴工。虽然依仗和房琯相识，在外招摇，收入贿赂，房琯并不知道，实与房琯无关。望祈陛下推详明鉴，赦其无罪，仍命在朝为官，将功折罪。国家之幸。”
肃宗听了越发有气。对于杜甫便厌烦起来。又听人说，杜甫家在鹿阝州，因为太穷，最小的儿子竟至饿死，乃借着这个缘故特许杜甫回到哪州家中看望，给了他一些假期。杜甫谢恩之后便即起身。
凤翔离哪州本近，不过两天便自赶到。相隔羌村还有三里来路，眼看离家不远，忽见一个壮汉赶着一辆装满污泥粪土的牛车迎面赶来。近前一看，正是项明。问他怎会来此？项明说是想念主母和宗文、宗武两个小棺值。先听说在奉先，特地由凤翔赶去。到后一问，才知杨氏母子三人前月业已移居羌村。项明问清路径，立即赶往。因秋收之后田里需要上肥，所以一大早到洼地里掏些污泥运回，准备给地里上肥，以便耕种。二人且说且行，顺着土沟正往前走，走了不多一会，又遇到刘壮对面走来。见面便对枕甫说：“昨夜主母难产，经邻妇相助，生了双胞胎，孪生下一子一女。不料主人回来，正是双喜临门。”跟着又说：“前日来了一个远客，乃是杜甫的表侄王冰，留居羌村已有两日，准备明天到白水去见他舅父崔项。”杜甫和王冰从小一起长大，多年不见，本在想念，闻言甚喜。正走之间，一个佩刀骑马的少年忽然驰来。近前一看，正是王冰。因杨氏产后腹痛，出来延医，把马让与杜甫骑，自和刘壮去请医生不提。
杜甫和项明一同赶了牛车前进，不多一会便到羌村。忽听群鸡飞鸣之声，项明笑道：“小值又在打鸡，我看看去！”说罢拔腿就跑。杜甫拉着牛车走到自家门首，隔着竹篱往里一看，宗文、宗武两个儿子手里拿着竹竿正在追逐群鸡。项明从侧面翻越人内，正在急呼：“二娘！”杜甫把柴门拍了两下，刚喊：“快开！”项明已将柴门拉开。宗武首先张着小手急呼：“爸爸！”扑上身来。杜甫一把接着抱在怀内。宗文已将大腿抱住搂紧，急呼：“妈妈，爸爸回来了！”
杜甫赶往内室，见杨氏形容消瘦，心里一酸，忙走向床前。
夫妻二人互相把手拉紧，面面相觑，对看了一阵。杨氏问声：“你好！”声才出口，两行痛泪已流了下来。杜甫忙道：“经此大乱，能够重逢就是好事。你刚生小孩，身体虚弱，别后之情慢慢再叙，我看看那两个小孩去！”
杨氏笑道，“这两个小孽障长得好乖，就是生时艰难一些，差点没有把我疼死！”话刚说完，王孙，刘壮已把医生请来。杜甫把医生让到里面就座，给杨氏看了脉，开了几味药，说：“药已经带来，另有产后调养的药丸也在药箱内，吃了就好！”随将药箱打开，将药交给杜甫。杜甫叫项明取热水，把药与杨氏服了。杜甫因王冰新来，见家里养得有鸡，正好待客。方要开口，杨氏笑道：“你远来不易，不用操心，还是让项明他们给准备去，索性把左右邻请上两位，酬谢他们平日关照。”
杜甫抬头一看，见竹篱外已有多人探头张望，指点自己这面，交头接耳，有的还在叹息流泪，歔欷不止。再看杨氏已哭得泪人一样，知她支持门户不易，又关心丈夫安危，忽然相逢，骤出意外，喜极生悲之故，便忙以好言安慰说：“自己一直逢凶化吉，并且这次到凤翔见天子，还封了左拾遗的官，不久便要随同回京，将来前途颇有希望。”
杨氏知丈夫夫妻情长，不愿自己伤心，只得强忍悲痛，破涕为笑，让项明他们往厨下备办酒食，与丈夫接风。
一会，邻翁四人各侍酒食前来慰问。杜甫接到屋里，再三称谢。邻翁都说：“今年酒味没有上年好，因为黍地无人耕种，家中壮丁都应了军役，有的前往戍边，一去不回。加上连年水旱相继，所以酒味差点。”
杜甫便告众人说：“官军常打胜仗，不久就要收复失地。”
邻翁闻言甚喜，便要辞去。杨氏正留邻翁同饮，孙宰忽然寻来，说：“方才途中遇到曾乙，才知杜甫新任左拾遗，奉旨回家看望，不久还回长安，因此拜访。”
杜甫因移家羌村之后，许多事全仗孙宰照应，说了两句感谢的话，便留他同饮。并说在家中再呆数日便要回转凤翔，随从天子车驾回转西京。问孙宰作何打算，
孙宰笑说：“小弟在此也难久居。过了今年也要搬回去了。”说罢又谈了一阵，便起告辞。杜甫将他送走，回来和杨氏商量，打算先送家眷回去，把杜曲的家和那几亩田整理一下，以便安居。杨氏一想，觉着此时回去人手较多，容易安排，便说：“我知你想家，我母子先回也好。不过，你刚入朝为官，得到天子看重，今后行止必须好好打点，以免耽误前程。依我之见，你已为谏官，应该常在天子跟前才是道理。最好回转凤翔，等车驾回京，先跟了去。把我母子和项明、刘壮留在这里，作一退身之计，不也好么？”
杜甫不听，非要回转长安不可。谈了一阵，最后商定，还要全家都回。乡村房地交托孙宰代管。项明。曾乙留在当地耕种，只带刘壮一人同回。
第三日，杨氏的堂兄杨衍来访，大家重又商计前事。杨衍也力主杜甫全家回京，只把羌村的房子和田交托孙宰照看。夫妻二人最好全家住在一起，不要分散，并说：“胡贼虽退，还有不少贼党散在四方。还有这次平寇曾用外力，听说恢复东都时回纥曾经大掠，满载而去。这也难保不是未来之害。把羌村的家留下，将来可以作一退步，岂不是好？你夫妻走后，我也还要常来照看，放心好了。”
杜甫夫妻觉着所说有理，便即应了。本想把项明，刘壮留在当地看家，杨衍笑说：“无须，你们回去需要用人，最好一路都走，不必零散。”
杨氏也觉杜曲的田还要准备春耕，人少无济于事，这一来全家老少一齐同回。跟着便得到天子不久将要回京的消息。杜甫连忙赶往凤翔，问明车驾十月起行，又赶回来。由项明、刘壮、曾乙、王砅四人护送杨氏母子先行，杜甫再赶到凤翔去随驾同行。一晃到了十月中旬，肃宗率领满朝文武回转长安。杜甫当然也在其内，一路无事。到京之后，赶往杜曲家中一看，杨氏业已早到。因有项明、刘壮等相助，非但家务都布置得井井有条，连春麦也全种上，心中高兴，又到城内外访看各家亲友和同僚们。初意以为大乱已平，自己业已在朝为官，此后一定渐入佳境，哪知事情不能尽如人意。先听人说当年苦旱，田里收成不好，恐闹春荒。跟着下起雨来，连下一个多月，连春耕都受了妨害。加上贼兵退后遗留下来的残寇流贼，官军方面溃败逃亡的散兵游勇啸聚山野之间，不时成群结伙打家劫舍，为害民间，天灾人祸同时发生，造成了一片饥荒世界，关辅一带米珠薪桂，民不聊生，比起天宝十三四载的灾情还重得多。这大兵之后必有的凶年渐渐逼得这位诗人没法再呆下去。
杜甫全家回京，原是李亨（肃宗）至德元载九月底边的事。①到家不久，孙宰全家也搬了回来。跟着杜甫人朝任职。所任左拾遗又是朝廷清贵文学侍从之官，两院（中书。门下二省）同事多是当时学士名流，大家都谈得来，每日诗酒过从非常融洽。杜甫虽听人说当年关辅春荒必重，因杨氏、项明已经有了一些打算，并未十分在意。加上僚友一多，每日诗酒往还，就此忽略过去。哪知当年灾荒太重，加上盗贼作乱，物价日高，杜甫只有有限几亩薄田，所种粮食还未成长。本来日子难过，勉强挨到至德二载的问八月，贼子安庆绪忽然召集乃父安禄山的旧部悍将史思明、张通儒、安守忠等分兵作乱。由史思明等往寇太原、河东等地，并命张通儒为贼帅，再犯西京。军情日紧，闹得长安官民人等又在心慌意乱，准备逃亡。杜甫渐渐也着起急来。勉强苦熬了两月，实在风声紧急，谋生不易，便把亲友请在一起，互相商计。杨氏想起以前杨衍所说的话，好在鹿阝州羌村还有一个家和几亩地，房子现成，正好回去暂避一时，便劝杜甫把家先搬回羌村去，孙宰首先赞好，力劝杜甫快走。跟着又奉到朝命，杜甫由左拾遗再任华州司功参军，并且催他即速上任，杜甫实在无奈，只得领命上路，辞别家人亲友，往华州赶去。先并未打算当时回来，后因军情太急，实在放心不下，只得抄小路赶回杜曲，仍然预计把杨氏母子一齐送往哪州，仍由金光门绕道先往白水赶去，哪知刚走了不两天，天便下起雨来。当年春寒又重，那雨偏是越下越大，接连十多天没有停过。杜甫夫妻全家连项明共是老少八九人，只有两把旧雨伞，实不够用，晚来随便找一个大树底下，连老带小围伞而坐，脚底踏着水泥。最苦是带的干粮不多，儿女饭量随人同长，早在途中把粮吃光，闹得大家都没有吃的。饥寒交迫之下，冒着冷雨寒风，奔驰山野之间，真个苦到极点。似这样又苦熬了十多天。好容易挣扎到了彭衙县的边境，走到白水山区里面，计算途程再走二三日便可赶到同家洼孙宰家里歇息。住一两天再往羌村，便可减少许多苦难。哪知山路崎岖，风狂雨大，甚是难行。最困难还是没有吃的。杜甫无法，只得同了项明沿途采掘一些草根野果和橡栗苦李之类，勉强充饥度命。这些东西又苦又涩，有的辛辣非常，不能人口，大人还能勉强忍耐，几个小孩吃得直哭。壮甫虽然看了伤心，只是无计可施，只得咬牙忍受，仍往前走。
①杜甫携家随从肃宗还长安是至德二载十月之事，以下所述也有与史实相违之处，似为作者病重失记所致。——校音
这日走到一个山凹里面，全家聚坐在一块大青石上，想起这一路颠连辛苦，正在难受，杜甫忽觉左手痛极，好像被什么东西咬紧，痛不可当。反手一摸，摸到一把头发，十分柔软。低头细看，月光照处，那咬住手指不放的正是新生不久的爱女凤子，身上衣服业已湿透，满脸雨水淋漓，凉冰冰的，抱向怀中。笑问：“此娃子为何咬人？”
凤子脱口便答：“我饿！”
杜甫再用温言细问，才知爱女因为饿极又冷，无意中摸到杜甫的温暖手指，误以为是干粮，咬了一口。杜甫这一间，凤子不由害了怕，放声大哭起来。杜甫刚把她抱起搂坐在席上，忽听项明低声喝道：“哭不得，你听！”
跟着，便听远远传来野兽吼啸之声。杜甫知道这一路上时有虎狼等猛兽出没，哭声如被听去，大是危险，忙把爱女一把搂紧，低声喝道：“乖娃莫哭，老虎来了！”
凤子哭喊：“我饿！”手脚不住乱挣。宗武在旁忙递过一个苦李！笑道：“妹妹莫哭，你看我吃这个。”跟着，嚼了几口咽下，又向杨氏去要。
凤子哭道：“我不吃这个，太苦！”
旁立项明看了可怜，忙把藏在身边已有数日的一块干牛肉取出，撕了一点塞在风子口里，又哄了她几句，才将哭声止住。
杜甫心方略定，那雨忽又大了起来。一会工夫全家老少都淋成了落汤鸡一般。山风吹过，冷得直抖。最后无法，只好大家背抵背挤坐在冰凉的雨水石上，苦盼天明，好去赶路。那天偏是阴黑得可怕。坐了半夜，丝毫没有明意。杜甫和杨氏也饿了起来。正在相对伤心，哭诉苦楚，项明忽然跑来，手里还拿着两个麦饼，笑呼：“主人不要着急，我们有救了！”
跟着，便见雨地里远远现出两点灯光。进前一看，这来的两人喜出望外，杜甫更是喜欢得要跳，连忙扑上前去，把前一人抱住，直喊幸会不置。
原来前头一个正是好友孙宰，也因年荒岁歉，约了邻友来采山粮，住在一个相识的山民家中。那是一个猎户，因听狼叫，约他相助打狼，在雨地里巧遇项明，谈了一阵，得知杜甫全家来此，正在受苦，特地赶来迎接，并说所居同家洼就在东北不远，相隔不过三里来路，当时便可同去，以免在此忍受饥寒。杜甫、杨氏谢了又谢。正想再谈几句，孙宰忽说家中有事，匆匆作别，各自走去。
杜甫先还想天明再往孙家，后见杨氏母子饥寒难忍，项明又在一旁催劝起身，便同上路。顺着山道才走了二里来路，算计快到，孙宰业已约了两个邻友，拿了火把雨具对面迎来，再顺山路略微转折，便到了同家洼，东方天边也渐渐现出了曙色。等走到孙家门前一看，由里到外都有孙宰约来的邻友相助，各持火把照亮，并照当时风气在门上贴了招魂的纸条。孙妻张氏也由里面赶出，把杜甫全家接到里面。杜甫夫妻见地上放着几个木瓦盆，内里业已装满热水，主人便请盥漱洗脚，同时桌上也摆满了茶饭酒菜，孙宰并将几个已睡儿女喊起见客，同屹晚饭，安排来客卧处，当时全家便忙乱起来。
杜甫夫妻见主人盛意殷勤，因是至交好友，不便多说，稍微谢了两句便同入座。孙宰又把项明和众邻友拉来同饮，宾主多入全都尽欢，谈得非常高兴。
次日一早，先是刘壮赶来看望，跟着杨衍也来看望妹子。说起贼兵势盛，凤翔已被包围，幸而广平王（李淑）坐镇当地，手下崔光远和行军司马王伯伦等都是勇将，还有番汉兵十余万，将敌兵抵住，凤翔才未陷入贼手。并且官军常打胜仗，俘获甚多，百姓并未受到糜烂。可是西京长安日前却被贼帅张通儒、安守忠等攻破。天子重又蒙尘西奔，往凤翔赶来。杜甫全家来得正好，否则，白水、奉先等地早晚被贼兵攻陷，比在长安还要危险。杜甫一听，四方多难，心中自是愁急。哪知好消息也跟着传来，先是朔方军节度使郭子仪等大败贼兵于河东。紧跟着崔光远、王伯伦又连打胜仗，逼得贼兵立脚不住，自动放火烧营，全军溃逃。崔光远乘胜追击，斩杀甚众。紧跟着广平王又率领朔方几个节度使，连同部下十五万番汉人马赶往西京杀敌。军容甚盛，估计不久便可把长安收复回来。杜甫听了这才高兴。每日都盼望早传捷报，收复失地，好把全家搬回长安，入朝供职。到了九月中旬，广平王率领回纥西域的番兵，会合朔方诸节度使会师长安，与贼将安守忠在香积寺北大战，大获全胜，斩首六万余众。贼帅张通儒由城内率众出战，又被工伯伦等杀得大败，最后实在抵挡不住，便带领残贼往陕郡逃去。京城解围，捷报传来，杜甫当然高兴，决计赶回长安，稍和崔顼、杨衍、孙宰等商计便自起身，往长安赶去。
这时贼兵虽退，路上还不大安靖，又吃了好些苦，才勉强回到杜曲家里。因上朝时得知好友房琯宰相罢免，并且还要降罪，杜甫激动义愤，又去上书营救，说：“房琯有才，此时大乱刚半，正在用人之际，朝廷不应罢免大臣。”
杜甫上年便因为房琯说话，招得肃宗不快，这一来越发触怒，几乎把他下在牢里，从此不再看重杜甫。房琯也被罢免，出为邠州太守而去。杜甫被人看成是房琯党羽，由此便蹭蹬下来不提。
杜甫回京之后，仍任左拾遗，每日去往门下省承直，以前所交僚友知好重又欢聚在一起。最可喜是好友岑参新任右补闷，在中书省任职，日常相见，同在一起作那文酒之欢，所得官俸也颇够用。按说日子过得满好，偏偏遇上二次大乱之后关辅大闹饥荒，比上次灾情更重，又因房党为时所嫉，在朝不久仍又出为华州司功。
杜甫在华州司功任上过了半年，渐觉无聊。这日忽起思乡之念，想趁空闲回到洛阳探望一下他战后的故乡，一个人背着一个小行李卷，往东走去。行经潼关道上，见两边都是山崖石壁，十分高峻。登高一望，见来路是条山谷，前面不远便是僮关。一路都是山崖峰峦，山上下到处都有黑自点闪动，耳听喧哗呐喊和开山击石之声隐隐传来，空谷回音甚是震耳。等到下面，再往前走没有几步，便又听后面车马行人奔驰吆喝之声接连不断。停步一看，后面来了好些满载石块的骡马牛车，还有好些人三五一伙，分抬着大小山石，负重吆喝而过。一个个累得气喘吁吁，头上汗珠直往下滴，好似吃力已极，不胜劳苦。最奇是还有几个老年妇女也在其内。再往前走，见有好些人正在开山取石，地下搭着很简单的草棚，老少都有，吃的东西粗糙非常。向人打听，才知内中杂有草根树皮，有的业已饿病，躺在棚里，呻吟不已。一个为首的官吏正在往来查看，不时向众喝骂。杜甫想起：“自从那年哥舒翰被安禄山贼兵打败，潼关失陷以后，朝臣要上表章修建僮关，朝廷均未答应，此时忽然这样大举，又当年荒时节，岂不多累良民遭殃！”便把那官吏拉到一旁，问他何故？
那官吏说：“自从安阳一战我军大败，郭节度决计筑城防贼，因为年景不好，筑城的十九都是兵将，征用的民夫并不甚多。又因我军粮食不足，这应役的丁壮必须自带干粮，由那舍不得亲人的全家跟来，闹得这些民夫除开山取石筑城之外，还要到处挖掘草根树皮，所以一个个都那么苦弱不堪。”
杜甫听了好生愤慨，先到关前仔细察看了一阵形势，随到前面人家借了纸笔，写出了他的名作“三吏”的头一篇——《潼关吏》。
杜甫因听传言，陇西一带年景较好，容易求食，便和家人商计，带了全家往西走去。本意只要找到一个稍微能够不愁吃的所在，便安居下来。先到秦州，连找了几处，想在西枝村建一草堂暂居，没有如愿。呆了些日，又往西走。一路登山越水，苦受颠连，勉强挨到同谷县，才得把脚停住，歇息下来。可是全家衣食还是艰难，老想闹两亩薄田自己耕种，终未如愿。迫于无奈，于乾元二年十二月一日又由陇右西行，想往成都逃荒。最后展转跋涉，拖着一家人到了剑门，走上入川的栈道。又行了两月，连经许多艰苦跋涉，才得到达成都。总算严武念旧情长，相待颇优。不久，仗着严武相助，在成都西门外浣花溪上经营了一所草堂，又置了几亩田，这才安居下来。有时并往附近各县走动一下。日常无事便和当地田夫野老交往，料量晴雨，共话桑麻，倒也安然自得。严武还特地到浣花溪看望他几次。有时也把杜甫接到家中住上些日。本来相处甚善，只是这宾主二人一个气度较小，不能容物，一个性情刚猛。表面上交深情厚，无异骨肉，因为杜甫过于简略，不拘小节，说话又太直率，严武有时忍耐不下，便气在心里。二人还爱互相取笑，往往把话说僵，彼此都有些难堪，心中不无介介。只是二人都未发作出来。
代宗宝应元年，严武奉召还朝，杜甫送他到了绵州方始作别。杜甫道：“我依人作嫁，全靠老弟相助照应才得安居，季鹰一走，我又飘泊无依了。”
严武见他说时面有泪容，神情凄苦，心中老大不忍，便拉着杜甫的手笑道：“我真舍不得离开这天府之国，我今此去还要设法回来，不久当可重逢，何必难受呢？至于子美兄的今后生活，我已为你想好主意，给梓州刺史章彝写了一信，托他照应。我走之后，你可到梓州去见他谈谈，看是如何，自作打算。我想是不会有错的。”随命人把信取来，交与杜甫。
杜甫见那信写得十分诚恳，忙即谢了。回到成都住了几天，便到梓州去见章彝。初意严武的信写得十分有力，章彝不会不管，哪知章彝武人粗野，双方气味本不相投，又因严武御下严厉，以前叱骂过他，心中不快，对于杜甫并不怎优待。杜甫不久又把家眷接去，因为互不投机，全家又迁往间州，住了半年，穷愁抑郁，苦不得意。正在难受，忽然得报，严武再镇西蜀，不久就要回任。当时高兴已极，忙又迁回成都等候。到了广德二年三月，严武果然回到成都，并且上表保奏杜甫为节度参谋、检校工部员外郎。良友重逢，又得了新的官职，彼此都很欣慰。杜甫由此每日便在严武幕府里任职，只把家眷迁回浣花溪草堂，自己有时也回家去住上些日，栽花种竹，料理耕稼，生活重又安定下来。
严武本就量小性暴，不能容物。先以为章彝有自己亲笔的信，必能爱屋及乌，优待杜甫。回到成都，第一件事就是查问章彝对待杜甫如何。因听人言章彝对杜甫很冷淡，一点没照顾，不由有气，恨在心里。本来就有杀之之心，杜甫偏又心直计快，严武问时照实说出。当年天又大旱，杜甫写了一篇文章，名为《说旱》。大意是，蜀中近年各州府县囚人大多，难免没有冤屈，应把轻罪的人释放回家等语。
这篇文章语太切直，严武看了已不大高兴。再把杜甫请去一谈，竟是梓州囚人大多，内中有好些无辜，越发激怒，当时要杀章彝。杜甫劝他不听。又道：“蜀中年年荒乱，徐知道刚刚平息，如何又杀部将？”
严武大怒，双方对吵了一阵。杜甫恐怕惹出事来，便走上严武的床，瞪目怒道：“严挺之一生忠厚，从不轻易伤人，竟会有你这样儿子！”
严武也气道：“你这杜审言的孙子知道什么？惹翻了我，连你也一齐杀！”
当时朋友相交，如提到对方祖父名讳最是无礼。这一来二人全部有气。杜甫又说了几句负气的话，拂袖而去。
严武随即下令，把章彝召来，想把他和杜甫一起杀死。正在怒火上，杜甫偏不知趣，上书辞职，并且不等答复，也未和严武见面，独自回到草堂，来了个不辞而别。严武忍受不下，第二天便派人把杜甫抓来，准备连章彝一起杀死。军校隶役均已召齐，眼看就要下手，严母忽然得信，把严武喊到里面，说：“杜甫是你父亲的好朋友，你们交情又厚，不应下此毒手。”
严武素孝，再想起杜甫的学问和双方的交情，心便软了下来，连章彝也未杀。对于杜甫反用好言安慰，并派车马送回家去。杜甫越想越没意思，便辞了严武的幕府，安心隐居烷花溪草堂，双方也不再往来了。
当年春天，蜀中瘟疫流行，严武忽然染病颇重。杜甫重回幕府居住，日常陪他。可是严武的病始终没有起色，勉强挨到当年四月，还是病死。杜甫心里虽然悲痛，等严武安葬之后，又回草堂。那后任节度使郭英又武人粗暴，不喜文士，又认为杜甫是严武的人，心存歧视。杜甫当然不能再呆下去，只得回到草堂，还是种地，又过着穷困的日子。转眼交秋，又遇霖雨，杜甫枯坐草堂，甚是烦闷。这日早起，天刮大风，把草堂房顶上面的茅棚揭去，忙到门外一看，南村几个小孩正把茅棚卷起，往对面竹林中走去。杜甫急得跳脚大叫，直到声嘶力竭，小孩们理都没理，内中两个顽童反朝杜甫扮了一个鬼脸，然后大笑走去，气得杜甫直跳脚，回来拿着拐杖叹了一阵气，无法可想。晚来风吹雨打，越发凄冷，房顶又漏，床上本就不于，最爱的小儿子中午睡相不好，又把旧棉被踏碎了一大块，一会被褥全湿，不能安睡，心里有气，起来写了一首诗，便是那古今传诵的《茅屋为秋风所破歌》。杜甫勉强在家中住了半年，光景越过越艰难。正打不起主意，忽听人言，梓州太守章彝因感激他救命之恩，时常谈起，意思很好。杜甫实在无法，只得往见章彝，打算试探一下。章彝果因人说严武去年虽要杀他，全仗杜甫力劝，耽搁了半日，被严母知道，才得无事。这次杜甫往投，虽不像上次那样冷淡，也没有十分优礼。又听人说新节度使郭英又不喜杜甫，不敢亲近，相待只是一些虚文虚节、毫无实惠，日子一久，杜甫呆不下去，只得回家。忽听人言，好友高适新任西川节度，想起这是交情最深的好朋友，便带了全家前往投奔。初意这个竟比严武还要厚待得多，这后半生全有依靠。哪知事情不如人意！高适对他也只初见面时仿佛情热，日久还是冷淡下来。杜甫又呆不住，便把全家迁往云安。到了大历元年春天，又由云安迁往菱州。大历二年三月迁居赤甲，住了数月，勉强在朋友帮助下，在壤西和东屯各建了一所草堂，置了点田，亲率家人躬耕，往来于瀼西、东屯之间。似这样过了不久，便率全家出峡南下到江陵，跟着又由江陵移居公安，成了浮家泛宅，没有一定住所。在公安还没有过冬，便迁往岳州，住到第二年正月再迁往潭州。因慕衡州山水，便迁了去。住到夏天，实在热得难受，又回潭州避暑。到了大历五年四月臧玠作乱，杜甫想到郴州去投亲，没有走成，全家人在荆楚各地飘泊了一个时期，最后流寓到来阳县。