此前，大上皇（玄宗）早已回銮，人居南内西宫。可是他那宝贝皇帝儿子（李亨）一点也不孝顺，听信宠妃张良婶和内好李辅国的谗言离间，常给这位号称大上皇帝李隆基受闲气，而他本人却比当年李隆基当皇帝时更爱享受。并且任用好邪，放任一切亲贵大兴土木，建造宫室园林，当时渭之木夭，穷奢极欲，无所不至，闹得府藏空虚，元气大伤，民间越发穷困，国防也更空虚。日常只是征兵征役，到处骚然，一片凋零景象。杜甫自看不惯，先后连上几次奏章，均未答理，本已无心在朝，加上受人排挤，越发呆不下去。不久便由左拾遗外放出为华州司功，路过咸阳时，想起当地还有两个老友，便往访看，住了两天，然后起身。因想由当地到华州、洛阳一带亲友甚多，难得见面，正好借此机会就便前往一叙，于是先往陕州走去。
这日行至渑池县东的新安县，忽见路上有许多人奔驰喊叫，口出怨言，均说关辅点兵，见人就抓，如被撞上，休想脱身。
杜甫见内中还有一个县吏，手持长鞭，带了几个差役，朝众人乱打乱骂，猛想起当年在咸阳桥上所见抓壮丁的光景，一时激动义愤，忙把那县吏拉住，间他何事这样喧哗吵闹！
县吏答说：“现在国家正在征兵到河阳去戍边，怎奈新安小县人少，征不出那么多的壮丁。昨晚奉到府帖，没有壮丁便把中男充数。（唐制：人有丁、中、黄、小之分，二十一岁以上成丁。大宝三载，令民十八以上为中男。多半体弱瘦矮，难应战阵。）但是年荒岁歉，百姓们难得吃饱，中男体力不强，又难入选，偏又无法交差，只得带了差役挨家查问，抓着一个是一个，撞撞运气。”
杜甫见他身后用绳索捆系着几十个乡农，年纪大小不等，全都身瘦体弱，面有菜色，有心劝他放掉几个，想了想，知道这类人和虎狼一样，没有人心，说也没用，只得罢了。
跟着又往前走，到一个地方，天气渐渐暗了下来，恐怕错过宿头，因听人说，前面不远便是石壕镇，当地在陕州城东，相隔并不多远，想往镇中借宿一宵，明早起身去往城东访友，往前走了十来里，到一小村，地名石壕村。村中人家不多，满地荒凉，最后寻到一家姓王的老汉，家中夫妻二人，光景穷苦，对人却甚善良，问知长安来的远客，忙请到里面，烧水敬茶，甚是殷勤。
杜甫刚把来意说明，王老汉道：“这几天很乱，关辅差役到处捉人，闹得我们百姓日夜不安，尊客夜来只管安睡，如听有什么响动不要理它，明天一早各自上路，以免受了虚惊恶气。”随将灯点上，端来饭食请客。杜甫刚把饭吃完，正在谈问年景和民间近来所受疾苦，忽听左右邻同时哭喊吵闹。跟着便有一个邻人叩门相告，说：“捉人的来了，要王老汉藏去，以免被他们抓去。”话未说完，王老汉匆匆站起，对老婆说：“今天来势更急，决逃不脱，我只好翻墙逃走，如有官差前来，你放和气一点，不要惊动客人。”说罢，便往房后奔去。
跟着，前后门都有人在拍打，并还厉声喝骂。王老婆苦笑道：“我看看去，这畜生莫要把我的房拆了。”说罢，也往后面赶去。
跟着便听后面有人跳脚辱骂和王老婆哀声哭告。杜甫忍耐不住，悄悄往后面走了几步，侧耳一听，原来捉人吏役业已破门而入，厉声怒骂，非要交出人来，去往河阳应役不可。
王老婆跪地哭喊道：“我只有老夫妻两个，我老汉业已被你们吓破了胆，方才刚一打门就跑掉了。本来还有三个儿子，昨天接到一封信，内中两个业已战死沙场，剩下一个也受了伤。家中只有一个刚生下的孙儿，他娘倒颇有点力气！无奈身上衣裙全部卖光！如今光着身子不能见人，因此没有出来见你。一定要人，我老婆子虽然年已七十八岁，体弱力衰，但是军中烧个饭淘个米做点杂事还勉强可做。你实在不放，把我带去应个数，今夜就可以跟你走了。”说时，一面还是悲哭哽咽不止。再隔一会，耳听后面门响，底下便没有语声。只有老婆子悲哭之声，仿佛还在哽咽。
杜甫觉着可怜，把身带散碎银钱取了一些放在桌上。看外面天色已明，到处鸡声报晓，便开门走出。想起前事，正在摇头叹气，忽见旁边草垛后有人影一闪，忙走过去一看，见草垛里冒起一个人头，不由吓了一跳，耳听喊道：“尊客吃点东西再走，天还早呢。”定神一看，正是那个王老汉，顶着一头乱于草，由草堆里钻了出来，说什么也要杜甫进点饮食才可上路。杜甫无法，只得由他拉到里面，王老汉见桌上留有银钱，定要还给杜甫，坚不肯收。又去后面准备汤水食物，强迫杜甫洗漱饮食，然后亲送出去。陪着走了七八里，再三说明路径，方始握手，殷殷话别，分手回去。
杜甫别了王老汉，走不多远，忽听前面有妇人哭声传来，与昨晚所闻悲咽之声相似，心疑王老汉之妻出了变故，忙赶过去。见前面道旁围着好些人，过去一看，一个老太婆卧在地上哭喊不已，旁边有一老汉正在劝她，四外旁观的人都在摇头叹气，说：“这一双老年夫妇太可怜了。”
杜甫把内中一个老头拉到旁边，问是何事，老头说：“这一双老夫妇姓冯，男的年已八十多，由十三岁便被官差抓去当兵，多年未回。去年冬天，我军大举围攻螂城，连经好几月也没把城攻下。贼将史思明又带领大队贼兵前来对敌。每天都派贼兵到处烧杀抢劫。到了今年三月底边，两军在安阳一场大战，胜败还没见分晓，忽然天色阴晦，刮起大风，白天对面不能见人，两军全都溃退下来。官军往南溃窜，贼兵往北溃窜，宫军眼看全军覆没，幸而朔方军节度使郭子仪带领大队人马来援，把河阳桥拆断，保卫东京，以免贼兵乘虚侵入，才得无事。另筑南北二城，以当来势，这才转危为安。冯老头名叫冯安，就因这场败仗溃逃回来。到家一看，全村百多户人家业已死亡逃散殆尽，他本人也无家可归，有一个病了五年的老母已被土墙压死，到处墙倒屋塌，残破不堪，走遍全村，才找到两户人家，都是寡妇。双方本来相识，又当春耕之际，约好一同下田耕种，不料县吏走来，一见有人，强要他们充军应役。”
冯安说：“我已在军中苦熬了数十年，如今须发皆白，年老力衰，能干什么？”
县吏说：“你们年老力弱，不能打仗，也不勉强，可跟我去练打鼓，做点杂事，难道这还不行么？”
冯安无法，勉强答应。回到家里和老婆一说，想起自己有好几个儿孙，都因征兵抓走，阵亡在外面，如今自己败阵逃回，县吏又来强迫应役，越想越难受，夫妻二人抱着痛哭了两天，无计可施。最后还是去学打鼓，刚学三天，便命从军上阵，费了好些口舌，才得告了半天假，回家与老妻话别。
冯老婆知丈夫此行凶多吉少，想起天寒衣单，越发忧急，卧地大哭，拉着冯安的手哭道：“人的身体要紧，不管多苦，每天吃饭必须吃饱，最好每顿加半碗，免我担心。”说到伤心之处，二人眼里都哭出了血水。
众人知道冯安此去更无还乡之日，冯妻还在担心怕他受寒，劝他努力加餐，光景甚是凄惨。众人全都心软难过，看不下去，有好几人也流下泪来。
杜甫听了甚是难过，再往这些人身上一看，都是衣不蔽体，一身破烂，面黄肌瘦，看去均颇衰弱。再一打听，才知由当地到洛阳所有百姓都是如此，民家十室九空，因为年年荒乱，民不聊生，困苦已极。想了想无计可施，无可如何，只得先到陕州城内访看两家老友，在当地住了两天，忽想起东都洛阳乃是第二故乡，亲友甚多，还有姑母家中不知是何光景，何不趁此无事前往访看、主意打定，第二日独自起身，便往洛阳赶去。
刚到东门，便见一少妇披头散发，满面泪容，往前哭喊奔走。一时好奇，跟将过去一看，前面有官差押着数十个壮丁正往前走，少妇也由后追来，忽然扑上前去，抱住内中一人又哭又跳，号叫不止，神情甚是悲痛，进前一听，少妇哭道：“我自从嫁你，连你家的床凳都没坐暖，头天晚上结婚，婚礼还未完全办完，第二天一早你就离我而去，这样匆忙太叫人难受了！”
少年答道：“不要气苦，我所去之处并不大远，不过是到河阳去守边，至多三年五载就回来了，你这样伤心作什么？”
少妇哭道：“你可知道河阳虽然离此不远，但是我的名分还没确定，怎么能见姑嫜呢？想起我爹娘在日，对我何等怜爱！只想我能够嫁个好丈夫，白头偕老，哪怕嫁鸡嫁狗都是无妨。谁知我你从小在一起长大，彼此又是情投意合，只说姻缘美满，谁想到会有这样下场！并且你不说我也知道，河阳乃是战场，贼兵之外还有胡兵，此去分明凶多吉少。我昨日哭到半夜，心肠都哭碎了，真想拼这条命不要，去向官差苦求，随你同去。怎奈人事仓皇，不能如愿。再一想，我一妇人随在军中许多不便，也妨碍你为国杀敌的志气，转过头来反倒劝你从此努力，志在戎行，不要因为新婚念我，耽误前途。还有我出身贫家，穿这样华丽的嫁衣也不相称，现在就脱下来还给你，我是再也不穿它了。”跟着便把身穿一件罗衣脱下，又用道旁小沟的雨水把脸上脂粉洗去，哭道：“你不说我打扮得好看么？现在把它当面洗掉，省你想我！”
少年劝道：“你打扮得好好的，把它洗掉则甚？这件嫁衣无故抛弃更是多余，你跟我怄气么？”
少妇凄然苦笑道：“你都走了，我打扮给谁看？穿给谁看呢？可怜我还不如那空中飞鸟，它飞起来都是成双配对，我从此却成了孤鬼，哎呀我的爹娘呵！哎呀我的丈夫呵！我只望你千万保重，早点回来，夫妻团圆，别的话我也没法说了！”说罢大哭不止。
前面官差便赶过来威吓。少年拉着少妇的手还想开口，被差役强行拉开，随用绳子捆上两臂，拉扯着往前走去。
杜甫看了好生难过，回到朋友家中，想起城内外所遇的事好生伤感，便写了三首诗。这便是他诗句中最有名的“三别”（《垂老别》、《无家别》、《新婚别》）。
杜甫原知姑母早已去世，但想看看她的遗属。所以一到洛阳，先往庆春门仁风里郑家访看。细一打听，姑母死后，全家星散，两个表弟也不知去向。杜甫在堂前点香行礼，朝姑母灵位哭拜了一阵。又到十几年前自己在洛阳时所居乡亭窑洞去走了一遍，也是一个熟人没遇上。眼前所看都是一片残破。当年东都的繁华景象连一点影子都没有了。慨叹了一阵重又回到城里，好容易寻见两个故友，聚了一日，便各分手，自往华州任职不提。
大历二年，杜甫先由梓州迁往云安县，住了不多日子，又由云安移家菱州的赤甲，因爱当地水土风景，不久便在东屯，瀼西两处分别建造了一所茅舍，把家安了下来。自己又率领家人开了几亩田，造了一只小船，往来于东屯、瀼西之间，田家生活颇有乐趣。杜诗里所谓“东屯复瀼西，一种住清溪”，就是说的这件事。
好容易辛苦经营，全家安居了些时，到了大历三年还是不耐久住，正月泛舟出峡，离开四川，往湖北的江陵县走去。三月到达江陵，住不多久，又迁往公安，到了当年冬天又迁往岳州。住不多日，再迁往衡州。到了夏天，因为天气太热，重又迁回潭州。大历五年在潭州住了三四个月，遇见叛将臧玠变乱，又回衡州避乱，住不多日，因听传说，舅父崔伟现在郴州为官，欲往投奔，无奈客居异地，拖着一家妇孺，许多不便，只得暂时忍耐，没有走成。最后费了许多事才勉强起身，还是自驾扁舟，顺江前往。
船到来阳，停泊在方田驿，打不起主意。到了秋天，实在感觉光景艰难，不能久住下去，便把船开往荆楚一带，顺流而下，想碰碰机会！哪知一事无成，所想找的人一个也未见到。因为穷愁抑郁，潦倒不堪，一家妇孺衣食艰难，日子一久，便忧劳成疾，得了一场重病。
过了几月，偶往岳庙闲游，忽遇山洪暴发，无法回转，后被来阳县令知道，亲自带船往援，才把他接了回来。县令对杜甫颇为优礼！常时送他些酒肉。
这一天杜甫的病刚好一点，正遇县令送来酒肉，一时高兴，多吃了些，病势复发，次日连请医生诊看服药全都无效。挨了几个月，病终不起。这一天晚上，见月色甚佳！江面上风露浩然，晴空一碧，一时高兴，只顾赏月，睡时天已深夜，当晚气喘不止，病势加重，溘然长逝，年才五十九岁。
死后萧条，社妻杨氏无奈何，变卖衣物，买了棺木，草草成殓，带了宗文、宗武，几个姨姑，把灵柩送到岳阳。又把坐的船卖掉，才在当地勉强殡葬。后来宗文、宗武虽然成长，但是进身无路，家道还是那么穷困。直到宗武的儿子嗣业长大，长年焦劳，费了不少事，求了许多人，才继续先人之志，把杜甫的灵柩送到洛阳惬师。这时杨氏已早病死，嗣业才得把祖父母的灵柩合葬在首阳山。离开杜甫的死已四十多年了。