颇有乐趣。杜诗里所谓“东屯复-西，一种住清溪”，就是说的这件事。
好容易辛苦经营，全家安居了些时，到了大历三年还是不耐久住，正月泛舟出峡，离开四川，往湖北的江陵县走去。三月到达江陵，住不多久，又迁往公安，到了当年冬天又迁往岳州。住不多日，再迁往衡州。到了夏天，因为天气太热，重又迁回潭州。大历五年在潭州住了三四个月，遇见叛将臧-变乱，又回衡州避乱，住不多日，因听传说，舅父崔伟现在郴州为官，欲往投奔，无奈客居异地，拖着一家妇孺，许多不便，只得暂时忍耐，没有走成。最后费了许多事才勉强起身，还是自驾扁舟，顺江前往。
船到来阳，停泊在方田驿，打不起主意。到了秋天，实在感觉光景艰难，不能久住下去，便把船开往荆楚一带，顺流而下，想碰碰机会！哪知一事无成，所想找的人一个也未见到。因为穷愁抑郁，潦倒不堪，一家妇孺衣食艰难，日子一久，便忧劳成疾，得了一场重病。
过了几月，偶往岳庙闲游，忽遇山洪暴发，无法回转，后被来阳县令知道，亲自带船往援，才把他接了回来。县令对杜甫颇为优礼！常时送他些酒肉。
这一天杜甫的病刚好一点，正遇县令送来酒肉，一时高兴，多吃了些，病势复发，次日连请医生诊看服药全都无效。挨了几个月，病终不起。这一天晚上，见月色甚佳！江面上风露浩然，晴空一碧，一时高兴，只顾赏月，睡时天已深夜，当晚气喘不止，病势加重，溘然长逝，年才五十九岁。
死后萧条，社妻杨氏无奈何，变卖衣物，买了棺木，草草成殓，带了宗文、宗武，几个姨姑，把灵柩送到岳阳。又把坐的船卖掉，才在当地勉强殡葬。后来宗文、宗武虽然成长，但是进身无路，家道还是那么穷困。直到宗武的儿子嗣业长大，长年焦劳，费了不少事，求了许多人，才继续先人之志，把杜甫的灵柩送到洛阳惬师。这时杨氏已早病死，嗣业才得把祖父母的灵柩合葬在首阳山。离开杜甫的死已四十多年了。