守章彝因感激他救命之恩，时常谈起，意思很好。杜甫实在无法，只得往见章彝，打算试探一下。章彝果因人说严武去年虽要杀他，全仗杜甫力劝，耽搁了半日，被严母知道，才得无事。这次杜甫往投，虽不像上次那样冷淡，也没有十分优礼。
又听人说新节度使郭英又不喜杜甫，不敢亲近，相待只是一些虚文虚节、毫无实惠，日子一久，杜甫呆不下去，只得回家。忽听人言，好友高适新任西川节度，想起这是交情最深的好朋友，便带了全家前往投奔。初意这个竟比严武还要厚待得多，这后半生全有依靠。
哪知事情不如人意！高适对他也只初见面时仿佛情热，日久还是冷淡下来。杜甫又呆不住，便把全家迁往云安。到了大历元年春天，又由云安迁往菱州。大历二年三月迁居赤甲，住了数月，勉强在朋友帮助下，在壤西和东屯各建了一所草堂，置了点田，亲率家人躬耕，往来于-西、东屯之间。
似这样过了不久，便率全家出峡南下到江陵，跟着又由江陵移居公安，成了浮家泛宅，没有一定住所。在公安还没有过冬，便迁往岳州，住到第二年正月再迁往潭州。因慕衡州山水，便迁了去。住到夏天，实在热得难受，又回潭州避暑。
到了大历五年四月臧-作乱，杜甫想到郴州去投亲，没有走成，全家人在荆楚各地飘泊了一个时期，最后流寓到来阳县。