劉備待宋忠走後，立即與徐庶、諸葛亮商議，徐庶道:“不如引兵急攻襄陽，然後拒曹。”
劉備問道:“此乃景升兄基業，怎能攻其子嗣，奪其基業。！”
諸葛亮看劉備斷然拒絕，也明白襄陽城內蔡瑁久掌兵權，經營數十載，非輕易可拿下的，何況曹操大軍很快就要抵達，便道:“既然如此，不如退入江陵，再圖大事。”
劉備道:“只能如此。”
於是率帳下兵馬南下江陵，劉備駐紮新野七年，治理新野，百姓安居樂業，聞聽劉備南撤，也都要跟隨劉備南撤。
劉備不忍棄之，便和百姓一同南撤。樊城百姓一看，也要跟著。百姓拖家帶口，盡數跟隨。劉備帶十餘萬南撤。
徐庶、諸葛亮急忙來找劉備勸道:“主公，我們要想取江陵，必須急攻，若帶上十萬百姓，恐怕會耽誤我軍行軍速度，到時無法抵擋曹操。”
劉備道:“我知道，但百姓欲歸我，我怎能棄之不顧。”
劉備令將前時準備好藏於民間的船隻徵集起來，由關羽水軍登船，劉備下先讓百姓中的老人、小孩登船，關羽訓練的水軍除了水手何必要的守衛外，暫不登船，將百姓送到往江夏方向後，再返回繼續運送百姓。
劉備又派人往劉琦處求援，於路上接應。眾人勸劉備將家眷先送走，劉備道：“我家眷中並無老人，豈能先走，百姓信我方才跟隨，怎能自違誓言，不必多說。”
諸葛亮道：“雖是如此，主公家眷終究不可與百姓混雜，以免發生意外。”眾人附和。
劉備道：“既然如此，子龍，備之家眷，勞你照看。”
趙雲上前道：“必不負主公所託。”
關羽先引兵在漢水將木船排列，架起兩座浮橋，百姓盡數過漢水，而鄰長、鄉長、屯長各自將老人、孩子選出，送到關羽船上，沿漢水南下。
劉備望襄陽而來。
眾人抵達襄陽城下，劉備打馬來到城下喊道:“請劉琮出來搭話。”
守城兵馬報與劉琮，劉琮不敢回答，蔡瑁道:“不要理他，敢近城池便以箭射之。”
劉備連喊數次，無人理會，劉備嘆息一聲，打馬離去。
張飛道:“大哥何不趁機破襄陽，宰了劉琮和蔡瑁。”
劉備道:“縱然破城，於事無補，不過是生靈塗炭，更何況劉琮乃景升兄之子，安肯害之。”
張飛道:“大哥也太好心了，便宜這些賊子了。”
劉備繼續南撤，襄陽一些百姓紛紛逃出城外，棄劉琮而投靠劉備，荊州一些士族，帶著自己的家倦部屬，隨劉備逃亡。竟然又多了數萬人，如此行軍，行軍速度非常緩慢，一日不過行十餘里。
簡雍勸說劉備道:“如此行軍，未到江陵，曹操必然追上，不如輕騎前進，待破江陵，再來接應。”
劉備道:“夫濟大事必以人為本，今人歸我，我何忍棄去！更何況，我一旦離開，百姓慌亂，兵士喪膽，如果曹操追上，必遭毒手。我在，尚可組織兵士抵擋，百姓才有生機。”
簡雍又道:“如此下去非良策。”
劉備思量了一會兒道:“不去江陵了，下令轉往江夏。”眾人大驚。
劉備胸有成竹，想到：“既然江夏是我的興起地，強去江陵乃就是逆天，不如早去江夏。”
當下令千人為一隊，分出五隊，每十里開始做飯，節約時間。
劉備又令百姓除了金銀細軟，沒人只留一件衣服，其餘盡數掩埋或丟棄，待到江夏再補償，劉備將所屬輜重除糧草外，多餘的兵器、鎧甲沉入水底，空出的車子載老弱民眾，如此，行程稍快。
劉琦收到侯印驚疑不已問道:“如此說來，我父親已經離逝。”