五月二十日，也就是江都兵變之後的第十三日，宇文化及率江都小朝廷撤離江都城。撤離人員包括軍隊四萬多人，以及六萬多官吏、眷屬、內侍、宮女、僧侶甚至是外族使節。至於物資，則是多不勝數。
為了運送這些人員和物品，宇文化及一共動用包括天子龍舟在內上千條船。這些船隻從江都碼頭向北一字排開，幾乎望不到頭。
因為時間較急，而朝廷又沒有合理地制定離開計劃，從撤退開始，整個撤退便陷入一片無序之中。
先是宇文化及帶著天子、蕭後以及百官登船，這倒也算正常，畢竟要將天子安置在核心位置。
接著宇文化及便命令軍隊和攜帶的物資登船。
然後，就沒有然後了。
所有的眷屬、僧侶、內侍都是自行組織登船，別說安排登船路線，就連個登船順序也沒有。
於是大量的人員搶著登船，很快撤退秩序便開始混亂起來。
大街上、城門處、河道中，盡是爭道之人。
人群擁擠，相互推嚷，鬼哭狼嚎，光是踩踏事故和落水事故，就發生了數百起。到處都是爭執，到處都是哀嚎。
甚至有一些出不得城的官吏眷屬，竟然命令家僕持棍棒開道。
後來，為了奪路和爭船，眾人就是持刀槍搏命了。
還有城中的無賴子，趁著朝廷大撤退的機會，伺機出來擄掠。這個時候，誰還管身份地位。一些沒人護衛的家庭，直接就被搶掠了財貨，甚至一些膽大的，連女人、小孩都公然搶奪。就連宮中的侍女，在撤退的途中，都不知道被擄掠了多少。
整個江都城中，幾乎成了修羅場。
這場由撤退衍化的逃難，從一大早開始，到了傍晚也沒有結束。船隻走了一批又一批，可鬧劇卻像是沒完沒了一般。
不少人暗暗祈禱，幸好黃維揚沒有殺過來，否則就得是大崩潰啊。
當然這些鬧劇宇文化及是不知道的。他早在禁軍主力護衛下，坐著又大又舒服的龍舟離開了。
當初楊廣南下江都，嫌龍舟數量太少，於是又命人再打造三百艘巨大龍船。可惜船成之後，楊廣卻再也沒有離開江都，這些龍舟現在都便宜了宇文化及。
眾人向北，一路撤到高郵停歇。
在高郵，宇文智及又派人收攏了駐紮在此地的樊文超、張童兒二部。樊文超二部是楊廣留在高郵看守北大門的，雖也是禁軍，但跟江都禁軍沒太大牽扯。
宇文智及建議宇文化及厚封二人，而二人也因為天子已死，沒了去處，遂投入宇文化及麾下。
多了兩萬多軍隊，宇文化及實力提升了一半，回關中的底氣更足了。
收降樊文超和張童兒，高興了宇文化及兄弟，但有人又不高興了。
江都之亂，造反的是禁軍，獲得最大成果的卻是宇文兄弟。雖然宇文兄弟掌握了政權，但宇文智及並不敢放鬆對禁軍的警惕。
畢竟禁軍可以反天子，也能反宇文家。
於是宇文智及建議兄長明升暗降，分了司馬德戡和元禮的兵權。不過這只是治標不治本的手段，軍中的兵權依舊掌握在二人部將手中，時刻威脅宇文化及的地位。
收降樊文超和張童兒之後，宇文智及手中多了兩張牌可以打，軍事上不用再完全依仗司馬德戡了。