宇文化及率軍向東郡而去，在韋城（今河南省滑縣東南）會和了其弟宇文智及。此時宇文化及是四面皆敵，惶惶無路，不知何去何從。
最後還是宇文智及建議，先返回彭城，再做計較。
彭城周邊數郡，雖然盜匪眾多，但並沒有強大的勢力。憑藉著這近兩萬的驍果禁軍，雖難以有大的發展，但至少能穩守城池。
而且從兩淮進入軍事實力不強的巴蜀、荊襄更為容易一些。
宇文智及也有些想明白了，前有強敵，後有追兵，而關中又遠隔萬里，已經是回不去了。這時候與其非得去做一件不可能的事情，倒不如尋得一塊根基之地。到時候進可攻、退可守，強似現在這般無根無萍的狀態。
宇文化及早沒了主意，只得聽從其弟的建議。
從韋城前往彭城，最合適的路線應該是先折道前往浚儀，再順著當初西進之路南下。這一路眾人熟悉，沿途也沒有強力阻礙，安全快捷。
可是宇文化及說什麼也不想再前往浚儀。
浚儀尚屬於滎陽郡，此時怕是李密早就揮軍前往，再往浚儀而去，恐怕要直接一頭撞到李密的手掌心中。
當然還有一條更近的路線，便是從韋城橫穿濟陰郡，幾乎是走直線到達彭城。
但很快這條建議，亦被宇文化及否決。
濟陰郡幾乎盡為孟海公掌握。此時橫穿他的地盤，無異於孩童持寶而嬉行於鬧市之中，到時候閉為孟海公所襲擾。
之前宇文化及在孟海公手下吃了不少暗虧，心有餘悸。
而最後，他們尚剩下一條路，那就是從韋城向東進入東平郡、魯郡，經亢父之道，再南下彭城。
這條路繞的最遠，但沿途只有東平徐圓朗、蘭陵盧公暹這樣的小魚小蝦，不會對他們造成威脅。
很快，兄弟二人確定了走最穩妥的北路，宇文化及將沿途糧食搜刮一空，向東而去。
大軍向西，走沒多遠，到了歷山（今山東省鄄城縣境內山）一帶。
歷山，古雷澤西岸之山。上古時期，舜耕歷山，漁雷澤即此。
宇文化及到了此地，突發奇想，想去祭拜一下帝舜。
宇文化及自當初江都宮變之後，一路困頓，屢遭厄運，雖然成了權利無比的大丞相，但根本沒多大意義，反倒流離失所，落魄至斯。他不想著勵精圖治，捲土重來，倒是把希望寄託在鬼神之上。
宇文化及希望透過拜祭帝舜，能得到帝舜的保佑。
宇文智及聽得此事，很是詫異。
走北線到徐州，要多走上百里。三軍睏乏，糧草短缺，將士疲憊，本就不堪重負，再在歷山耽擱一日，得多消耗多少糧食。
而李密尚在後追擊，浚儀情況尚不明，這時候不早點趕到彭城，不是發瘋找死一般。
宇文智及便勸宇文化及勿要停留，加快程序。
可宇文化及是鐵了心要拜祭帝舜一番，因此對於宇文智及的勸告，毫無所動。
兄弟二人，各持己見，然後竟然爭持了起來。甚至到最後，還是宇文化及強擺大丞相的官威，才壓下了所有的爭議。