隋軍與裴文安相持數日，裴文安越發憂心忡忡。眼看對面的隋軍實力一日日強大，眼看沒幾日便和自己手上的兵力差不多了。
裴文安正苦尋破敵之策的時候，楊諒的命令已到達軍中。
實際上黃河一戰，漢王叛軍士氣大降，擅自出擊的裴文安根本瞞不住楊諒。
西進大軍兵敗的訊息傳回幷州之後，楊諒大驚，他無論如何也沒有想到楊廣不僅沒有殺死楊素，反而起大兵討伐於他，更吃驚裴文安三番兩次的兵敗。
黃河一戰，貌似戳破了漢王叛軍強大的童話。
這時豆盧毓又勸道：“大王，裴將軍兵敗，並未楊廣之奸計。”
楊諒不解。
豆盧毓乃說道：“大王，您當初籌謀起事，廣積兵馬，難道楊廣不曾知？臣料其不過是想做第二個鄭莊公，故意逼大王起兵，他則早在關中佈置了重重兵馬，等待大王的大軍壓境。”
楊諒大驚道：“這怎麼可能，雙方這才交戰幾日，他哪有這個時間集結各府部隊？”
豆盧毓說道：“楊廣監國大半年，有什麼事是他做不了的？既然我軍可以提前佈置，為何楊廣又不能有所準備？河東有黃河天險，他怎麼會願意在河東大王的地盤上與我軍決戰。而一旦我軍到了關中，其主動權便落入楊廣的手上。”
楊諒覺得豆盧毓的話很有道理，反倒相信楊廣之前的弱勢樣子是故意引誘他出擊。
這時北據一派的人紛紛言裴文安冒進兵敗，喪師辱國，不遵王命，形同悖逆，需要重懲。前些日子裴文安得勝，西進一派的人也紛紛得勢；這一次裴文安兵敗，楊諒為了平衡勢力，同時拉攏北據一派，也只得處置裴文安等人。
楊諒決定主力撤兵，並召回裴文安。
楊諒的令旨到了裴文安的軍中，楊諒以隋軍勢大，難以一戰勝之為由，命裴文安立刻撤兵返回幷州。以大將紇單貴擔任蒲州道行軍總管，王聃為蒲州刺史，二人率部四萬堅守蒲州。楊諒並命紇單貴破壞蒲州南部的黃河大橋，嚴防隋軍渡河。
裴文安心中大驚，雖然百般不情願，但他不是真正的領兵將領，在軍中並無威望，沒了楊諒的任命，他根本無法指揮紇單貴、茹茹天保等將領，因此只得無奈地率軍撤退。
裴文安此時心中仍然不甘心，乃上奏楊諒道：“用兵之機，貴在詭速。我直襲關中，本想出其不意，攻其不備。不料大王臨陣變策，既不親征，召我回軍，使敵方有了竄息之機，轉危為安。如今我軍大事去矣！”
裴文安對於楊諒撤兵的做法，既充滿了疑惑，又失望至極。
楊諒也覺得愧對了裴文安，心中過意不去，但是他心中仍是覺得要穩妥為上，因此並未對裴文安的話做正面回應，而是繼續隨心行事，責令眾將立即停止進攻，分散防守各地。
也許是楊諒不願意見裴文安，當然也是為了懲罰裴文安的兵敗，楊諒任命裴文安為晉州刺史，即刻上任，而茹茹天保率大軍返回。事實上從此刻起，裴文安被排擠出漢王集團的核心圈層。
接著楊諒又任命薛粹為絳州刺史，梁菩薩為潞州刺史，韋道正為韓州刺史，張伯英為澤州刺史，打定了主意堅守。
九月七日，裴文安向北撤兵，臨撤退之時，還在蒲坂以北佈置了上萬軍隊，準備趁機伏擊隋軍。
裴文安還是不甘心就此離開，因此準備再賭一次，賭黃明遠的貪心。