杜伏威的計劃是將蘇烈的兩面夾擊和自己的誘敵深入結合起來，既逼著又誘著陳正通和他決戰。
很快，蘇烈親自帶著一營士兵乘船在胡墅登陸。不出蘇烈所料，陳正通將所有的兵力都收縮到桃葉山上，整個胡墅港中，幾乎沒有守軍。
於是隋軍一股而下胡墅。
剛開始陳正通沒有重視此地，可是失去之後，他才感受到了疼，知道胡墅的重要性。失了湖墅，陳正通的糧道斷了。
其實這也不能全怪陳正通。陳正通本就兵少，而大江兩岸，如胡墅一般的小港口，又不知道有多少，小股兵力滲透，實在是防不勝防。
蘇烈以胡墅為核心，派遊騎四面出擊，不斷騷擾陳正通的後勤線。
輔公祏本來存的糧食不少，但都在歷陽城中，歷陽城南一敗，輔公祏連城都沒來得及進，自然也顧不得他存的糧食。
小書亭
輔公祏北上之後，只能從烏江（今安徽省和縣烏江鎮）、六合等幾處地方獲得有限的糧食。
輔公祏本部糧食不足，自然也沒法多給陳正通糧食。而且輔公祏也有自己的心思，他擔心陳正通會趁機投降，又沒有什麼有效的辦法約束對方，也只得在糧食上限制對方。
所以輔公祏每次往桃葉山上送糧食，一次差不多不到兩千石，只夠個四五日。
雖然存糧不多，但之前因為每次糧食都能及時地運到，所以陳正通一開始也沒在意糧食的問題。可蘇烈斷了他的糧道後，便卡住了他的脖子。軍中若無糧，神仙來了也沒用。
陳正通急得直撓頭，可混無辦法。
就在這時，隋軍向桃葉山再次發動了攻擊。
陳正通很快發現，這些隋軍戰力一般，看似拼命攻擊，但組織混亂無緒，一看就是羸弱。
這讓陳正通覺得有了機會。
陳正通糧食將盡，根本耗不下去，可若是能趁此機會擊敗隋軍，則全盤都活了。
隋軍胡亂攻擊了一番，便開始撤退。而陳正通乃下令，追擊隋軍。
陳正通的副將吳騷覺得有問題，覺得還是窮寇莫追，以防有詐。可陳正通卻認為，隋軍一路轉戰，長途跋涉，沒有停歇，又在桃葉山下屢屢受挫，現在出現士氣低迷、士兵疲弊的情況也是可以理解的。
而且他也想守著桃葉山，可他一沒兵，二沒糧，怎麼守。
眼看吳騷不停地阻攔，陳正通有些不悅，便令吳騷駐防桃葉山，同時率兵接應自己。
吳騷實在攔不住陳正通，只得眼看著陳正通帶著山上主力向撤退的隋軍發起了勐烈攻擊。
這些隋軍一路潰逃，往南而走。
陳正通見狀，追殺的更歡暢了。
只是陳正通不清楚，就在南面不遠處，杜伏威正等著他。
此戰，杜伏威特意挑選了歷陽一戰投降的一些羸弱士兵進攻桃葉山，自己統領著精兵嚴陣以待，就是要來一個誘敵深入。
桃葉山往南，是一片山嶺和長江相夾的狹長地帶，無險可守。