此時楚軍眼看攻城船被點燃，也有些慌了起來。
主要是之前所有人都以為攻城船是個不沉的移動城堡，對其報以重大的期望，因此突然起火，眾人心理上失去防備，這才開始慌亂起來。
甚至不少已經攻上城頭的楚軍，眼看攻城船起火, 竟慌忙向後逃去。
火越燒越大，很快傳播至船上各處，甚至延伸至塔橋之上。
此時杜睿正在塔橋上與尾隨的楚軍激戰，眼看大火如襲湧一般，衝向他這個方向，他也顧不得其他, 忙掉頭就走。
但火不需要追上他, 因為這火早就燒燬了塔橋另一側。
只見塔橋搖搖晃晃，“噼裡啪啦”一陣聲響, 很快便折斷向下墜去。
而杜睿身穿鐵甲，行動不便，到了城頭，還沒有躍下，便被下墜的塔橋一掀，然後跟著往下墜。
就在這千鈞一髮之際，黃維烈眼疾手快，一把抓住杜睿，而杜睿數百斤的重量下墜，力量霸道，黃維烈也差一點被他帶下去。
而其餘人紛紛上前，才將杜睿給拉了上來。
隋軍在其餘諸處塔橋亦如法炮製，這些塔橋亦遭受到跟此處差不多的命運，紛紛被燒燬。
船上的楚軍拼命地救火，但根本沒有意義。整座攻城船是座木質的船隻，防火功能是防外不防內的。
此時大火幾乎是從最中心往四面擴散, 等到各處楚軍發現，整座攻城船已經成了火海, 無法挽回了。
很快，這攻城船在大火之中被燒燬。船上士兵，尤其是上面箭樓處計程車兵，多沒能及時逃脫，最終葬身於火海之中。
整個攻城船上，只有最初逃跑的一群人倖免，而那些拼命奮戰計程車兵，恰恰是死得最慘烈的一批人，既讓人唏噓，也讓人不知該說些什麼。
有了這次的經驗，隋軍又如法炮製，將另外兩艘攻城船給燒燬。
這些攻城船巨大，其造價也昂貴，一艘趕得上普通船隻十艘、百艘。林士弘家底不豐，窮盡江州諸郡之力也只攜帶了六艘，卻沒想到第一天就損失了一半。
剩下三艘，林士弘一時也不敢直接壓上了。
眼看城牆一時半會不好打，林士弘又下令從水門處突襲。
楚軍多水性好的健兒，於是林士弘組織了一隻突擊隊, 沿皖水秘密潛伏，直逼懷寧城的水門。
但楚軍沒有料到，他們所面對的，是早已守候在那裡的長矛隊。
楚軍士兵剛接近水門，守軍就用特製的分水長矛穿過鐵柵攻擊他們，一時之間刺死刺傷不計其數。
楚軍拼死用手抓住刺出的長矛，才擋住隋軍攻擊。
此時裡面守軍的長矛刺擊停頓了下來，楚軍一時之間大喜，還以為守軍已經逃跑。誰知過了一會，裡面又開始用長矛向外刺，楚軍這次又準備故技重施，便仍用手去抓。卻根本沒防備隋軍早就將長矛和鐵鉤在火上烤紅後，再用來刺擊楚軍。
於是中者無不慘叫，楚軍傷亡慘重。
至此，楚軍從水門突擊的意圖便徹底落空。
眼看東面城牆攻擊不順，林士弘便決定轉戰南面城牆，此門四面開闊，十分適合進攻。
但說實話，這並不是一個很好的選擇。