林士弘退往宜春郡後，立即從各地依附郡縣調集人馬，準備再同高不二大戰，但是各郡本就是名義上依附，如今見他大敗，聽令的人並不多，最後東拼西湊，再加上就地招募、收攏散兵，弄出來六萬來人。
世代盤踞西南的馮盎，向來以地方豪族自居，從來看不上林士弘這泥腿子出身。之前因為手中兵馬不足以對抗林士弘，便不得不去信請求依附，而今看他大軍潰散，又有朝廷大軍收拾，於是直接無視林士弘調兵命令，雖然手中有精兵強將三四萬人，但並未派出一兵一卒。
在宜春的林士弘見馮盎不聽調令，心中自然惱怒。
林藥師道：“馮盎那狗賊，以往納貢稱臣，面面俱到，而今竟敢無視陛下聖諭，不派一兵一卒前來助戰，我要派兵滅其滿門，夷其宗廟，請陛下撥我一支人馬。”
林士弘還沒氣昏頭道：“牆頭草又不只他馮盎一家，你激動個什麼？馮盎所依的是當地寮人的支援，他們馮家在那裡經營了三四代人，哪能那麼輕鬆讓你拿下，而今我們的大敵是高不二，等擊退高不二再回過頭來和他計較不遲。”
林藥師怒氣難平道：“他高不二也是欺人太甚，楊廣那昏君都知道那是秋後的螞蚱蹦躂不了幾天了，居然還那麼死忠，猛搞我們，不若我們派人攜厚禮過江前往瓦崗，與李密結盟，請他南下攻江都，吸引高不二去救楊廣，減輕我們的壓力，你看如何？”
林士弘滿意的點點頭，自己這弟弟也不是一味就知道蠻幹，他很欣慰，道：“如此也好，宜早不宜遲，現在就趕緊派人出發，我怕高不二等不及派兵攻來。另外也不能全寄希望於外人，我們也要抓緊時間練兵，既然城戰、水戰我們都不佔優勢，我們就練山林戰，如果高不二敢來，我們拖死他。”
林藥師領命便下去準備。
另一邊，高不二在豫章整頓兵馬兩個多月後，聽說林士弘又在宜春郡糾結了六萬多人，為了不給他過多時間，便命令李靖、紅拂女二人帶領五萬大軍南下，繼續向南征討。
但因南方山多路少，地廣人稀，後勤補給耗費時日比較多，等李靖帶著兵馬趕到宜春時候，已經是三個月之後了，林士弘因為練兵未完，只得放棄宜春，退到南康郡，李靖請示高不二後，繼續率軍南下。
而高不二卻不得不返回了杭州，因為永嘉郡太守沈法興聯合東陽、建安、義安、龍川四郡起兵反隋，擁兵十餘萬，正在猛攻會稽，會稽郡告急，高不二給王戎留下一萬守軍，負責督促向李靖轉運糧草，自己帶領三萬騎兵星夜趕往會稽支援。
沈法興雖然號稱擁兵十萬，但是派來進攻會稽的只不過三萬來人，高不二在會稽留有五千精兵，見賊軍來攻，便派騎兵出城，主動迎戰，沈法興軍騎兵較少，根本奈何不得重騎兵，但是會稽這邊吃虧在兵少，也不敢離城太遠追擊敵軍，雙方僵持十多天。
沈法興軍營，屬下謀士、大將陳果仁、孫士汗、蔣元超、李百藥都在。
陳果仁道：“大王，而今我們久攻會稽不下，敵軍援軍不日就到，我方不宜過早與對方決戰，而東陽郡、永嘉郡距離杭州、江都又太過近，我建議咱們退到建安去，在那裡改弦易幟，建國稱制，這樣就可以廣招天下有識之士來投，只要人才兵馬多了，那麼我們就可以與隋廷分庭抗禮。”
李百藥道：“臣同意司徒的意見，只要我們遠離餘杭，高不二又在和林士弘廝殺，一時半會兒還顧不上我們，我們可藉此機會發展自己。”
“我等附議。”沈法興聽從屬下建議，帶兵撤到建安，兩處兵馬合二為一，可戰之兵一下子達到了六萬多人，聲威大振，引來不少嶺南能人義士來投。
高不二領軍趕到會稽後，見沈法興已經帶兵退往了建安，於是略做準備後，帶領大軍進駐永嘉郡，暫時無暇南下。
而在南康郡林士弘與李靖大戰一場，又大敗而歸，最後不得已帶領不足兩萬人的殘兵西去投奔蕭銑。高不二讓李靖放棄追擊林士弘殘兵，繼續帶領大軍南下。由於林士弘已西撤，李靖很輕鬆攻下了海南郡，至此，林士弘建的楚政權就此瓦解。
在巴陵的蕭銑聽聞林士弘帶兵來投，大喜過望，派在衡山郡的大將董景珍領兵前去接應，已示隆重，有了林士弘來投，西南觀望的各郡縣紛紛上書蕭銑，請求依附，短短半年時間，蕭銑軍隊就發展到了不下四十餘萬，成了與北方瓦崗軍、河北竇建德一樣的最有實力的義軍首領。