林士弘離開蓮花塘之後，帶著親兵扈從，晝伏夜出，沿著無人的葦蕩、灘塗之地前進，終於到達長江邊上。
這裡隋軍的勢力難及，林士弘尋得船後，便立刻渡江南下, 到達九江郡。
此時林士弘尚不知曉王戎已經投降隋軍的訊息，因為他剛到達九江，就被一個驚天動地的訊息給鎮住了。
林士弘的老巢豫章城丟了。
原本投降林士弘的盜匪張善安率部反叛，秘密投降蕭梁，聯合蕭銑派出的大將蘇胡兒攻取豫章郡，林士弘在豫章的將領或死或降，整個林楚小朝廷幾乎是完全覆滅。
張善安是彭城郡方與縣人, 佔據方與作亂。後來張善安在兗州地區被李鳳陽打得站不住腳，遂一路南逃，流落江淮。不過張善安到了淮南地區也不安穩，他先是襲擊並攻陷廬江郡，但之後為陳稜所擊敗，無法在淮南立足，遂帶領舊部南下投奔林士弘。
林士弘身邊之人都是江州諸郡本地人，所以他並不信任這個南來的北傖，先是讓他在南塘紮營，之後又趁機奪取了張善安的兵馬。
張善安縱橫江湖多年，對手都是黃明遠、李密這些人，本就看不起沐猴而冠的林士弘。於是他雖明著歸順林士弘，卻暗地裡聯絡蕭銑。
蕭銑本就有心江州諸郡，於是派遣蘇胡兒來援。此時林士弘傾巢而動，主力而至淮南，國中空虛，於是在張善安的帶領下，蘇胡兒長驅直入，兵臨豫章。
鎮守豫章的林震死守, 但林震本身能力一般，先是讓張善安燒燬外城，接著又被擊破內城。林震兵敗，只得逃至餘干縣。
蘇胡兒佔據豫章郡，張善安也趁機南下，佔領了廬陵郡，並自領吉州總管。
至此，整個江州地區的一大半完全落入蘇胡兒、張善安二人手中。而鄱陽郡素來是操家人的勢力地盤，南康、臨川二郡為梁軍阻隔，情況難料，到現在林士弘手中，就只剩下九江一郡了。
面對這種結果，林士弘甚至都想死在江北，也好過現在。
林士弘暗暗想著自己的處境，他決定還得要奪回豫章。
首先他現在所在的九江郡，並不是一個根基之地。九江郡地轄二縣，人口不過七八千戶，西通荊襄，東至江淮, 乃是四戰之地。
而且隋軍不知何時就會南下, 現在九江郡的兵力不足萬人, 沒有後援，根本不是隋軍的敵手。
他要是不投降，就非得南下不可。
其次林士弘並不是很相信唐野。
唐野是楚軍第一大將，但他原來是操師乞的部下，並不比林士弘地位低。而且唐野和操天成關係很好，雖沒有支援對方，但也護著對方。
此時林士弘手中不過數百人，一旦待在九江，就完全至於唐野的手中。即使唐野忠心，難保其部下沒有野心，拿主上的人頭到對手那裡換個前程的事還少嗎？
而且林士弘想從唐野手中奪取這支部隊的軍權，若是繼續待在九江，則完全沒有可能。
唐野也覺得九江不可守，又聽聞隋軍攻破彭澤縣的訊息，遂同意了林士弘的南下之策。
林士弘在九江大肆搜刮一番之後，帶著九千餘人一路南下，大軍經建昌縣轉道鄱陽（治今江西省鄱陽縣東北古縣渡）。
林士弘本準備前往鄱陽郡，招撫操家，可還沒趕到，便遇到惶惶然南逃的操天成，這時他才得到訊息，從宣城郡來的隋軍突襲鄱陽，操天成不備，將鄱陽郡給丟了。