岳飛在宗澤的關照下，從一個戴罪之身已經升到了正七品的的武功大夫，任職昌州防禦使、通、泰等州鎮撫使、兼知泰州。現在，杜充是他的直屬上級。
“你懂個球，北方大局豈是你我能左右，我軍往南收縮防線才是正途！”杜充去意已決，岳飛當然攔不住他。
如果宋軍不走，眼前只有三條路：一是等待金軍圍剿，二是退到深山和金軍打游擊，三是被金軍收編。
三條路都不好走，所以在杜充看來，只有往南才是王道。而岳飛是寧願去打游擊也不願南撤。
宋軍南撤，當然不是杜充一個人說了算，趙構也經過了深思熟慮。
金兵輕輕鬆鬆就打到了長江邊上，說明北方的防務空虛，以宋軍現在的實力，想保住北方希望不大，那就不如儲存有生力量，退到長江防線，先守住半壁江山。
為了保住開封，南宋已經花了大量的人力物力，現在國庫空虛，根本無力再支援和金軍全線作戰，如果前線錢糧不濟，官軍很可能淪為流寇。
呂頤浩和張浚都是主戰派，他們也認可趙構的觀點，當務之急，不是和金軍死磕，先穩住南宋的基本面再說。
於是，不顧岳飛的苦苦哀求，杜充帶著主力軍毅然決然的走了，岳飛沒有辦法，只能跟著南下。
宋軍南撤的同時，趙構又派出使臣向金國求和，他在國書中自貶為“康王”，不再以大宋皇帝自居，誠意滿滿。
趙構這麼做，一方面是希望金軍不要趕盡殺絕，我都已經這麼卑微了，你們行行好放過我，另一方面，他也想借此麻痺金軍，讓南宋有喘息的時機。
但是趙構知道，他這麼做肯定會引來憤青的責罵，說他沒有血性沒有羞恥心。但是他已經想通了，老子都成了廢人，你們再罵狠一點又何妨。
杜充撤離開封時，宋廷任他為淮南、京東、西宣撫處置副使，許他“便宜行事”，等於是把北方中原地區的防務託付給了他，但是杜充不撤則已，一撤就撤到了建康府江蘇南京），把中原地區拱手讓人。
但是，現在長江防線的重擔，又只能交給杜充，因為朝中無人啊。
縱觀整個宋廷，有作戰指揮經驗的高階文官，要麼死了，比如宗澤，要麼不在長江地區，比如張浚去了陝西，杜充是現成的人選。
本來呂頤浩說他去，可趙構白了他一眼道：“你走了，朝中沒有了宰相，我成了光桿司令，成何體統？”
靠武將來統領三軍，那是萬萬不能的，不說太祖趙匡胤定下了武將不能統兵的規矩，單單是趙構也剛剛被武將鬧的灰頭土臉了。
1129年七月，杜充升任同知樞密院事，成了南宋軍方的二把手。
但是杜充不滿足，因為軍事主官在宋朝一直是屈居文官下面的，宰相比樞密使就是高階一些。
他對朝廷稱病道：“本人病入膏肓，不堪大任！”意思是我要撂挑子了，你們誰願意幹誰去幹。
趙構知道杜充這傢伙就是在嫌棄官職不夠高，但也沒辦法，只好把呂頤浩升為左相，空出右相的位置給了杜充。
古代以左為尊，左相是首相，右相就是副相，杜充成了宋廷當政的二把手，地位還在張浚的知樞密院事之上。
這下杜充也知道自己的官升到頭了，再升的話就觸犯眾怒了，於是他立馬上書說自己病好了，可以開始工作了。
趙構的卑微並沒有換來金國人的同情，反倒讓金國人覺得這小子沒種，不打你打誰？1129年十月，金軍分兩路路南下，開啟第三次侵宋戰役。
金軍元帥左監軍完顏昌撻懶）負責淮南戰場，四太子完顏宗弼兀朮）負責江南戰場，宗弼自帶一路，計劃先佔建康南京），接著直搗臨安府杭州），另一路兵馬由完顏拔離速和耶律馬五等指揮，從黃州今湖北黃岡）渡江。
杜充總負責長江防線，但是他心裡有數，這個仗很難打。
難打不是說金軍的戰鬥力就逆天到不可戰勝，主要是宋軍內部矛盾的不可調和。