外城牆厚，內城牆很薄，一旦外城牆消失，內城牆一衝即破，如果最終展開巷戰，不敢是贏是輸，他們都很難在臨潢城繼續呆下去，除了逃走，別無他途。
無奈之下，臨潢城守軍不得不冒險，緊急改變策略，以應對敵方的拆城策略。
第四天，就在完顏雍的軍隊再次擊退城上守軍，佔據城門和城牆缺口之後，組織兵力全力拆毀城牆之時，城內守軍將士手持刀槍驟然衝出內城，與正在拆毀城牆的東金士兵短兵相接，展開肉搏。
近戰肉搏，將完顏雍部全力拆毀城牆的策略破壞，他們不得不拿起刀槍對抗。
可戰不多時，守軍便且戰且退，退往城內。
兩軍戰至眼紅，一見一方後退，哪裡有不追的道理。
完顏雍部追入城內，再次遭遇城內守軍佔據地利的西面伏擊，為避免傷亡過大，無奈之下，只能退出城外，再尋時機攻城。
這一天，因為短兵相接，拼的是硬實力，臨潢城守軍傷亡超過了之前數天之和，達到千人之數。
也是從這一天開始，雙方開始在拆城和以短兵相接破壞拆城之間來回拉扯，在城牆缺口和城門附近留下了數不清的屍體。
那些屍體，初時還能清理，後來多的清理不過來，接連不停的戰鬥，雙方都得不到有效休整，精力不濟，根本沒有多餘的精力和體力，處理戰死計程車兵。
臨潢城守軍的強韌超出了完顏雍的預計，經歷七天激戰之後，速戰速決的設想落空了，他開始變得焦急。
平州多次送來軍情，說宋軍已經佔領五座城池，據可靠訊息，宋軍正在集結兵力，準備奪取平州城，截斷遼陽府與燕京之間的聯絡，除此之外，真定府金軍也蠢蠢欲動，有北上涿州的意圖，再次請求派遣援軍，支援燕京、平州！
又戰兩天，損兵數千之後，將士俱已疲憊不堪，聽各軍將帥一番商議之後，完顏雍攻取臨潢城的意志開始動搖。
前後九天，已經損兵折將一萬五千餘人，雖然攻破了臨潢城南城門，將城牆拆出了一個五六丈寬的缺口，也給對方造成了近萬傷亡，但距離攻取臨潢城還有不小的差距，再打下去，即使最終拿下臨潢城，手裡的軍隊也會基本拼個精光，得不償失。
與平州相比，臨潢城跑不了，以後可以再取，而平州一旦丟失，讓宋軍在河間府與平州之間連成一片，再加上宋軍強大的水軍，萊州也保不住，遼陽府到燕京最便捷的沿海通道被截斷，兩地之間再要聯絡就要繞道數千裡，翻山越嶺，對保有燕京大大不利。
全軍停止進攻，原地休整兩天之後，完顏雍最終決定暫且放棄攻取臨潢城，退守大定府。
詔令下達，各軍迅速撤離。
臨潢城守軍擔心對方佈下埋伏陷阱，未敢出城追擊。
五天後，完顏雍率軍退回大定府，當天又接到平州方向送來的求援書，顧不上將士疲勞和士氣低沉，當即派遣一萬軍隊趕赴平州。
而完顏雍在大定府停留三天後，隨即帶領御營禁衛軍五千人，東返遼陽府。
河間，元帥府，議事大廳。
“不錯，各軍都按計劃迅速控制住了收復的城池，完成了既定目標。但接下來，諸位就要收收手了，後勤物資供給困難，不宜貿然出擊，兵力也不能繼續分散。當然，如果你們能不搶不掠，自己解決糧草補給問題，再去攻佔城池，我也不會反對。但有一點要提前告訴你們，完顏雍北上臨潢府的大軍可能會在近期南下，極有可能進入平州地區，一旦你們被圍，想要突圍，恐怕困難重重。”楊叢義看著廳內各都統制、副都統制以及個別統制官，先鼓勵，後警告，以免他們膨脹起來吃大虧。
“大人，薛望不到半年時間，取了整個河東，我們也有數十萬大軍，什麼時候才能奪了真定府和燕京？再拖下去，我就打不動了。”說話的人是河間府都統制羅聰。
當年聚攏山東義軍西進大名府，助北伐軍奪取汴京之後，他便帶領整編之後的義軍回到益都府，三年之前領兵北上河間府，駐守第一線。
“不急，做好準備，也許機會馬上來。薛望奪取的河東，關乎汴京安危，朝廷準備了數十年才能一舉成功，收復燕京、真定府也是一樣，要先有準備，而後才能有勝仗。”在眾人面前，楊叢義沒有明言何時對燕京動手。
“大人，我們都等不及了，像這次這種小打小鬧，其實很沒意思，就我們收復的這些小縣城，要啥沒啥，人口也只有幾千人，平常我們都看不上，要不是大人下令奪城，我們都懶得動手。”一副都統制也隨後開口。
楊叢義臉色一寒，盯著那副都統制，直盯得對方心裡發毛，微微低下頭去，口中道：“大人見諒，末將錯了！”
“我跟你們說過多少次，打仗不是兒戲，也絕不僅僅是為了奪一城一地。每一場仗要不要打，你們可能無法決定，朝廷決定打，敵方決定打，你們便要考慮怎麼打，同時弄清楚為什麼要打。這場仗為什麼要打，你們不清楚嗎？”楊叢義目光掃過眾將，沉聲發問。