王琳毫不客氣的激烈言辭非但沒有讓王顗覺得奇怪，反而有種見怪不怪的意思，顯然他早便料到會是這樣，畢竟，王琳與盧潛二人不合乃是由來已久，人所共知的事情。
王琳與盧潛，一個拱手將淮南奉送給北齊，如今又得了朝廷授予的“自專”之權，一時風頭無兩，手握重兵，身負眾望；一個在淮南十數年，任總軍民，大樹風績，南朝上下都忌憚不已：“盧潛猶在壽陽，聞其何當還北，此虜不死，方為國患。“同樣影響力很大……正常歷史軌跡上，南朝也是等盧潛回鄴城擔任五兵尚書之後，才動身北伐。照理來說，這兩人強強聯合才對。
但顯然這二人都沒做好準備，主要是心態沒扭轉過來，當了十幾年的死對頭，忽然要他們聯合共事，即便是以王琳如今的豁達心境，也難以做到。
王琳與盧潛不合的矛盾點在於兩個方面：其一，主次問題，講道理，淮南是王琳獻的，各地方大族也是王琳擺平的，王琳本該是淮南說一不二的人物。可朝廷是怎麼做的？先把地方治權給剝了，然後又空降了一個“北齊版王思政”下來，讓他們二人“共事”。
一山不容二虎，這是亙古不變的道理。
朝廷空降盧潛下來是什麼意思大家心裡都很清楚，王琳一樣清楚，但王琳沒有辦法，都混到投奔北朝了，還想就憑著淮南割據咋地？
於是只能捏著鼻子認了，反正淮南還是他的地盤，他手裡照樣捏著兵權呢，想來盧潛一個北人，想在淮南佔住腳跟必定不會是輕鬆的事情……他顯然又低估了盧潛，這就導致了王琳的地位一步步受到挑戰，在政爭上面慢慢被拖入到了一個被動的局面。
北齊剛剛佔領淮南的時候，對江北諸郡並不重視，認為這不過是意外得來的邊鄙之地，一眾勳臣更是視淮南為異己之地，在高洋許諾的“十年不加賦”期滿的時候，北齊勳貴就開始對淮南進行了報復性的徵稅，不但賦稅徭役日益繁重，還禁止百姓漁獵，百姓怨聲載道。
不單單是剝削百姓，一些奸臣猾吏還把目光瞄向了淮南的大族、富戶，胡作非為，比如將鮮卑胡商欠下的債務強行攤派到地方豪強的頭上，令州郡強行收繳……北地徵收過來的戰馬，也強買強賣給豪強們，剛收到錢馬上又不認賬了，藉口國家有戰事，要將馬匹都收回去。
可以說，豪強和百姓都得罪光了，盧潛不一樣，盧潛任揚州道行臺左丞之後，嚴懲此類現象，平衡各方勢力，保護百姓利益，史載：“輯諧內外，甚得邊俗之和。”
這一枝獨秀換來的是淮南各豪強的善意以及鼎力支援……如果單單只是如此，當然無法撼動王琳的地位，但盧潛又不是一個只會治政的書呆子……揚州與陳地毗鄰，陳朝將領王奉國、周令珍先後入寇，都被盧潛打敗，這樣亮眼的表現，道一聲文武全才不為過。
王琳開始感受到了危機感，兩相對比，盧潛是北齊皇帝看重的大臣，而王琳只是一個南來降臣，忠心方面要圈起來打一個大大問號的那種。
鄴城朝廷更加相信誰，可想而知。
於是為了保住自己地位，王琳開始有意無意的讓人挑釁盧潛的地位，好給鄴城朝廷一種“盧潛德不配位，趕緊換人吧”的暗示……高演也很雞賊，一開始就沒給王琳機會，鼓譟聲勢大力支援盧潛，將他扶上正位，而王琳則給扣幾個大帽子，讓他回來述職，從此王琳就坐上了冷板凳，退居二線。
當然，王琳現在好歹堂堂郡王，又是京畿大都督，領著五兵尚書之銜，根本看不起當年爭的那點蠅頭小利，但除此之外，他與盧潛還有一樁恩怨：
王琳降齊之後，一心要鼓動北齊伐陳，但跟許多北齊大臣一樣，盧潛貫徹的是重西北而輕東南的國策，南伐之事因此受阻，無期限拖延下來……後來王琳被皇帝賞識，話語權重了之後，也多此向皇帝提議南下伐陳，又是這個盧潛上疏制止！
王琳不由得氣結，他與陳霸先恩怨極深，其中滋味之複雜三言兩語休想道盡，故而南下伐陳也幾乎成了他的一樁心病……盧潛攔著不讓他南伐計議得逞，就是他的生死大敵！
王琳自忖沒有追究盧潛失地之責，已經是很有氣度了，偏偏這個時候盧潛還要來撩他的火！
也就是面前的是王顗，換成別人非被他推出帳外鞭撻二十不可……王琳先是不悅的皺起了眉，而後深吸口氣說道：“眾人皆疑我，可你該知我才對，我王琳並非貪生怕死之人，關於眼下戰局，我的意思還是那樣，吳兵甚銳，而我多是屯田兵，訓練不足，不能一戰而克，得從長計議。”
王顗默然，曉得王琳所說的是事實，王琳也確實不是怕死的人，在平定侯景之亂中號稱軍功第一的王琳怎麼會怕死，他若怕死，當年就該降了陳霸先，豈會為了舊主南梁蕭氏屢屢與陳霸先作對？
若說這王琳身上最讓人信服的，本事還是其次，最重要的是義氣！
但王顗相信王琳的義氣，陛下信不信？本就對王琳心存偏見的鄴城朝廷信不信？這還是一樁難說的事情！
這廂王顗還在憂心忡忡，那廂王琳又自顧自地談論起來了，“……陛下自己也在信上說了，只要不丟了壽陽，一切都好說，可見陛下本來也不報什麼期待了……但我仔細研究了一下他們的路數，我覺得，這場仗我們是有很大機率可以打贏的。”