隋軍既收降南陽郡，嚴孝武便命令徐世勣領一部攻打旁邊的淅陽郡。
淅陽郡地處秦嶺餘脈，伏牛山南，地理位置極其重要。向西北經武關通關中，向西沿漢水可入關中，向東南經漢水入襄陽，向東經南陽盆地入河南。最重要的是他離著洛陽城只有不到五百里, 跟潼關到洛陽的距離差不多。
唐軍佔據此地，相當於對山南地區（唐朝的山南道，晉魏之時指商洛、南陽一帶，到了北周擴充套件到今陝豫二省南部、湖北與重慶大部及川東地區，為地域觀念和政治格局而來，非簡單的地理概念）伸出一把刀子, 可四面出擊。
實際上李唐對於山南之地的經略很早便開始。
當初李淵還沒入關中，便派遣李孝恭、陳演壽、馬元規等人南下山南，後來又任命李元吉為襄州道行臺尚書令稷州刺史, 總攬山南之事，並佐以任瑰、李思行、薛獻、薛倩等人。
李淵給李元吉的兵馬、人才俱不少，可惜李元吉真不是那塊料。
再說李元吉年紀又小，又幾乎是半賣半送丟了河東，實在不能服眾，即使李淵用高位強把他推上去，也不可能使得人心畏服。
所以李元吉在山南大半年，並沒有多大戰果。
直到李淵丟失關中，李元吉尚沒有攻破呂子臧佔領的南陽郡城。
此時叄家勢力在南陽郡內，相互攻伐，勢力參差交錯。
李淵南入巴蜀，乃抽調了不少山南的軍隊維持自己的實力。此時在山南地區，負責經略南陽盆地的只剩下山南宣撫使馬元規和其部七千餘人。
若論馬元規手中地盤，著實不小，除了淅陽郡，還有南陽的冠軍（治今河南省鄧州市西北）、順陽（治今河南省鄧州市西）二縣以及襄陽郡的陰城（治今湖北省老河口市西北）縣。
然而馬元規控制著十餘縣, 卻只有七千人, 手中兵力著實捉襟見肘。
對於隋軍來說, 並不想和唐軍開戰，現在不是時機。以隋軍現在的力量，等將河南地區消化完了，自可以力壓之，輕巧取勝，根本不用在此賭輸贏。
但淅陽郡卻是又必須打，否則南陽郡，甚至是河南都安穩不了。
鷹揚南下襄陽，未來更是會決戰荊襄。要是唐軍順漢水東進，截斷荊襄隋軍的退路，後果不堪設想。
此戰對隋軍來說利在速戰，李元吉在西城郡有重兵，一旦相持起來，必引兵來援，這仗就難打了。
徐世勣領一軍西進，跟馬元規的兵力差不多。但他這七千兵卻是如拳頭一般握緊的七千兵，非馬元規分散各縣的七千人馬可比。
於是徐世勣引兵急進，連破數縣, 從側面包圍南鄉（今河南省淅川縣西南）城。
馬元規不敵，只得選擇退守城中。
徐世勣眼看唐軍堅守, 便不斷地派出騎兵搦戰唐軍。馬元規雖然主守，但又屢屢抵不住隋軍，連敗兩陣，傷亡不少。
面對這種局勢，吃了大虧的馬元規再不敢動。
於是雙方在南鄉城下成了隋軍最擔心的相持局面。
南鄉城並不是一座堅城，所以不少部下勸徐世勣日夜攻城，趕在唐軍援軍到來前破城，但這卻為徐世勣拒絕。