嚴孝武佔領遼州，此時北面太原郡已下，新設的樂平郡府也來接收遼山縣。他乃引兵向西，進攻臨汾要道。
而此時張文遠也率軍佔領了西河郡，穿過雀鼠谷，南下臨汾。
李淵佔領西河郡之後，便將之改為浩州，以劉瞻為浩州刺史。浩州和南面臨汾郡境內的雀鼠谷，被李淵視為晉陽之後，第二道防線。
為阻擋隋軍，李淵做足了準備。在他計劃中，唐軍晉陽城擋住隋軍三個月到半年，浩州便能做好準備，然後在雀鼠谷天險再擋隋軍三個月到半年。等到隋軍突破這兩道防線後，已經是半年以後的事情，他在關中已經站穩了腳跟。
可惜晉陽失守，一切都成了空。
張文遠南下之後，集中騎兵，直往介休而出。
而此時劉瞻尚不清楚晉陽已經失守的訊息。
張文遠南下，為了調動西河的唐軍，又利用李元吉丟下的符印，給劉瞻去信，言“隋軍正猛攻晉陽，雙方激戰數場，晉陽兵少，請劉瞻務必盡起全郡兵馬，北上支援。”
劉瞻得信之後，便整點兵馬北上。
這時功曹靳權便勸道：“昔日唐公有言，使君當緊守浩州，今隰城梁德所部尚未消滅，浩州本就兵力不足。若使君盡點兵北上，只恐浩州防禦薄弱，為盜匪所趁。”
劉瞻卻是不以為然道：“浩州怎麼能和晉陽相比。只要晉陽保守，我大唐便穩如泰山，就是丟了個浩州，也能頃刻克復。可若是晉陽失守，則浩州將暴露在隋軍兵鋒之下，必不能保。”
劉瞻沒說的還有，求救的李元吉是唐公的兒子，若李元吉出了事，他就是守住浩州，也沒什麼功勞，反而唐公所忌恨。
豈不聞昔日劉封不救關羽的下場。
於是劉瞻不顧靳權的勸告，點兵北上。
劉瞻走到張難堡（今山西省平遙縣西南），與右屯衛軍楊義琰所部相遇。張文遠也沒想到劉瞻竟然主力盡出，而且速度還這麼快，此次楊義琰麾下只有一營騎兵，主要目的是前驅設伏的。
雙方猝然相遇，立刻展開激戰。
雖然劉瞻手中有三四千人馬，但楊義琰麾下盡是騎兵。戰鬥一開始，隋軍騎兵便直插唐軍中軍。
楊義琰是隋軍之中少有的猛將，帶著騎兵，一往無前地突擊，很快便撕破唐軍陣型。
劉瞻穩不住隊伍，很快軍隊崩潰。
劉瞻也跟著亂軍一路逃回介休。
浩州兵遭此一敗，膽戰心驚，士氣全無。劉瞻也心中震惶，實在沒料到隋軍戰力這麼強撼。
不過劉瞻並不準備投降。劉瞻是李淵晉陽起兵的元叢，曾擔任大將軍府諮議參軍事，自是死忠於李唐政權。
劉瞻本身征戰水平不高，偏向於文官，但還是比較擅長守備的。更何況他這些日子一直在加固城防，徵召士兵。
此次逃回浩州後，劉瞻便徵調全城百姓，守禦浩州。
張文遠兵臨城下，派遣使者入城勸降，劉瞻斬殺使者，誓與隋軍死戰。
不過劉瞻準備死戰，但旁人卻並不這麼想。