張文遠率部向西，前往蒲坂，而在此之前，圍攻蒲坂城的獨孤懷恩突然從蒲坂撤退，並退回河西蒲津關。
獨孤懷恩在呂紹宗兵敗銀冶時便知恐不敵隋軍，於是連夜撤退，避免了全軍覆沒的危險。
三月二日，被包圍數月的蒲坂城終於解圍。
自屈突通離開蒲坂，堯君素在城中幾乎陷入絕境。蒲坂城內，只有四五千人馬，由堯君素統帥。而主力軍隊，盡被屈突通帶往了潼關。
屈突通離開後，唐軍便圍著城池猛攻。
只是城池堅固，唐軍始終沒有攻下。
後來獨孤懷恩調來堯君素的好友陳政前來勸降。陳政是太府卿陳茂的兒子，擔任兵曹承務郎，深得楊廣的讚許，對其頗為很看重他。長安城破後，陳政投降李淵。
陳政來到城下，見到堯君素，訴說長安陷落的訊息。堯君素聞訊之後，哽咽流淚，悲傷得不能自控，身邊的人也都跟著哽咽起來。
陳政也流下淚沾溼了衣襟，並趁機勸說道：“君素，吾軍已敗，義旗所指，莫不響應。事勢如此，卿當早降，以取富貴。”
堯君素朗聲答道：“陳政，汝為隋臣，天子命你在關中輔佐代王，汝奈何不思報效，以至於此。今汝麾下所騎，尚是代王所賜，汝有何面目在這裡大放厥詞。”
陳政辯解道：“君素，我力屈而來。”
堯君素乃回道：“吾堯君素方今力猶未屈，何用多言。”
陳政大慚，於是退下。
之後李淵又派遣了多人前來勸降，更是直言，只要堯君素投降，官升三級，封國公，但堯君素皆不為所動。
堯君素的妻子在長安，李淵又派其妻子前來勸降。
其妻言道：大隋已經滅亡，你何苦要自取禍害？”
堯君素心中大痛，強忍著悲傷說道：“天下的事情不是女人所能知道的。”於是拉開弓射向他的妻子，他的妻子中箭而倒。
眾人皆驚，再無人敢勸。
唐軍日夜攻城，小小的蒲坂城承受了巨大的傷亡。此時蒲坂城斷絕了與外的訊息，堯君素於是造了一隻木鵝，把奏章放在木鵝的脖頸中，在奏章中他詳細地分析了情勢，然後把木鵝漂浮在黃河上，讓它順流而下。
雖然堯君素也不抱太大希望，但有萬一呢。
其實堯君素也知道這一仗希望不大，但他作為隋臣，必是要盡忠死節的。
“吾是藩邸舊臣，累蒙獎擢，至於大義，不得不死。今谷支數年，食盡此谷，足知天下之事。必若隋室傾敗，天命有歸，吾當斷頭以付諸君也。”
諸將聞之，莫不唏噓。
堯君素為了守禦城池用盡了心力，等到張文遠抵達蒲坂城之後，再見堯君素，只見堯君素面容枯槁，頭髮灰白，竟然足足老了十多歲。
見到張文遠，堯君素如久旱逢甘霖一般，失聲痛哭，高興的像個孩子。