劉詢頗為遺憾，他在用劉賀故吏王吉、龔遂時毫不擔心，但對杜延年，多少有點膈應。雖然杜延年之子杜佗與他是好友，但杜幼公本人態度曖昧，若能在朝中留到倒霍之際，和丙吉一樣明確站隊，插霍氏一刀就好了，你提前跑了算幾個意思？是要學伯夷叔齊，不食周粟麼？
這點讓劉詢有些生氣。
而且現在召回杜延年加以重用的話，等到來年，“竟寧”的真正用意暴露時，杜延年恐將成為朝中清流領袖，以其能力和威望，連西安侯任弘也不得不正視。
雖然異論相攪是好事，但劉詢可不想戰爭的節骨眼上，再開一次鹽鐵之議。
但若不召也說不過去，於是劉詢略加思索，露出了笑。
“倘若有杜延年和與趙充國、道遠合力操辦此事，何愁匈奴不滅？”
數日後，建章宮中，一道詔令下達，讓魏相、蕭望之等人面面相覷，真是啞巴吃黃連，有苦說不出。
“復召建平候杜延年，拜為西河郡太守！”
……
和魏相等人期盼的相反，也和劉詢設想杜延年“以退為進”不同，杜延年一點重新出仕的心思都沒有。
他年已近六旬，就想好好在家修律著述，讓家學能傳承於世，他父親修了《大杜律》，他貢獻《小杜律》，也算一是美談了。
當長安詔書抵達時，杜延年推辭了第一次，但皇帝似乎是鐵了心要他動身，當第二次詔令下達強徵時，是杜延年的中子，在朝中做奉車都尉的杜佗來傳。
杜延年的小兒子，有一隻眼睛目盲但生性聰慧的杜欽也勸他道：”父親倘若再不出仕，陛下或會以為你是對當朝不滿，懷念大將軍時了！“
他確實很懷念啊，倒不是說今上和西安侯之政不好，只是……
杜延年心中暗歎：“我忘不了大將軍之恩。”
再推辭下去確實要惹怒天子了，對宗族不利，杜延年只好不情不願地應徵，接過太守冠帶和印綬，只帶了幾個僕從，離開了南陽老家，前往西河郡赴任。
這一路可不容易，西河郡位於幷州刺史部，橫跨後世陝北、鄂爾多斯、晉西北，本是秦朝的“新秦中“一部分，楚漢時為冒頓單于所奪，置婁煩王，河南之戰後，漢武帝元朔四年（公元前125年）分上郡北部和太原郡西部，置西河郡。
戶十三萬，口六十萬，縣三十六，比上不足比下有餘，最關鍵的是，從長安沿著秦直道往北，經上郡過西河，可以通往朔方、五原、雲中、定襄、雁門、太原諸郡，是當仁不讓的“八郡通衢”。
杜延年在元霆年時，曾往返於西河朔方，迎劉詢南下繼位，對這裡可不陌生，此地在後世乾旱無比，到處都是光禿禿的黃土高塬，眼下卻是沃野千里，谷稼殷積，牛馬銜尾，群羊塞道，從各縣的名字就能看出來富庶程度：“美稷、廣田、谷羅、饒、富昌。”都是好地方呀。
元朔年後，西河郡成了漢朝歷次對外用兵的後勤基地。
雖然皇帝定了”竟寧“之稱，但杜延年卻隱隱覺得，有任弘在朝，傅介子等用事，絕不會就此作罷，皇帝也態度曖昧，這項任命就透著不尋常。
但杜延年也無所謂了，他仕途之心已冷，最好的年華和才幹，都獻給了將軍，曾登上二府御史大夫之位，如今再來做郡守，只感覺索然無味。
抵達西河後，杜延年既沒有殺雞儆猴立下馬威，也沒有勤勉勞碌希望做出政績升遷入朝，只言：“孝武之世，徵發煩數，今聖天子在位，當無為而治。”
然而就學起當年的曹參，自己整天痛飲美酒，跟他來的兒子和慕名來投的故吏見杜延年不理政事，想有言相勸，卻被杜延年邀約一起痛飲。
西河郡的這般光景，自然被幷州刺史報了回去，劉詢不太高興，覺得杜延年這是在蔑視天子，治郡不進，遂以璽書斥責。
不過在璽書抵達前，杜延年就迎來了一位訪客，卻是以右將軍身份，帶著西園八校中四校以及四萬戍卒，前往朔方郡戍守練兵的趙充國。
“幼公莫非是以二府之職復徙為郡守，而對天子不滿？”趙充國有些擔心杜延年。
杜延年道：“僕只想在家著書立說，清淨了事，就算陛下請我去代替丙吉做丞相都不願，又豈會在乎此事？”
共事多年，趙充國太瞭解他了：“幼公看似最為淡薄，實則最重故情。”
“我知道幼公是忘不了大將軍，只是，難道你還要一臣不侍二主麼？”