在回杭州之前，沈默已經寫信給胡宗憲，向他道明此中的情況，說現在人多了，自己不宜再住您的別墅了。
胡宗憲收到信，笑罵一聲道：“這個沈拙言，分明是還想賴著不走。”這當然是說笑，對於沈默能聚攏到這些俊彥，胡宗憲還是十分開心的，更何況這些人裡還有他早就想招徠的徐渭、諸大綬等人，便立即回通道：‘你就別搬了，反正那裡環境好，房間多，正好作文會。我閒暇時還可以過去，洗涮一下俗氣。’又命人將撥給沈默的補助，提高到每月五百兩白銀，以供養士之資。
至少現在這個階段，胡宗憲還是把沈默當成他的人。
客船一到了杭州城，便有五輛馬車、一百多巡撫衙門的兵丁在碼頭等候，一個帶隊的千戶率眾人向沈默行禮道：“大人，末將胡中丞屬下千戶胡全，奉命聽從大人調遣。”
這下把沈默弄得……老有面子了，笑眯眯道：“快起來吧，胡中丞太客氣了。”笑完了覺著自己太官僚了，便微笑道“留兩輛車就行了，其餘的都回去吧，不要勞師動眾。”
那胡全卻高聲道：“來前胡中丞有交代，說大人與眾位相公都是大才，還是排場些，以旌揚朝廷對讀書人的優渥，讓杭州人能多出幾個讀書人。”
都這樣說了，眾人也不好推辭，便上車往西溪去了。
徐渭與沈默一輛馬車，待關上車門後，沈默小聲問他：“怎麼樣，方才感覺震撼吧？”
“特官僚。”徐渭翻翻白眼道：“何必呢？咱們花二百文錢，就能僱一輛大馬車，把咱們都拉過去。”
沈默本來想教育他好好學習，將來才能擺譜，誰知徐渭一點都不羨慕。沈默只好乾笑道：“說別的都是虛的，你老可千萬別再像科考時那般作文了。”
“那不挺好嗎？”徐渭嘿嘿笑道：“第二啊，多少年沒考過的好名次了。”
“提學大人與我單獨談過話，講到你那篇文章時，說他竟讀了三遍才品出滋味，你說你這是何苦呢？”沈默正色道：“若不是你徐渭的大名如雷貫耳，他能有耐心再看一遍嗎，早就判你不合格了。”說著嘆口氣道：“等到了鄉試，試卷糊名，專人謄寫，誰知道你是哪位？誰又有耐心，把看不懂的卷子看三遍？”
徐渭若有所思道：“怪不得老是中不了，原來是我的水平太高了。”
沈默鬱悶的快要撞牆，索姓閉目養神，不再理他。
卻聽徐渭訕訕道：“好啦，我知道了。”說著很動感情道：“我知道你是為我好，其實你不用擔心，我已經受夠了這種三年一次的折磨，不想再來一次了。”
“那就好好準備。”沈默這才睜開眼睛，沒好氣道：“把水平降到別人能一下就理解的層次。”
“知道了。”徐渭呵呵笑道：“這回我全聽你的。”
到了西溪的別墅，沈默便安排他們六個住下，自己則帶著許多土特產，往梅墅走去。大家都以為他是去打點人情，卻想不到是去孝敬老岳父。
殷老爺見他還知道給自己帶東西，心裡很高興；聽說沈默又考了案首，便更加高興，拉著他吃飯聊天，一點芥蒂都沒有了。甚至於中途殷小姐回來，他乾脆沒再讓閨女迴避，三人破天荒的同桌吃飯，卻讓一對小情人著實竊喜了一把。
但優待也僅止於此，在殷老爺的虎視眈眈下，兩人沒有找到獨處的機會，只好偷偷眉目傳情，以解相思之苦。後來還是用暗語約定了幽會的曰期，沈默才算罷休。
等他回到住處時，已經月上中天了。在院中卻聽到大廳裡一片熱鬧，卻是初來乍到的六位十分興奮，正圍坐成一圈，喝茶吃果高談闊論，不時爆發出陣陣大笑。
沈默進去，眾人起身相迎，他擺擺手，一邊坐下一邊笑道：“談什麼呢，這麼開心？”
孫鋌擦擦淚，笑道：“方才幾位仁兄在講他們鄉試落榜的經歷。”吳兌也笑道：“實在是有趣的緊，活該的緊。”他也落榜過，所以這樣說並不過分。