隨楊玄感進關中的所有人都封賞官職，惟獨謝思禮依然是幕僚的身份，沒有一官半職，而且已漸漸被排擠出決策圈，楊玄感基本上不再聽他的建議，這兩天楊玄感處於一種山窮水盡之時，謝思禮的求見便讓他想起當初獻計拿下關中之事。
“讓他進來！”
片刻，謝思禮走了進來，躬身向楊玄感施一禮，“參見楚公！”
“謝先生有什麼事要見我？”
楊玄感儘量保持一種客氣的態度，這時，楊玄感長子楊峻也出現了，他就在隔壁替父親整理文書，聽說謝思禮到來，楊峻心中生出了警惕之心，他沒有說什麼，在一個角落裡坐下，就彷彿一個監視之人，令謝思禮實在是不舒服。
他忍住心中對楊峻的厭惡，對楊玄感道：“卑職今天去拜訪了韋霽，想請他出山協助楚公。”
韋霽是韋氏家主，隋朝太常寺卿，他留在長安輔佐代王楊侑，長安城破後，韋霽便隱居在韋府中，楊玄感多次上門拜見，他都避而不見，楊玄感聽說謝思禮竟然見到了韋霽，頓時精神一振，若關隴士族領袖的韋氏家族肯支援自己，那麼必然會影響其他關隴士族也支援自己，局勢未必不能扭轉。
“他怎麼說？”楊玄感急切問道。
旁邊楊峻撇了撇嘴，他無法理解父親為何還會興奮？父親幾次登門拜訪韋家都不見，謝思禮登門韋家便接見了，這不就是一種對父親的變相羞辱嗎？但楊峻沒有吭聲，他也想聽一聽謝思禮拜訪韋家的結果如何。
謝思禮欠身道：“韋閣老說，如果他出來接受官職也可以，但他有一個條件。”
“他有井麼條件？”
“韋閣老認為楊家子弟佔據了太多的要職，他希望楚公至少削減六成以上，他說……”
“夠了！”
楊玄感一聲呵斥，面沉如水，韋霽不過是一個普通高官罷了從前在朝中地位還不如自己，又不是高熲、蘇威這樣的泰山北斗，不過是仗一個名望家族，竟然要自己削減六成楊氏子弟他有什麼資格提這樣的要求？此人不用也罷！
楊玄感心中極為惱火，便冷冷對謝思禮道：“以後沒有我的許可，不準擅自去拜訪這些名門世家，去吧！這件事到此為止。”
謝思禮心中嘆息，他是想借韋家之口來指出楊玄感最大的弊端和問題所在，楊玄感太倚重家族子弟，楊氏子弟幾乎把持了所有關中郡縣以及朝中要職，才引起關隴各大世家的極大反感沒有一家願意為楊玄感效力如果這些楊氏子弟都很優秀也就罷了偏偏大多數都是愚蠢貪婪之輩，拼命收刮民眾，令民怨沸騰。
“如果楊玄感再不知返，他就會毀在家族的手中！，這是韋霽給他說的原話。
但楊玄感的固執和對自己的不信任，使謝思禮有些絕望了，儘管他是奉命來輔佐楊玄感，但他在楊玄感身上也下了極大的心血，楊玄感所創的基業也有他的一份功勞他不希娶楊玄感敗落，也不希望李淵奪走這份基業。
他長嘆一口氣，也不再行禮站起身直接出去了，身後傳來楊玄感對他無禮的不滿，楊玄感重重哼了一聲、
“父親應該看透此人了吧！”
楊峻不失時機地插上了話，“父親三次拜訪韋霽，他都不肯見，而謝思禮去拜訪此人，他居然見了，這不就是在羞辱父親嗎？謝思禮憑什麼面子比父親還大？”
楊玄感心中煩躁，他擺擺手，“我已經不用此人，你也不要再提他，現在已經是四月底了，稅賦收入如何，可以滿足軍費支出嗎？”
目前楊峻出任戶部侍郎，主管關中錢糧收支，而戶部尚書是原上洛郡太守張濟，協助楊玄感東山再起的關鍵人物，張濟出任戶部尚書，但戶部大權實際上掌握在楊峻手中，張濟財權被架空，幾乎成了一個閒職。
不過楊峻曾擔任過多年上黨縣令，後來又出任禮部郎中，他擔任戶部侍郎倒也合格。
他連忙躬身道：“主要是扶風郡被竇氏兄弟控制，另外還有一些戶籍關係沒有理順，所以稅賦收入不理想，孩兒會盡快核准戶籍，父親也要督促各縣徵繳稅糧，尤其不准他們隨意減免大戶的稅賦。”
楊玄感沒有說話了，他知道如果再深究下去，問題就出來了，是誰在隨意減免大戶的稅賦，是各縣縣令，那各縣縣令又是誰？楊家子弟，又繞回了剛才謝思禮的建議。
楊玄感無奈地嘆了口氣，其實他也知道楊家子弟佔據高位要職惹人嫉恨，但他也沒有辦法，若不用楊氏子弟，他還能再相信誰？
謝思禮從府中出來，正好遇到張濟匆匆走來，由於楊玄感官員不足，因此整個朝廷中樞只設尚書省，左右僕射也不要，楊玄感出任尚書令，下設六部尚書，張濟被封為戶部尚書，掌管財權，可實際上財權是掌握在楊玄感兒子楊峻手上，他權力被架空，楊玄感心中有些過意不去，又封他為京兆府聲，掌管長安兩縣治安。
“思禮，楚公在嗎？”張濟問謝思禮道。
“在的，我剛才還見他，張尚書，出什麼事了嗎？”謝思禮見張濟一臉憤慨，便擔心地問道。
“每天都在出大事，如果他再不約束楊家子弟，我就不幹了！”張濟怒氣衝衝道。
又是楊家子弟，謝思禮嘆息一聲，拱拱手，揚長而去。