605年，剛遷都洛陽的楊廣又率領文武大臣、後宮嬪妃要到江都遊玩，於是又大肆徵調民夫，最過分的是他一艘船竟要一千多縴夫拉，而這一次出動船隻有兩千多艘，同時還命令船隻所過之處，運河兩岸五百里內百姓預繳三年賦稅，供他花銷。
此令一出，天下譁然。
宰相高熲上本道：“陛下初登大寶，應當體恤下民，這樣無休止的徵調民力，於國無益，稍不注意，就有可能有傾國之危。”
這高熲本就因為當初支援廢太子楊勇而被楊廣記恨，而今又無端職責自己，楊廣大怒，於是先罷免了高熲，後面又秘密處死了高熲。
高不二在杭州，親眼目睹了勞役的繁重，才明白為什麼楊廣在位十幾年基本上每天都有叛亂的原因所在，你讓老百姓都活不下去了，不造你的反那不見鬼了。
606年楊廣在江都遊玩了大半年後，於607年返回了洛陽，沒過一段時間，為了威懾突厥，楊廣準備在榆林舉行一次盛大閱兵，但是又怕突厥打來，於是又徵調一百多萬民夫，在榆林以北構築了一道長城。
自楊廣登基之後，賦稅一年重於一年，民夫徵調從來沒有停止過。
正當楊廣折騰不息之時，高不二已命令張仲平秘密前往張掖，開始煉軍大計，久居杭州的高不二在楊廣遊歷江都時，曾多次被楊廣召見，在高不二又給他上繳兩成琉璃收入之後，楊廣很大方的封高不二為空頭楚國公。
高不二無語至極，這丫子毛，江都距離杭州近在咫尺，他可不相信楊廣不知道自己在造船，但是他問都沒問，只要錢。他曾一度認為楊廣就是一個拆家二哈，能在位十多年，應該感謝他老子家業打的基礎好，不然實在是經不起他這敗家小能手禍禍。
正在天下如火如荼之時，高不二收到了李淵來信，原來不久前，楊廣又任命他做了滎陽太守，記得高不二曾言想到河南遊歷，因此一到任，李淵就寫信邀請高不二到滎陽一敘。
收到李淵來信，高不二當即準備動身。
蕭玉梅問道：“夫君何故要去滎陽？”
其實無他，高不二穿越前，家就在新鄭，他之所以想到河南遊歷，一是看看故鄉如今如何了，第二個就是看看瓦崗地形，雖然這些年他也讓自家商隊為他收集了不少山川地理圖，但是總歸要實地看看才能放心，而今天下地形與後世相差甚大。
為了不讓二位夫人擔心，高不二道：“我就想去看看中嶽嵩山，以及去北少林去看看，二位夫人可有意通往？”
見高不二心意已決，二女自然欣然同往，在這個年代，夫唱婦隨那絕對是無人說閒話，後世什麼離不開男人的風涼話，在現在絕對沒市場。
來到滎陽，李淵出城迎接高不二，接風過後，李淵請高不二到書房一敘，待兩人坐定，李淵道：“賢弟，剛才席間人多嘴雜，邀請賢弟此來，一方面是為了替賢弟完成遊歷河南願望，另一方面想問計於賢弟。”
“大哥但說無妨。”
“而今陛下自繼位之初至今，不體恤民情，橫徵暴斂無算，沒完沒了的徵調民夫，已造成多地土地荒蕪，如此下去天下將動盪不寧，不知賢弟對這天下局勢有何看法？”
“既然大哥相問，兄弟就直言了。”
李淵點點頭：“賢弟請講。”
“而今賦稅一高再高，民力疲敝，不是聖明天子之召，如不改觀，怕是天下群雄並起之日不遠，大哥要早做打算啊，如果天下一旦煙塵四起，沒有保命手段，到時可是會後悔莫及。”
“賢弟所言甚是，但是為兄一家受當今陛下恩惠頗多，實在是生不起反心，即使造反，為兄也心無餘力啊。”
我信你個鬼，你這貨也不是個好鳥，老早都想造反，還推脫是被你二兒子逼迫造 反，難怪你家老二要收拾你。高不二心裡如是想，但嘴裡卻道：“大哥不必擔心，而今建成已可獨當一面，不若你把他留在太原，以太原為大本營，招兵買馬以圖後勢，對外就稱防禦突厥，錢糧問題有小弟在，不老大哥掛懷。”
聞言，李淵哈哈大笑道：“就等賢弟這句話呢，你放心，他日為兄坐的天下必與賢弟共享。”
高不二連忙拒絕道：“大哥言重了，小弟胸無大志，也受不得操勞，只盼他日大哥得到天下，封兄弟一個閒散王侯，富貴一生，兄弟也就滿足了。”
李淵點頭應允，繼續道：“昨日陛下來了旨意，要讓世民入宮為官。”
“這怕是要讓世民去做人質吧。”
“賢弟所言甚是，本就是如此。”
“那大哥怎麼考慮的？”
“為了大計，為兄已與你嫂嫂商量好了，這就準備送世民進京。”
“既如此，讓世民跟著我吧，我親自送世民進京。路上也好教世民一些保命手段，都是好孩子，損失不起。”
李淵一家大禮拜謝高不二，要知道，高不二如今可是楊廣身邊的紅人，他親自去送李世民進京，這本身就是一個護身符。