與裴矩分別之後，黃明遠立刻返回自己的居所。仁壽宮之中因為考慮會有隨駕大臣，特意隔出來一批外院以備朝臣使用。
黃明遠雖非宰相，但身為上柱國、國公，也是大隋排的上號的人物，因此也有一座屬於自己的小院。院中住了黃明遠並雄闊海等二十餘人，黃明遠為求密閉，盡遣其中侍者，而由紅拂女負責黃明遠等人的起居。
這一次楊廣前來仁壽宮，將自己的保衛工作全部交給黃明遠，其所帶的二百名侍衛也由黃明遠全權指揮。
不過這仍不夠。
天子的護衛，一般由左、右領左右府負責，每府置大將軍一人，將軍二人，領千牛備身、備身左右各十二人，備身六十人，其基本職能是“掌侍衛左右，供御兵帳”，在禁衛武官制度中處於關鍵地位。而楊堅後來又在開皇十九年，析出一部分設定左、右備身府，作為其御前護衛。其中左右衛府下設內軍，分別為為左、右親﹑勳﹑翊三衛共六軍。不過內軍雖然名義上也是天子護衛，但是其主要目的是為了安置大批的功臣後人，有些類似於清朝的一等侍衛、二等侍衛一樣，品級雖高，但多為虛職，並不實際承擔天子的護衛作用。
自慜太子之亂之後，楊堅有感於身邊護衛的不足，將左、右備身府擴充為數千人的軍隊，更將負責天子護衛的備身將軍增設為四人，以確保天子身邊有足夠的護衛力量。
此時的備身將軍分別是崔彭、楊安、田元三人，尚有一人空缺。此三人中皆是楊堅的心腹，對其忠心無二。
除此之外，仁壽宮還有隨同禁軍衛士上萬人之多，分屬十二衛府。每一府有近千人之多。
黃明遠之前算計，若是柳述真的要發動宮變，至少要有足夠的兵力在手，最有可能的，便是這備身府和十二衛府禁軍之中的某一部或幾部。黃明遠所屬的左武衛府作為十二衛府之一，在此也有上千人的禁衛。
不過黃明遠沒有直接接觸這一部禁軍。此部是在黃明遠返回長安之前來到仁壽宮的，而且在御前輪值的禁軍並不歸原單位管轄，黃明遠若是過於在意這支軍隊，反而會引人注目。
黃明遠回到院中，早就有紅拂打了一盆涼水，給黃明遠去去暑氣。雖然仁壽宮清涼，但正值酷熱的六七月間，黃明遠還是出了一身汗。
用過晚飯，黃明遠便一直在等天黑，到了二更時分，黃明遠換了一身黑色斗篷，偷偷前往左武衛府的軍營。
此時夜深人靜，黃明遠一人潛行於暗夜之中，秘密相見其部左武衛統帥左二車騎將軍堯君素。
堯君素是楊廣侍衛出身，後來被放到左武衛擔任車騎將軍，正巧這一次跟隨楊堅前來仁壽宮，算是給黃明遠增添了一支信得過的部隊。
堯君素為人忠誠，又與楊廣關係親近，這個關鍵階段，黃明遠能信任的人不多，但堯君素絕對是其中一個。
堯君素也沒料到黃明遠會秘密潛入其軍營，吃了一驚。不過他明白黃明遠此時冒著這麼大的風險前來見他，事必有異，因此馬上命心腹守住房門四周，一個人引黃明遠入內。
“見過遠郎君，遠郎君何來於此？”
黃明遠當年在揚州的時候，堯君素便稱呼黃明遠為遠郎君，這麼多年，一直未變，甚是親切。
二人多時不見，黃明遠親切地拍著堯君素的肩膀說道：“多是不見純仁，甚是想念。”
“遠郎君，可是儲君有令？”
黃明遠乃說道：“純仁，實不相瞞，今日我冒險來你處，便是奉儲君之命來問你一聲？堯君素現在，還是儲君之心腹嗎？”