李顯繼位後稱武則天為“皇天后”，他發現自己並沒有因為做了皇帝，境遇就有所改變。相反，他的處境更加危險了。
李顯並不是沒想過與母親和平共處，但他的身份和地位決定著這種想法不現實，他做了皇帝勢必就擋了母親的路。兩個哥哥先後被廢，姨母表姐陸續死於非命，這讓李顯有了深刻的危機感，他雖然是皇帝，但母親能隨時決定自己的生死。所以，在母親面前李顯戰戰兢兢，不敢動作。
直到“那件事情”發生後，李顯全家被流放，高處不勝寒的窘境才暫時告以段落。
“還有嗎？”李顯接著又問。
“其二，以您做英王時所展現出的才能來看，根本不會做出如此簡單幼稚的事情，這隻能說明您為了自保不惜自汙名聲，可惜天下沒一個人能真正理解您的一片苦心！”
很多人都認為，李顯在武則天親生的四位皇子中是最窩囊的一個。論才沒才，論貌沒貌，既無李弘的仁孝廉謹、嫉惡如仇，又無李賢的才學出眾、辦事利落，更不像李旦在大臣中有極好的人緣。
難道是李顯做了皇帝有些忘乎所以，非給他岳父韋玄貞官升侍中不可。當裴炎以為這樣做有違朝廷先例，對他勸諫時，他卻隨口道：“就是把天下給了我岳父，也沒有什麼不可以。”
李顯這話讓武則天找到了藉口，於是一個巴掌把他由皇座上打下來，廢為廬陵王，流放到房州。
其實，李顯早就看出來了，就是不說“把天下給了我岳父”那句渾話，他在皇位上也坐不長久。母親總會找碴兒最終廢掉他的。龍椅只能坐一個人，要下來的只能是他，坐在皇位上的必須是武則天，這才是事情的本質。
與其被母親拿下，李顯不如以退為進，自己將把柄送。
果不出李顯所料，武則天后來做了皇帝。遠在房州的李顯識趣的奏表遙賀，這讓武則天很滿意。李顯一家的生活因此大為改觀，首先是聖神皇帝冊封已廢為庶人的李重潤為廬陵王世子，制書由使者專程送至房州，這算是給了李顯一線生機，讓他暗自鬆了口氣！
京中隔三差五便有封賞送來，知州知縣見此也不敢再過分刁難。打這以後，往日的那般難忍的貧寒也就不再了。
正因為李顯表現的庸庸碌碌，所以他活到了現在。李氏家族中人在這十幾年，死的死亡的亡。他們的命運比李顯悲慘多了，不管怎麼說李顯也算因禍而得福了。
說真格的，當皇上有什麼意思？有什麼好處？別說兩個親哥哥死得慘，就是四弟李旦，名為皇嗣卻被幽禁在東宮，其實過得還不如李顯呢！
“當初我這麼做，的確是有讓母親把我廢了的意思！”說到這裡，李顯嘆了口氣道，“其實還有另外一層僥倖心思在裡面，當時若有人支援我或許許就是另一種局面了！”
盧小閒眉頭一挑：“您是指裴炎？”
李顯點點頭：“沒錯！”
高宗臨終前遺詔命裴炎與兩位侍郎劉奇賢、郭正一為顧命大臣以輔佐李顯登基。李顯繼位後，裴炎作為舉朝唯一的“顧命宰相”權高位重。
按慣例，一般是在門下省闢政事堂以供宰相們議事，太宗時代赫赫有名的宰相司空長孫無忌、僕射房玄齡和太子太師魏徵等，都是屈尊到門下省來的。裴炎任宰相後直至任侍中時自然也是在這裡議事的，但李顯即位後改任他為中書令，政事堂就被遷到了中書省，這既為了裴炎的方便，更為了表示對他的尊崇。
儘管李顯極力想拉攏裴炎，但裴炎卻幹了件令人匪夷所思的事。
高宗在遺詔中留了“軍國大事有不決者，兼取天后之進止”，意思很明顯，不是全權委託武則天臨朝管理國事，而是在有特別重要同時皇帝與大臣們又“不決”的“軍國大事”時才能“兼取”她的決定。然而，裴炎卻在高宗死後第三天、太子在靈柩前即位後第二天上奏，說是嗣君尚未正式受冊封為皇帝，也未聽政，不宜“發令宣敕”，所以建議“宣太后令於門下施行”：即一切政令都要以太后武則天令的形式釋出。
大唐本沒有這樣的先例，藉著裴炎的這個建言，武則天就順理成章地取得了國事的處分權。
裴炎之所以這麼做，或許沒有取皇權而代之的意思，但肯定想最大限度地影響皇權，以實現自己經世治國的理想。李顯即位時已成年，作為臣子想要完全影響他不容易，所以裴炎想增加太后的權力以制衡皇帝，從而為己所用。
在這種情況下，李顯故意說那樣一番話，也是對裴炎的一種試探。
聰明、智慧如裴炎者，不會聽不出李顯只是一時衝動說了氣話，當不得真，他卻積極主動地參加了廢帝的行動，顯然他認為李顯難以制約，不如趁早廢掉，換一個更能受自己影響的新皇帝，同時也能使武則天感恩於自己。
自以為是的裴炎當然不會想到，正是因為他的這一舉動使武則天掌權的地位更加穩固，併為李唐皇室埋下了禍根。