張柬之的奏議不被採納。不久調他任荊州大都督府長史。
長安年間，武則天問狄仁傑：“從何處能得到一位奇士使用他？”
狄仁傑說“：陛下若求文章、資歷，現宰相李嶠、蘇味道足夠了。難道是文士拘泥小節，不足以共成天下大業嗎？”
武則天說：“是的。”
狄仁傑說：“荊州長史張柬之雖然年老，卻是宰相之才。用他，他必定為國家盡心竭力。”
武則天立即召請張柬之任洛州司馬。
過了一段時間，武則天又求才，狄仁傑說：“臣曾舉薦張柬之，您沒用他。”
武則天說：“提拔他了。”狄仁傑說：“臣舉薦宰相卻任司馬，這不是庸才。”於是張柬之被授官為司刑少卿，遷升秋官侍郎。
其後姚崇出任靈武軍使，即將啟程，武則天詔令舉薦宮外百官中可任宰相的人，姚崇說：“張柬之深沉穩重有謀略，能決斷大事，他已年老，要趕快任用。”
武后當天就召見他，授官同鳳閣鸞臺平章事，晉升鳳閣侍郎。
神龍元年（705年）正月，武則天病得非常嚴重，麟臺監張易之和春官侍郎張昌宗居宮中執政，張柬之、崔玄暐與中臺右丞敬暉、司刑少卿桓彥範以及相王府司馬袁恕己謀劃殺掉張易之和張昌宗。
張柬之問右羽林衛大將軍李多祚說：“將軍今日的榮華富貴，是誰給的？”
李多祚流著眼淚回答說：“是高宗大帝給的。”
張柬之說：“現在大帝的兒子受到張易之和張昌宗這兩個小子的威脅，難道將軍不想報答大帝的恩德嗎！”
李多祚回答說：“只要對國家有利，我一切都聽相公安排，不敢顧及自身以及妻兒的安危。”
於是自己指天發誓，並且與張柬之、崔玄暐等人一同定下了剷除張易之和張昌宗的計謀。
當初，張柬之接替荊州都督府長史鄉人楊元琰的職務，二人一同泛舟於長江之中，當小船漂到江心時，談到了武則天以周代唐的事，楊元琰慷慨激昂，有救助大唐的志向。
張柬之入朝做了宰相後，便推薦楊元琰擔任右羽林將軍，並且提醒他說：“您大概還記得我們當初在江心泛舟時所說的話吧？今天這項任命可不是隨便給您的呀。”
張柬之還任用了桓彥範、敬暉以及右散騎侍郎李湛，都讓他們擔任左、右羽林將軍，把禁軍交給他們指揮。這件事引起了張易之等人的懷疑和憂慮，張柬之於是又任用他的黨羽武攸宜為右羽林大將軍，張易之等人才放了心。
不久，姚崇從靈武回朝，張柬之和桓彥範交談說：“大事就要成功了！”於是把商量好的計謀告訴姚崇。
桓彥範將這事稟告了他的孃親。其孃親勉勵他說：“忠孝不能兩全，應當先為國家大事著想，然後再考慮自家的小事。”
當時太子李顯從北門入宮向武則天問安，桓彥範和敬暉前往拜見，秘密地把他們的計策告訴李顯，李顯允許他們這樣去做。
癸卯（二十二日），張柬之、崔玄暐、桓彥範與左威衛將軍薛思行等人率領左右羽林兵五百餘人來到玄武門，派李多祚、李湛及內直郎、駙馬都尉安陽人王同皎到東宮去迎接李顯。
李顯有所懷疑，沒有出來。
王同皎說：“先帝把皇位傳給殿下，殿下無故遭到幽禁廢黜，皇天后土、士民百姓無不義憤填膺，已經有二十三年了。現在上天誘導人心。北門的羽林諸將與南牙朝臣得以同心協力，立志誅滅兇惡的小人，恢復李氏的江山社稷，希望殿下暫時到玄武門去以滿足大家的期望。”
李顯回答說：“兇惡的小人的確應該翦除，但是天子聖體欠安，你們這樣做能不使天子受驚嗎！請諸位日後再圖此事。”
李諶說：“諸位將帥宰相為了國家不顧身家性命，殿下為什麼非要讓他們面臨鼎鑊的酷刑呢！請殿下親自去制止他們好了。”李顯這才出來。