玄宗東巡泰山封禪，封禪之後有進階行賞之事，張九齡因此提醒張說選擇隨行人員要注意選那些清流高品，以免引起非議。
然而張說選定從行登山的官員，許多是官階較低且己之所親者，果然招致一片怨言。
張說對玄宗所賞識的御史中丞宇文融奏事多壓制不理，張九齡提醒他“不可不備”，張說沒放在心上。
開元十年多次升遷擔任司勳員外郎，當時，張說擔任中書令，他與張九齡同姓，按年齡排序結為宗族兄弟，張說特別親近、看重他，張九齡很高興張說了解自己，所以也願意依傍跟從他。
開元十一年，張九齡被任為中書舍人，開元十三年皇帝東巡，舉行祭祀天地的大禮。
張說親自決定侍從皇帝登山的官員，他多推薦兩省錄事、主書和自己親近的官員代理官職登山，於是對他們特別加以晉級，破格授予他們五品官職。
當初，張說命令張九齡草擬詔書時，張九齡對張說說：
“官爵是天下共用的器物，應該把道德名望高的人排在前面，有功勞的舊臣排在後面。
如果顛倒了順序，指責和批評就會產生，現在登山封禪，廣施恩澤，這是千年—遇的大事。
有名望和品德高尚的人，不能蒙受恩澤，官府中辦理文書的小吏末流卻先被加官晉爵，我只是擔心制度出臺之後，天下各地的人會感到失望。
現在制訂草表的時候，事情還可以更改，只是希望您仔細研究謀劃這件事，不要留下悔恨。”
張說說：
“事情已經定下來，荒唐無據的議論，哪裡值得擔心呢？”
最終張說沒有聽從，等到制度出臺時，朝廷內外的人對張說有很多指責。
當時，御史中丞宇文融剛掌管田戶租稅的事情，每次向皇帝陳奏，張說多建議皇帝不要聽從他，宇文融也因此對張說不滿，張九齡勸張說對宇文融要有所防備，張說又不聽從他的話。
沒過多久，張說果真被宇文融彈劾，罷掉了知政事的官職，張九齡也改為太常少卿，不久調出京師擔任冀州代理刺史。
後改授洪州都督，不久又轉授桂州都督，充嶺南按察使，開元十四年四月，宇文融和李林甫等人彈劾張說，張說被罷相，張九齡也受牽連，張九齡改任太常少卿。
六月，張九齡奉命祭南嶽及南海，就便歸省，是年秋張九齡回京，仍被指為親附張說，調任外官，出為冀州刺史。
張九齡以老母不欲從之任所為由，表請罷官，翌年三月，改任洪州都督。
在洪州任上，張九齡寫了《在郡懷秋》詩二首，表達了時不能用，憂鬱思歸的心情，其一為：
秋風入前林，蕭瑟鳴高枝，寂寞遊子思，寤嘆何人知，臣成名不立，志存歲已馳，五十而無聞，古人深所疵。
平生去外飾，直道如不羈，未得操割效，忽復寒暑移，物情自古然，身退毀亦隨。
悠悠滄江渚，望望白雲涯，路下霜且降，澤中草離披，蘭艾若不分，安用馨香為。
開元十七年，張說又被玄宗拜任尚書左丞相、集賢院學士，開元十八年一病不起，終於病逝。
張說多次推薦張九齡做集賢院學士，開元十八年，張九齡轉任桂州刺史兼嶺南道按察使攝御史中丞。