涼州，在呂布向東逃亡之前，張遼就已經被朝廷授予此職）跟從呂布向東奔逃。在兗州，呂布集團又吸收了陳宮等人，並在此處鏖戰曹操，戰事持久而慘烈。呂布集團曾數次戰勝曹操，一度將曹操打得僅剩1萬餘士兵。後因蝗災大起而各自罷兵。休整之後，曹操擊敗呂布。張遼又隨呂布前往徐州。
建安元年（196年），呂布奪取徐州，自領徐州牧。張遼領職為魯國的國相，時年二十八歲（古代用農曆記錄虛歲。農曆的28歲為公曆的27歲）。
建安三年（198年），呂布的部下奉命用金子購買軍馬，但在途中，金子都被劉備軍隊抄掠走了。張遼雖然與關羽交好，但依然奉命出戰，與中郎將高順一起攻打劉備軍隊。劉備軍向曹操求援，曹操便派遣夏侯惇救援劉備。高順、張遼先是共同擊敗夏侯惇，隨後又共同擊潰劉備。
此前，曹操正在親征張繡。在高順、張遼擊潰劉備之後，曹操停止攻打張繡，轉而東征徐州。呂布親自固守下邳城，被曹軍包圍。
建安三年十二月癸酉（199年2月7日），呂布的嫡系將領侯成、宋憲、魏續三人綁縛陳宮向曹操投降，並開啟城門使得曹操軍隊急速衝入下邳城。然後，曹操使呂布徹底破滅於下邳城中。然後，張遼率領自己的軍隊歸降曹操（同一時期，至少有5篇類似的史書記載可以共同論證，張遼的投降時間晚於呂布的下邳破亡。《資治通鑑》記載，在曹操對下邳城內的投降者們以禮相待之後，張遼率軍投降）。曹操將張遼拜為中郎將，並賜爵關內侯。而張遼的魯國國相的職務則由畢諶來接替。
建安五年（200年），官渡之戰爆發。袁紹首先派兵襲擊白馬。曹操依荀攸之計，親率軍隊救援白馬，張遼與關羽作為前鋒，擊破顏良軍隊。在官渡之戰的數次戰鬥中，張遼數有戰功，遷裨將軍。
同年十月，袁紹主力潰敗後，曹操另派曾經領有魯國的張遼去安定魯國諸縣。這是因為曹操的兗、豫之地在袁紹大舉攻曹之時，有非常多的郡縣投靠了袁紹。
勸降昌豨
動漫遊戲版張遼
動漫遊戲版張遼動漫遊戲版張遼
23
張
動漫遊戲版張遼
建安六年（201年），張遼與夏侯淵同圍昌豨於東海郡，歷經數月，糧秣將盡，眾人商議都認為應該引軍而還。在“眾議還”的氛圍中，唯有張遼看出昌豨有動搖之心，於是向夏侯淵說：“這些天以來，每當我巡視圍城的軍情時，昌豨就兩眼盯著我看。而且，他計程車兵所發射的箭日益稀少，此種跡象必定是因為昌豨心懷猶豫，所以才沒有力戰。我希望能挑試一下他，並與之洽談，倘若可以成功誘使昌豨投降，豈不是更好嗎？”
於是，張遼派遣使者向昌豨傳話：“曹公有命令，讓張遼來對你傳達。”昌豨果然走下來與張遼對話。張遼便說：“曹公神武，正在用他的美德感化四方，先歸附的可以受大賞。”於是昌豨便答應投降。張遼知其肯降，於是隻身上三公山，入昌豨家中，並拜候其家人。昌豨見張遼如此坦誠相對，心中歡喜，便隨之往見曹操。
曹操先遣昌豨返還東海郡。隨後，曹操便責備張遼道：“隻身赴敵巢穴，這不是大將所為。”張遼拜謝了曹操的關懷，又根據當時的形勢，回答道：“憑著明公威信著於四海，我張遼拿著聖旨，昌豨必然不敢害我。所以我才這麼做。”
此次事件，張遼在夏侯淵面前展現了明察秋毫，在昌豨面前展現了剛柔並濟，在曹操面前展現了料敵雄斷。
透過張遼的成功勸降，東海郡在此後保持了長達5年的平靜。此時，黃河以北的袁氏勢力依然強大。直到5年之後，曹操平定了冀州並打垮了袁氏，統治東海郡的昌豨才再次發起叛亂。
從攻袁氏
建安七年（202年），張遼從討袁譚、袁尚於黎陽時，累有功勞，行中堅將軍。
建安八年（203年），曹操攻袁尚於鄴城，袁尚堅壁守壘，曹軍久攻不下。因此曹操採納郭嘉之計讓二袁自行內鬥而先還許都，同時令張遼與樂進攻拔陰安，把當地百姓遷移到黃河以南。
建安九年（204年），張遼再次隨曹操攻打鄴城，這次終於攻破鄴城。張遼奉命別巡趙國、常山，招降了那些靠近太行山邊緣的諸多賊眾及黑山孫輕等。此後，再度隨曹操攻擊袁譚。
建安十年（205年），袁譚敗亡後，張遼受命安撫海濱一帶，徵破遼東軍閥公孫度所置的營州刺史柳毅。又與長廣太守何夔合兵平定了矣平的從錢等人。
建安十一年（206年），曹操上表漢獻帝，對於禁、樂進、張遼表示稱讚：“武力強大，計謀周全，品性忠正，操守高潔，每次征戰，身先士卒，勇猛頑強，無堅不摧；親自擂動戰鼓，忘了疲倦。他們單獨領兵征討，統率全軍，撫慰將士，紀律嚴明，秋毫無犯；臨敵決策，沒有失誤。論功記職，應該給予顯要榮寵。”
收復東萊諸縣後的張遼引軍還鄴城，曹操親自出城迎接，邀請張遼同乘一輛車，並任命張遼為蕩寇將軍。
張遼率軍攻打荊州，平定江夏諸縣，引軍還，屯兵在臨潁縣，受封為都亭侯。
大破烏桓
建安十二年（207年），曹操要征討在柳城的袁尚、袁熙與烏桓。張遼進諫：“許都，是天子所在的地方。現今，天子就在許都，曹公北征甚遠，若劉表派遣劉備攻擊許都，佔據它而號令四方，明公您大勢去矣。”曹操推測劉表必不能任用劉備，於是，大軍出征。
八月，曹操帶領先鋒部隊登上白狼山，突然與敵兵遭遇。敵人的數量很多。當時，曹操軍隊的主力重兵還在後方，尚未到達前線，而曹操身邊只有少量的軍隊。曹軍將士們希望等待後續部隊，並對當前的危險局面都感到恐懼。
在“左右皆懼”的曹軍氛圍中，張遼力排眾議，反對畏敵不前，極力勸說曹操應當趁著胡虜的陣勢不整，立刻進行交戰，而不是等待後援。張遼勸戰時的語氣非常振奮。曹操十分欣賞張遼的雄壯鬥志，又看見烏桓的軍隊尚未排好戰鬥陣形，於是，採納了張遼的建議。曹操親自將自己所持的麾，授予給張遼暫用，下令由張遼指揮先鋒部隊出戰。張遼率軍突擊，大破烏桓軍隊，並臨陣斬殺了以“驍武”著稱的烏桓單于蹋頓。（曹操“自以所持麾授遼”。《淮南子·主術訓》：“軍之持麾者，妄指則亂矣”，說明，“持麾”的作用在於“指”，張遼負責白狼山之戰的臨陣指揮。《魏武軍令》：“麾前則前，麾後則後，麾左則左，麾右則右。不聞令而擅前後左右者斬”，說明，曹軍各部的進攻方向、進攻時機全由張遼決定。以上兩文相結合，說明，因為張遼“持麾”，所以，白狼山之戰的參戰將領都必須接受張遼的指揮，否則，會被依法處斬。因此，《三國志·武帝紀》關於白狼山之戰的記載，只需寫張遼，沒必要寫其他的參戰將領，也沒必要寫“等”字。）此役，雖然敵眾我寡、左右皆懼，並且，“蹋頓又驍武，邊長老皆比之冒頓”，但是，張遼極力主張迅速進攻，終於，其疾如風，虜眾大崩，胡、漢降者二十餘萬。
在白狼山之戰後，張遼開始名聲卓著、脫穎而出。後世也因為白狼山之戰而對張遼多有讚譽。唐朝的昭文館大學士甚至將張遼與衛青、霍去病相提並論，於是有詩句寫在《登長城賦》：“衛青開幕，張遼闢土，校尉嫖姚，將軍捕虜。”（相關釋義：“衛青開幕”是指衛青破匈奴，“張遼闢土”是指張遼破烏桓。“嫖姚”可能是特指曾經在漠南之戰時任票姚校尉的霍去病，也可能是泛指迅捷有力。“虜”是指胡虜。）
智破謀反
建安十三年（208年），當時，荊州尚未安定，人心尚未歸附。曹操在那一年，重新組建了許多軍隊。張遼率領其中一支新組建的軍隊，屯駐於長社。軍隊臨出發之際，軍中忽有謀反者起事騷動，在夜間，驚亂起火，全軍盡受其擾。此時，張遼經過審時度勢，對左右說：“不可亂動。這一定不會是全營盡反，必然是那些製造叛變之人，想藉此騷動去惑亂眾人而已。”於是，張遼傳令軍中，只要不是謀反者就安坐勿動。而張遼則帶領親兵數十人，守立於陣中。情況逐漸穩定下來，不久，在軍中查出並擒獲了製造動亂的首領，並將其肅清殺死，徹底挫敗了軍中夜叛。
以前，軍營內的夜間謀反經常會讓人難辨敵友、逃離求生。曹操曾經遭遇過軍中夜叛，導致曹操四千人的軍隊只剩下五百人。牛輔也曾經遭遇過軍中夜叛，導致牛輔在逃離的途中被叛徒所殺。而這一次，張遼識破謀反之計並轉敗為勝的冷靜表現，成為了遏制軍中夜叛的智略典範，被《通典》評價為：“張遼審計，立擒賊首，亦同料敵之義”[7]。
赤壁之戰時，曹操徙趙儼為都督護軍，督護于禁、張遼、張郃、朱靈、李典、路招、馮楷七軍。
勇者得前
建安十四年（209年），江淮豪強陳蘭、梅成佔據氐（氐，可能是指六安國全部、廬江郡北部、九江郡西部）的六個縣作叛。曹操於是遣于禁、臧霸等去討伐梅成，又遣張遼督領張郃、牛蓋等去討伐陳蘭。當時，于禁的軍隊率先到達，梅成詐降於禁。于禁中計，輕率地回軍。梅成旋即復叛，帶其軍眾投奔陳蘭，二人又率眾轉入灊山自守，佔據了地利。灊山（今為安徽省潛山縣）中有天柱山，高峻約有二十餘裡，道路險狹，陳蘭等眾避於其上，山下進軍難通。張遼意欲進入天柱山追剿敵軍，諸將皆說：“此山道路險惡，我軍兵少，很難可以深入用兵。”張遼卻說：“此所謂一與一，勇者得前耳（只有勇者可以前進）。”於是進至山下安營，起兵上山攻擊，終於斬下陳蘭、梅成首級，盡虜其眾。曹操論諸將功勞，說：“登上天柱山，踏過險峻，成功討取陳蘭、梅成，都是蕩寇將軍張遼的功勞。”於是增其邑，假節。
守衛合肥
建安十八年（213年）正月，從徵孫權，攻濡須。後來，曹軍攻破孫權江西營，擒獲孫權都督公孫陽。曹操望孫權軍，慨嘆孫權軍隊的軍容齊肅，於是撤兵。