看來韓遂看見馬騰入朝後，韓遂自己也想入朝當官作。不想再成為一個曲曲的西北軍閥了。
後來閻行回去後，見到了韓遂。閻行把曹操勸韓遂入朝的話告訴了他。並趁機勸韓遂歸附曹操，並且勸他先派一個兒子入朝作為人質。
而這時的韓遂猶豫不決。向閻行回答道：“暫且再觀望幾年！”後來，想了很長時間的韓遂終於同意派自己的兒子與閻行的父母一起入朝了。
後來建安十五年（210年），韓遂親自率軍，討伐之前殺了雍州刺史邯鄲商而反叛的武威太守張猛。
韓遂親自討伐張猛。並留閻行守衛舊營。
這時，張猛派兵向東抵禦。他手下的官吏百姓因畏懼韓遂。於是他們反而一同攻伐張猛。張猛此時看到局勢緊張。於是張猛登上了城樓。自焚而死。
建安十六年（211年）三月，曹操派出了鍾繇與夏侯淵共同征討漢中的張魯。
事情是這樣的，曹操先讓鍾繇去討伐張魯。並讓夏侯淵等率軍出河東與鍾繇合兵。
而就在這時，馬超和韓遂等人心中生疑。韓遂並與馬超，侯選，程銀，楊秋，李堪，張衡，梁興，成宜，馬玩共九部人馬意圖反叛。並一起起兵反曹。
這九部人馬共同推舉韓遂為都督。
而這時韓遂剛討平張猛勝利回師。馬超便勸韓遂一同起兵。
看來反叛這事是馬超想出來的鬼點子。
閻行在知道反叛這件事情後，立馬勸諫韓遂。不想讓他與馬超聯合。可是韓遂不聽閻行的勸諫。閻行很無奈地走了。
於是，韓遂帶領的大軍，向東到達華陰。韓遂帶領的大軍，號稱十萬大軍，進軍駐紮在潼關。
七月，曹操率大軍西征。與韓遂，馬超聯軍夾關對峙。
於是，曹操與韓遂，馬超聯軍。潼關之戰爆發。
最後，潼關之戰。曹操依照賈詡的計策成功離間了韓遂，馬超，結果聯軍大敗。馬超逃到了漢中張魯那兒。韓遂則是逃到了涼州。
建安十七年（212年）五月，曹操殺光了韓遂留在都城做人質的子孫。
後來，曹操還親自寫信給閻行。信上說，閻行的父親正被關押著。並威脅閻行是否跟韓遂等叛軍聯絡。
而遠在涼州的韓遂聽說閻行的父親還活著。韓遂想讓他的父親一同遇害。這樣才能讓閻行堅定意志串通韓遂等人。
於是韓遂強行把自己的小女兒嫁給了閻行，閻行不得已才娶了韓遂的女兒。而這時曹操果然懷疑上閻行了。
建安十八年（213年）正月。韓遂因為夏侯淵有爭地的問題。韓遂與夏侯淵開戰了。後來夏侯淵大破韓遂軍。韓遂敗走。
建安十九年（214年）。遠在西北的韓遂。命令閻行別領朝廷上受封給閻行的西平郡。結果閻行不幹了。他倒戈韓遂。切斷一切聯絡。準備與韓遂開戰。
韓遂遇到這種情況下，極為失意。本想打算從羌中撤退至蜀地。依附劉備。但是韓遂的心腹成公英卻反對韓遂這種做法。他認為韓遂起兵多年。現在雖然失敗了。但不能放棄自己在西州建立的根據地而轉投他人。
韓遂聽後就向成公英問道：“那怎麼辦呢？”
成公英則是向韓遂獻計先躲入羌氏部落中重新招攬部眾。等待機會捲土重來。
韓遂也同意了成公英的計策。對成公英說道：“現在也只能這樣了。”
於是，韓遂連同數千名追隨者退走到羌中，由於韓遂以前有恩於羌人，所以得到羌人們的保護。
建安二十年（215年），夏侯淵回到了漢中。留下了閻行。這時韓遂則是結集了羌胡數萬兵眾攻破了閻行。不久之後，韓遂就病死了。
其實對韓遂的死，還有另一種說法。
這就是韓遂在金城的時候被部下麴演，蔣石所殺掉了。
後來，這兩個人把韓遂的首級獻給了曹操。
就這樣一代西北大軍閥韓遂就此消失在了歷史的長空中。
縱觀韓遂的一生。韓遂總是與當時的朝廷反目。最後淒涼地死於部下的刀下。