陶謙勉強坐了起來，道：“這次請玄德公過來，不是為別的，而是你也看到了，我現在已經病得很嚴重了，很快就要駕鶴西去，希望你能夠可憐我徐州的一方百姓，以漢家的城池為重，領取徐州的印綬。”
劉備聽到還是謙讓的意思，便道：“你不是有兩個兒子嗎，你為什麼不把印綬給他們。”
陶謙回道：“我的大兒子十從商的，小兒子是一個普通人，他們都沒有什麼才能，無法擔當這個重任，我死後，還希望你能夠教誨他們，一定不能讓他們執掌徐州啊。”
劉備道：“我一個人怎麼來擔當大任呢？”
陶謙道：“你有雨弋作為謀士，我再舉薦一個人，是北海人，姓孫，名乾，字公佑。此人可使為從事。”
然後轉身對糜竺說道：“玄德公是當世的豪傑，你應該很好對待他。”
不過到了這個時候，劉備還是推託，陶謙用手指著自己的心臟死去。
徐州上下軍隊都進行哀悼，然後有人就將印綬交給了劉備。
劉備還是保持著先前的態度，有了前幾次的試探，雨弋也不想再去勸說什麼了，靜觀其變。
到了第二天，徐州的百姓都來了，很多人都跪在劉備面前，大哭道：“使君如果不能掌管這個州郡，我們都沒有辦法安心啊。”
關羽和張飛也再三去勸阻，雨弋道：“現在這個情況，陶謙已經走了，你領取徐州也是眾望所歸，現在如果還要推辭，就會顯得你這個人無情無義啊，我覺得你可以暫時先管著徐州，等到他的兒子來了，你再交還回去。”
劉備也只能這樣辦，就暫時領取徐州的印綬，管理徐州，讓孫乾和糜竺為輔助，陳登是幕官，然後將小沛的軍馬全部帶入城中，然後公開自己成為徐州縣令的訊息。另外一方面安排喪事，劉備親自帶著大小軍士，都穿著孝服，設祭祀臺，然後將陶謙葬在黃河邊上。將陶謙遺留下來的表，去申報給朝廷。
曹操此時在鄄城，也得知了陶謙去世的訊息，當即心裡舒服了很多，但對於劉備接任徐州牧的事情，十分生氣的，道：“我的仇恨還沒有完全報，你卻不費半點力量就能夠取得徐州！我一定要先殺死劉備，然後去屠殺陶謙的屍體，來報我父親的仇恨。”
於是傳下號令，選擇一個好的時機，去攻打徐州。
荀彧聽後覺得不行，就勸諫道：“以前漢高祖據關中，光武據河內，都是因為基礎牢固所以才能取得天下，進可以取敵制勝，退也可以堅守城池，隨意雖然很困難，但是終能成就一番大業。明公開始是以兗州為根據地，並且河、濟都是兵家必爭之地，所以對於以往的關中，是河內啊。現在你準備進攻徐州，就算得到了也很為難，給徐州駐守的兵力多了不划算，給少了又怕呂布過來偷襲，這是因為沒有兗州啊。如果徐州打不下來，後方又無法安定，那麼該在哪裡據點呢？雖然陶謙死了，但是還有劉備在守衛徐州，而且我聽說徐州的百姓都很愛戴他，一定會協助劉備死守徐州。明公這個時候，因為仇恨拋棄兗州而攻打徐州，是棄大而就小，本末倒置，以安全的情況換取危險的情況啊，希望可以深思熟慮。”
曹操道：“現在這個年頭，軍中十分缺糧，我們長期在這個地方駐守，也終究不是一個好辦法啊。”
荀彧道“不如往東邊發展，讓軍隊去吃汝南、潁川的糧食，那裡不是還有一些黃巾軍餘黨何儀、黃劭嗎，他們長期是四處劫掠，肯定有很多金帛、糧食，而且這些賊寇見識很低，部隊力量也嚴重不足，是一盤散沙，很容易就打過他們，我們就順便取他的糧食，來滋養我們的部隊，而且這樣，朝廷也會十分高興，也是順應天意，為明公建立基礎啊。”
荀彧的這個建議切中要害，曹操很高興，就答應了於是留下夏侯惇、曹仁守住鄄城的一些要害之處，親自帶著兵士攻略東邊的陳地，然後按照荀彧的計劃，往黃巾軍餘黨方向進攻。
他們知道曹操到來後，都帶著兵士上去迎戰，在羊山這個地方會和。那時賊兵很多，但都是一些孤群狗黨，完全沒有經過操練，不懂陣勢，也不列隊伍。曹操命令弓弩手射擊，然後讓典韋親自出馬。