姚興專心於佛法，供養著三千餘名僧眾，這些人往來宮中，參與各種事務。
只有覺賢自守清靜，與眾不同。然而他並未因此免掉麻煩。
他的麻煩出在兩件事上。
某天，覺賢對弟子說：“我昨天看見有五艘船從家鄉向這裡駛來。”
弟子將話傳給外人，於是關中僧人當即認為覺賢妖言惑眾：“誰不知他家在天竺？中國與那裡遠隔萬里，他又不是神佛，如何能看得見呢？”
另一件是，覺賢弘揚禪法，遠近僧俗聞風而至。但學習所得有深淺，證得的境地有高低，難免有矯偽之徒用奸耍滑。
有個弟子，很少用心參證，卻自稱得了不還果，覺賢又沒有立即察問。於是流言四起，誹謗橫生，隨時都可能發生不測之災。
徒眾中很一部分是投機取巧之流，見勢不好，有的匿名遛掉，有的半夜跳牆而走，半天工夫，便散得差不多了。
只是覺賢平淡自處，不以為意。但有人找上門來了。
長安僧人道恆、僧契前來，表情莊重地說：“你先前宣稱有五隻船要來，結果了無蹤影，虛而不實，你的門徒也誑言惑眾，愛起紛爭，這於戒律已有違背。你最好快走，不要停留！”
覺賢平靜地說道：“我如漂於水上的浮萍，去留都極容易。只是遺憾在此地有志未伸。”說完便收拾行裝。
覺賢與弟子慧觀等四十多人開始動身，當時太陽很好，照得一切明晃晃的。
師徒一個個神志從容，面無異色，輕鬆得如同出遊一般。
許多人見他們都如同遇到妖人，避到遠處，也有眼力超凡者為他們惋惜，相送的僧俗聚集了一千多。
姚興聽說後悵恨不已，將道恆召去，責備道：“覺賢和尚，不遠萬里來遊化傳道，本欲宣揚大法。真知卓見尚未吐露，但用意之良苦，也足以讓人感慨，怎麼能因一句話有錯，就讓萬眾失去導師呢？”
道恆心內不服，但不得不做出懺悔狀，姚興便派使者騎快馬追趕。
使者說明來意，覺賢平淡地說：“陛下皇恩浩蕩，值得感念，然而既已啟程，就恕不能從命了。”
覺賢知道凡事皆有緣分，不必勉為其難，日後終有被承認的一天。
覺賢率眾人連夜趕路，向南直奔廬山，那便是宋的境地了。
隱居廬山的高僧慧遠，早就聽說過覺賢的大名，知道覺賢來，欣喜非常，如遇故舊。
慧遠認為，覺賢的被排斥，過在門徒，至於那五隻船的說法，也只看你同意與否，於律無犯。
於是他派遣弟子曇邕，送信給姚興及關中僧人，為覺賢排解。
又請覺賢他譯了數種禪經。
覺賢居無定所，一年多以後，便西上江陵。
在那裡正好碰到五艘船靠岸，一打聽，果然是從天竺來的，再查對日期，正是覺賢對弟子說話之日。
訊息傳開，境內士庶百姓競相前來禮拜。
關中僧人聽說，才知錯怪了覺賢，羞愧難當。
覺賢聲名鵲起，所得供奉很多，但覺賢一概不要，而是不分貴賤地持缽化緣，恬淡度日。
覺賢帶著弟子到太尉長史袁豹家乞食。
這袁豹平日不信佛法，待他們相當刻薄。
兩人吃了一點，便起身告辭，袁豹說：“好像還不夠，再多用些吧。”