138網路小說 > 都市言情 > 此生應無憾 > 第279章 未雨綢繆

第279章 未雨綢繆 (第2/2頁)

前世曾爆出國內某搜尋引擎大量採用快照的形式來承接使用者的點選跳轉,大量遮蔽了使用者對原網站的訪問的事件。

快照本來是搜尋引擎為了應對一些網路連線或是網站失效等問題,將網站內容快取在搜尋引擎伺服器上提供給使用者,以保障使用者搜尋體驗的方式。

但是刻意的濫用,就會變成對原網站的剝削吸血,用了你的內容還不給你流量,把流量帶來的各類收益(例如業務推廣、廣告收入等)全部攔截。

也許有人會問,那既然這樣,能不能就不讓搜尋引擎爬取網站內容,這樣就沒有快照,使用者也只能來到網站進行訪問。

這麼幹不是不行,可以採取robots協議實現。

簡單來說,在搜尋行業裡存在一種robots協議,按照協議規範在網站的目錄下部署xt檔案,告知搜尋引擎的爬蟲哪些內容不應被爬取。

即便有robots協議,爬蟲還是可以爬取網站內容,但是搜尋引擎服務卻不能將爬取到的內容進行展現,否則就可以直接去法院把搜尋引擎公司告得灰頭土臉。

但由於在PC網際網路時代的中後期,搜尋引擎就是最大的網際網路流量入口,擁有網際網路上最強大的話語權。

中小網站如果拒絕搜尋引擎的爬取,其實和自絕於網際網路沒啥兩樣。

如果網站的擁有者還希望網站能被人們訪問到的話,就只能乖乖接受搜尋引擎的爬取,並祈禱搜尋引擎公司足夠講道理,不過分使用快照等方式進行截流。

其實robots協議裡存在白名單的機制,看上去嘉盛可以只允許自家的搜尋引的爬蟲進行爬取,拒絕其他搜尋引擎的爬蟲。

但實際上這一點也是行不通的。

前世為了打擊360,百度就曾使用robots協議白名單,禁止360抓取百度百科、百度貼吧和百度知道的內容,而谷歌、Bing、搜狗和搜搜等搜尋引擎還可以自由抓取。

360認為百度對robots協議的使用具有歧視性而拒絕遵守,百度也因此起訴360不遵守robots協議。

本來robots協議作為行業通用守則,雖然不具備明確的法律效力,但是依然非常具有參考價值,百度覺得贏面很大。

但雙方對簿公堂後,由於百度難以“證明競爭對手的行為具有不正當性”,無法支援採取針對性限制360爬蟲措施的正當性,所以最終沒能借助法律手段達到阻攔360的目的。

2014年8月7日法院對百度訴360案做出的一審判決:回百度有關不正當競爭的訴求,判定其必須修改爬蟲協議。

同時,法院認為360強制採用網頁快照,已經超出網頁快照的合理範圍,違反了反不正當競爭法,因而判決向百度賠償70萬元。

陸道升知道採用robots協議白名單的方式最終不會有效果,也沒有興趣辛苦嘉盛的法務部累死累活就弄個70萬的賠償回來,比起流量損失真不夠塞牙的。

還是直接採取反爬蟲機制來從根子上保護自家的內容比較靠譜。

至於說反爬蟲機制會不會影響自家搜尋引擎的爬取,嘿嘿。

說完反爬蟲後又講了一會兒,陸道升完成了對主要想法的說明,坐下喝了口水潤了潤喉嚨。

“呼……”

“我今天就說這些吧,下面誰還有事情想說的?”

一直以來高層會議發言最少的張小龍居然率先開口了。

“道升,我有個事想討論一下……”

最新小說: 半島頭號玩咖! 掠奪氣運從作弊開始 我的師父是神醫 重生之電商教父 重生2013:從拆遷戶到全球首富 逍遙法醫 助人就是快樂 超能科技帝國 華娛科幻之王 坐我車的都是業界大佬 我要逼瘋全世界 都市之時間主宰 四合院:我傻柱絕不做冤大頭 娛樂之演員 花都小保安 回憶頻頻擾 錦繡緣:錯嫁新娘腹黑夫 超凡出眾 女總裁的逍遙兵王 宮心叵測