陸道升總算趕在出發去北京之前完成了對hao123爬蟲系統的改造。在原有流程上做了一些最佳化，以及新增了一個線上的評審系統。
前世hao123創始人李興平是透過個人的全身心投入來保持hao123的不斷更新和迭代，每天要花十多小時在人力檢查連結是否失效或者被移花接木的問題上。
失效的問題對陸道升來說很好解決，就是網站打不開了而已，可能是暫時的網路問題，也可能是確實網站停止服務了。
總之就是寫程式透過網址來請求網站內容，分時段多試幾次，如果都請求不成功，那就是失效了。
最多再加一個每個時間段內失效網址數量的監控，佔比不超閾值，那麼就確認這是失效網址，如果超過閾值，可能是網路問題造成網站集體訪問失敗，傳送報警到陸道升郵箱但不做處理，等過段時間再次檢測即可。
網址被移花接木就很麻煩了，想透過技術手段對比會很費事，投入產出嚴重不值得，大頭還是靠人工。
有很多網站運營一段時間後難以為繼，就會關張大吉，其擁有的網址往往會被其他人買走另作他用。
這個另做他用對陸道升來說就很頭疼。
比如之前做遊戲的網址被換成做娛樂，那就應該從遊戲分欄裡轉移到娛樂分欄。更頭疼的是還有的網址直接被買走搞成了涉黃網站，這就根本不能留了，得直接幹掉。
而要做以上判斷，就需要人工審閱。
為了減少審閱工作量，陸道升特意寫過一個對比過濾的流程，即把網站上一次的文字內容快取下來，下一次爬取時進行一個對比，如果網頁結構和內容變化比例沒超過閾值，則直接略過，認為可以保持原有判斷，如果超過閾值，那就整理起來輸出為列表，再由人工來一條條對比稽核。
陸道升本以為針對不同的網址分類，可以透過設定不同的差異度閾值來進一步減少需要人工稽核的資料量，結果發現同網址分類下各個網址的更新強度天差地別，很難得到一個大分類適用的數值，只得作罷。
另一個雪上加霜的情況就是新網站越來越多，新網站的加入都需要人工處理以確定是否有收錄的價值，以及如何分類、排序。
雖然透過技術手段已經壓縮了絕大部分的工作，但是hao123帶來的時間開銷在不斷攀升，陸道升有些擔心自己哪怕加上左文杏的時間精力都不足以在保障好網咖管理系統開發的同時做好hao123的維護工作。
而在hao123帶來正向的廣告收入之前，這段時間股市的收益也沒有兌現，陸道升手裡的可用資金並不多，招不起人。
也不是說招不起幾個臨時工，或者找幾個網管就當給他們個機會賺賺外快，但是這樣的人的責任心很難保障，錢不怕多花，事兒不能做岔了，寧可等手頭充裕了挑幾個合用的。
現階段，就只能依靠技術優勢暫時壓住增長的運營人力開銷了。
另一個線上的評審系統，則是陸道升在浦外聽到人議論自己時臨時想到的，那就是能不能把hao123的稽核工作給改造一下，然後變成可以分發的小塊任務，透過郵件分發給不同的人來處理，處理完成後進行結果的集中處理。
聯想的過程大概如下，聽到有人議論自己，覺得自己好厲害，心中先暗爽一會兒。
接著想到議論自己的可都是素質極高的大學生，個人素質過硬，這要是能憑自己現在的校內名氣給請來幫自己分擔一些hao123的人工稽核工作，自己可能就不用天天擔心對hao123的精力投入不足，有一天會被競爭對手幹掉了。
而想到這種多人分擔工作任務的情景，陸道升立馬回想起前世出現的一種人工標註平臺的業務模式（比如）。
在大資料時代，為了使一些機器學習演算法取得良好的效果，就需要大量的樣本資料供演算法進行模型訓練。但有時候蒐集不到那麼多的有效樣本資料，就需要人工進行諸如文章分類、圖片標註等工作，來人力產生足夠多的樣本資料。
也有一些靠機器學習演算法解決不了的問題，比如色情圖片，惡意評論等等，也需要人力稽核來進行捕獲。
以上這些事情，大大小小的網際網路公司都有需求，但是絕大多數公司都不會親自僱人來做這個事情，而是會轉交給專門從事標註工作的第三方公司來完成。
標註工作在參與人員上也有講究，那就是不能人員數量太少且固定。如果就是僱傭幾十上百個人，然後去標註百千萬的資料，那麼很可能會出現認知偏見。最好是能有更多的不相關的人來參與標註，這樣累積出來的資料才不會出現明顯的偏向性，才能讓機器學習演算法訓練出適用性最強的預估模型。
為此，這些標註公司演化出了一種分派式的業務模式。
即先從需要對資料進行標註的公司那裡獲取待標註的資料合集，然後將資料合集分割成一個個數量很少適用於單人的問卷，再將這些問卷透過自己構建的平臺分發給平臺上的答題人。
一份問卷會多次分配給不同的答題人，以降低迴答結果因為個人偏見而離實際太遠的機率。
這些答題人可能是在校學生、可能是家庭主婦、可能是待業青年、可能是公司白領等等等等，總之只要在平臺上註冊了答題人賬戶，且透過了一些很基本的測試，就可以獲取分派的標註問卷，透過回答問卷來獲取一定的金錢報酬。
雖說這種在大資料時代興起的標註平臺需要網際網路普及帶來的上網便利，加上電子支付的發展帶來的支付便利，此時不能直接照搬，但是這種思想還是可以借鑑的。
hao123的日常維護工作並沒什麼特別的技術含量，主要就是耗時耗力，完全可以採取類似的方案進行工作切分和派發。
不僅能解放自己，更重要的是可以集眾人之偏好綜合評斷，就算出現李興平這樣對使用者需求具備深刻洞察的競爭者，在陸道升這種直接聆聽大眾使用者反饋的方法面前，也佔不到太多便宜了。
系統開發暫告一段落，陸道升給芮青打了通電話告知行程後，收拾好行裝就坐上火車開始一路向北。
火車上，陸道升皺著眉頭回想著和芮青的通話。
電話是撥給芮青在北京的住處，也就是自己幫芮青找的地方。
只是在互道再見準備放下電話時，陸道升似乎還聽到了另一個女人的聲音。
……