是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。
從技術上看,大資料與雲端計算的關係就像一枚硬幣的正反面一樣密不可分,必須採用分散式架構,必須依託雲端計算的分散式處理、分散式資料庫和雲端儲存、虛擬化技術。
同時大資料還需要特殊的技術,來有效處理大量的容忍經過時間內的資料。
這些技術包括大規模並行處理資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲端計算平臺、網際網路和可擴充套件的儲存系統。
IBM也曾提出了大資料的特點:大量、高速、多樣、低價值密度、真實性。
但,大家都不會簡單的從這些概念上的東西來進行回答。
良久。
譚凌開口道,“我認為大資料就是數量龐大的任意資料,甚至這些資料本身並沒有什麼卵用,而且還沒什麼價值,扔之可惜。”
“當然,大資料其實始終貫穿著人類的歷史,從古至今的各種法例都能看到大資料的蹤跡。”
“比如連環案件分析?”林唐插嘴道。
也不知道林唐是不是最近看柯南看多了,張口就是連環案件。
其他幾人各有回答。
獨剩下蘇小木沉默不語。
“小木同學,你來說說?”張可點了名。
蘇小木簡單的答道,“說不好,我覺得大資料無非就是多維分析,最終針對的還是人。”
“每個人都有每個人對大資料的理解,我們的課題只是從大資料出發,探索主導資料、行為模型的一個片段。”
張可道。
“大家可以透過課題,去找到每個人對大資料的新理解。”
“硬體層面的準備基本完善,但軟體層面的部署還得我們親自來,首先是分散式檔案系統,我們討論一下,是否直接使用Hadoop實現的分散式檔案系統:HDFS?”
張可的問題引發了課題實驗組每個成員的意見發表。
首先HDFS基本上是個通用的大資料分散式檔案系統,最重要的一點是設計就是用來部署在低廉硬體上的。
包括Hadoop,完全就是為了大資料而開發的程式。
Hadoop框架最核心的設計就兩點,HDFS和MapReduce。
HDFS為海量資料提供了儲存方式,MapReduce為海量資料提供了計算。
蘇小木試圖爭取了一下,“教授,如果我們課題的時間足夠長的話,不如我們試試自己實現,不借用Hadoop,重新設計分散式檔案系統、並行運算演算法、並行處理資料庫這些。”
“這樣一來,專業針對的就是課題本身的演算法、主導資料與行為模型。”
蘇小木的話是有道理的,當然也是有私心的……
======
2更。