571      阿裏雲  技術社區[雲棲]

英特爾重定義Hadoop核心：優化CPU

據國外媒體報道，近日，英特爾新推出的Intel版Hadoop不但改寫了Hadoop框架的核心功能，強化對處理器指令集的支持來提高效能，可直接支持Xeon進階運算加密指令集AES-NI，並在數據儲存到HBase的過程，用芯片原生的加密功能保護，這是英特爾進軍Big Data的殺手鐧軟件 。

繼Cloudera與Hortonworks之後，英特爾近日宣布推出Hadoop新版本，包括Hadoop發行版(Intel Distribution)以及Hadoop管理工具Intel Manager與Intel Active Tuner，這是英特爾從2009年開始投入大數據研究以來，首度發布的大數據軟件產品，英特爾將以開源分布式數據分析平台Hadoop進軍大數據市場。

英特爾Hadoop發行版是以英特爾的硬件為基礎，提供Hadoop使用者更安全、更高效、更易部署的數據處理平台，未來英特爾將繼續投入Hadoop的研發。

不過，英特爾並不會因此變成一家軟件公司。英特爾的策略是打造一個開放的大數據生態環境。目前英特爾版Hadoop的合作夥伴包括OEM廠商、係統整合商、獨立軟件開發商，負責企業部署，英特爾提供培訓。目前已與20多家軟硬件廠商計劃加入聯盟，包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。

英特爾推出的Hadoop專屬軟件平台，主要包括三個部分，第一是Hadoop平台的管理工具Intel Manager與Intel Active Tuner，二是基於Hadoop架構所做的調優，包括HDFS、MapReduce、HBase的重定義改寫，同時支持SQL查詢指令語言Hive，對於SQL指令的查詢速度提升了8.5倍。其三，英特爾的Hadoop架構中，也融入了其他常用的Hadoop工具，例如：Zookeeper等。

重定義Hadoop架構

英特爾重新改寫了Hadoop架構，可以直接支持Xeon計算加密指令集AES-NI，提高數據指令周期，並通過芯片原生的加密功能保護數據收集、存儲到HBase的過程，並且性能不受加密的影響。

舉例來說，采用Xeon E5-2690處理器、搭配英特爾SSD 520快閃硬盤和10GbE網絡卡，1TB的數據量處理將可縮短到7分鍾。

今年2月底，英特爾正式啟動兩個Hadoop方麵的新項目，其中一個項目是Panthera，著重SQL與Hadoop的整合，另一個項目則是Rhino，研究更深層次的Hadoop應用。 未來，英特爾將會加大對大數據的研究投入，包括商業智能及圖形計算分析。

英特爾數據中心與嵌入式係統亞太區產品經理RK Hiremane表示，Hadoop暫時還不是一個成熟市場，但英特爾看好電信業、金融業、政府以及醫療行業的發展潛力。

來自新加坡的英特爾Hadoop合作夥伴1degreenorth指出，當企業開始考慮部署Hadoop時，一定會進行全麵的評估，過去隻能選擇Cloudera與Hortonworks，但是現在多了一個Intel版本，從軟件開發商的角度來看，在亞太地區，不論Cloudera或Hortonworks並沒有特別投入資源，英特爾則通過係統整合商與獨立軟件開發商來提供企業相關服務，同時並提供相關的技術支持，這是一個非常重要的競爭力。

目前Hadoop在國內的應用仍處於萌芽階段，每個客戶都是以項目方式進行，英特爾在未來的Hadoop市場能否脫穎而出，關鍵在於Hadoop係統的軟件開發與技術服務能力。因為目前大多數企業並沒有足夠駕馭Hadoop技術的人才，所以非常注重供應商所提供的Hadoop應用開發與技術服務。現階段，英特爾雖然通過軟件開發商進行戰略布局，而這些廠商是否具有相關技術能力，並且全力投入大數據市場，還需要時間證明。

最後更新：2017-04-03 22:15:47

  上一篇： 玩轉數據中心：Twitter複製穀歌成名秘密武器

  下一篇： 致中國網民:為什麼不應該使用QQ進行技術交流?