549
Hadoop 真特麼難用
在本周的大數據研討會上，Continuuity的首席執行官指出Hadoop實施難度大，極為難用，如果不解決技術複雜性問題，Hadoop將被自己終結。
Continuuity的首席執行官Todd Papaioannou曾經是雅虎的首席雲計算架構師，當年他和120個弟兄接到一個艱巨的任務：在擁有40萬個節點的雅虎私有雲中配置4.5萬台 Hadoop服務器，為5000位雅虎開發人員創建一個穩定的開發平台。在Papaioannou的回憶中，當時的場景非常不堪：
負責建設Hadoop平台的團隊個個手忙腳亂，互相從代碼庫中翻找可供粘貼整合的代碼，就像一群中學生在車庫中做手工。當基礎架構總算搭好的時候，開發者又花了4-5個月才開始發布應用，這也嚴重影響了雅虎的產品創新進度。
“那段時間如果你留意的話，yahoo的產品時不時會出一些狀況”，Papaioannou說道。他認為從雅虎的Hadoop實施中學到了重要的一課：
Hadoop實在太難用了。它屬於底層基礎軟件，而今天大多數IT人員都不熟悉底層基礎軟件。
有過幫雅虎實施Hadoop項目的痛苦經曆後，Papaioannou下決心創辦一家能夠降低Hadoop部署和應用開發門檻的公司—Continuuity，在Hadoop和HBase的基礎上創建一個抽象層—AppFabric，屏蔽掉Hadoop底層技術的複雜性，讓更多的開發者能夠開發大數據應用，而不僅僅是Hadoop（Mapreduce）應用。利用YARN和HBase，Continuuity開發出了能實時處理流數據的方法，並且能在任務不中斷的情況下動態擴展Hadoop集群的規模。
Papaioannou認為Hadoop開發者不應該為節點、集群、數據塊等本應由工程師處理的事擔心。這有些類似Heroku、Cloud Foundry和Windows Azure提供的PaaS服務，事實上Continuuity計劃在2013年推出AppFabric的公共雲服務，以配合目前企業內部使用的版本。
最後更新：2017-04-03 21:30:13