774
如何低成本、高效率搭建Hadoop/Spark大數據處理平台
隨著人們逐漸認識到 “大數據”的價值，互聯網、電商到金融業、政企等各行業開始處理海量數據。如何低成本、敏捷高效地搭建大數據處理平台，成為影響大數據創新效率的關鍵。
為了讓用戶以最簡便地方式享用阿裏雲全球資源，在雲端構建敏捷彈性、高可靠和高性價比的大數據平台，近日，阿裏雲在成都雲棲大會上發布了一款Hadoop/Spark場景專用的ECS存儲優化型實例D1規格族，單實例提供最高56核CPU，224GB內存，168TB本地盤容量，5GB/S總吞吐，PPS達120萬+。這對Hadoop/Spark技術愛好者來說是個非常大的福音，用戶可以輕鬆在D1上搭建大數據存儲與計算分析平台，尤其是互聯網、金融、電商、政企等對大數據需求旺盛的行業。
據悉，在雲端建設大數據平台的建設周期僅需“數分鍾”，比傳統模式下縮短95%以上；項目建設成本從一次性重資產投入，變為輕資產分期使用，初期建設成本降低80%以上。
不妨一起來看看，相比傳統的Hadoop/Spark場景解決方案，D1都有哪些優勢：
•按需部署和彈性靈活
傳統大數據平台有幾個通病：建設周期過長，擴容不便，因此一般都會適當放大大數據建設規模，造成早期資源閑置浪費，也埋下了後期資源不足的隱患，影響業務發展。雲計算很早就解決了彈性建設的問題，我們可以按需進行大數據平台建設，並伴隨業務的增長而快速彈性伸縮，企業可以做到按需支付成本。
此外，Hadoop/Spark大數據生態係統中組件眾多，每種組件對硬件資源的要求不同，而傳統大數據平台建設中，往往很難兼顧資源需求上的差異。D1和其他獨享型規格族提供了不同的配置，可以為每個Hadoop/Spark組件節點“量體裁衣”來選擇實例，最大限度避免資源浪費。
當遇到臨時性突發的大數據分析需求時，借助阿裏雲大數據平台的規模和分析能力，可以快速獲得需要的結果，當任務完成後，又能立即釋放資源，節省成本。
•性價比
阿裏雲D1實例采用獨享計算架構+本地存儲設計，CPU的計算性能在實例間是獨享的，這種設計能有效保障大數據計算能力的穩定性。配備高性能企業級6TB SATA硬盤，D1單實例的存儲吞吐能力可以達到最大5GB/s，有效縮短HDFS文件讀取和寫入時間。基於阿裏雲SDN和網絡加速技術，D1在10GE組網環境下，最大可提供20Gbps網絡帶寬，可滿足大數據分析節點間數據交互需求，例如MapReduce計算框架下Shuffle過程等，縮短分析任務整體運行時間。
最重要的一點是，阿裏雲在D1上做了非常大的交付創新，支持包月、包年的預付費支付模式，同時也支持按小時付費的使用模型，真正做到即開即用，按量付費，沒有運維，錢不浪費，雲本身的彈性優勢就很明顯，加上業務上的優化，確實加分不少。
•可靠性
這次雲棲大會，阿裏雲還推出了一個ECS獨有的部署集（Deployment Set）機製，可以保證用戶采用D1實例構建大數據平台時，在任何規模下都可以充分將實例按業務可靠性要求，在阿裏雲數據中心中，進行機架、交換機、可用區等級別容災保護。同時，還可以充分享用阿裏雲全球高效、穩定的機房和網絡基礎設施，大大降低客戶建設複雜度和成本。這在傳統模式下是很難做到，既能做到全局的安全性又能做到局部的彈性伸縮，或許，這就是雲的終極形態吧。
總之還是非常推薦這款D1實例的，中大型企業對大數據處理平台的穩定性、性價比、部署周期都有比較強的要求的可以考慮一下。
最後更新：2017-05-31 19:32:46