112
阿裏雲雙11訪談之MaxCompute
摘要：在阿裏雲雙11訪談MaxCompute專場中，MaxCompute資深運營專家禕休為大家簡單介紹了阿裏雲的MaxCompute平台的基本情況，並且為大家分享了MaxCompute如何幫助用戶快速架構大數據倉控的。以下內容根據訪談視頻整理而成。
MaxCompute簡介
簡單來說，MaxCompute就是一項大數據的計算服務，它能夠為企業提供快速、完全托管的TB/PB級數據倉庫解決方案。MaxCompute向用戶提供了完善的數據導入方案以及多種經典的分布式計算模型，能夠更快速的解決用戶海量數據計算問題，有效降低企業成本，並保障數據安全。
從ODPS到MaxCompute
2009年阿裏雲正式成立，那時最開始的願景就是做一個統一的數據平台。2010年，ODPS正式投入生產，阿裏金融成為了當時ODPS的第一個客戶。之後ODPS開始穩定運行和處理線上的數據和業務。2012年的時候，整個阿裏巴巴集團的數據都要進行統一的存儲和計算，也就是說此時ODPS承擔了整個集團數據的存儲和計算任務。2013年的時候，ODPS單個集群的規模已經達到了5000台，這在國內甚至整個業界都是處於領先地位的。隨後ODPS平台開始逐漸成熟，開始支撐“雙11”海量數據的處理，以及開始支持包括天貓、阿裏金融以及集團物流業務的創新。在2016年，ODPS開始適應國際化，在性能、存儲等各方麵都進行了提升，ODPS也改名為MaxCompute，目前MaxCompute已經發展到2.0版本。在本次的分享中也會為大家介紹MaxCompute 2.0版本的新特性和新功能。
MaxCompute的應用場景
MaxCompute的主要應用場景在總體上可以分為以下三種：
- 基於MaxCompute搭建企業的大數據倉庫
- 機器學習
- 基於加工後的數據實現個性化推薦
大家之前可能接觸過數據倉庫的相關概念，這裏提到的是大數據倉庫除了具備傳統數據倉庫麵向主題的、反映曆史的特性之外，也會有一些像支持多種計算模型等新特性。
MaxCompute成功應用的客戶案例
MaxCompute在傳統行業、互聯網行業以及初創公司中都有很多成功應用的案例，比如墨跡天氣、集團內的菜鳥網絡、螞蟻金服等，外部的新浪微博、ofo小黃車、美柚、天弘基金、眾安保險以及金立手機等都在使用MaxCompute做自己的大數據服務。接下來重點分享一下墨跡天氣基於MaxCompute構建自己的大數據倉庫的案例。
其實阿裏雲所有的大數據產品都是在集團內穩定運行2個月以上的時間才能對外提供服務的。墨跡天氣是如何基於MaxCompute構建自己的數據倉庫體係的呢？首先，墨跡天氣是一個天氣查詢軟件，它每天會產生大量的日誌，大概會達到2TB的量級。墨跡天氣的日誌大概包括兩種：第一種是用戶查詢天氣情況的訪問日誌，另外一種就是每個人、每個地區針對每個用戶不同的推薦廣告產生的日誌。總體而言，會通過一些開源的工具將這些產生的日誌數據采集到MaxCompute上來，做一些離線的加工和處理以及數據管理，最終將數據回流到業務應用係統中，再去做一些報表應用。這樣我們可以實時地或者離線地觀測到用戶的使用情況，並且以此來優化算法模型，進而對於用戶進行更為精準的營銷。所以墨跡天氣的廣告團隊和天氣業務團隊的總體推薦效率和精準程度都有了大幅度的提升，而單純從成本上來看，墨跡天氣通過使用MaxCompute節省了70%的計算和存儲成本，從洞察力以業務優化這些運營效率上來看，也得到了大幅度的提升。
MaxCompute的強數據安全
對於企業用戶而言，大數據資產的安全性是非常重要的。所以讓用放心使用也成為了MaxCompute所關注的一個重點。之前雲棲大會上，用戶也提到現在數據上雲其實是最安全的，實際上現在數據存在雲上的安全性要好於本地存儲。在傳統的一些大數據計算服務上，可能隻需要用戶名和密碼就可以登錄進來並提交一些作業運行，可以拉取數據、獲取數據。而MaxCompute提供了一些訪問的追溯方式，所以在MaxCompute上會有一個統一的認證要求，每次進行請求的時候都會有一個accessID和Key。當這些在係統中驗證成功之後，用戶才可以提交自己的作業，進而做更多的訪問。從中可以看出，從數據訪問到最終的數據加工和處理，都能夠實時地通過實名認證體現出用戶的真實身份。在數據安全的粒度方麵也更加細化，MaxCompute提供了兩種數據安全授權模式，ACL和Policy，這兩種授權模式能夠保證數據的安全性。當用戶需要一個表的權限時需要進行申請，審核通過之後就會擁有這個表的權限。更多的在安全行業或者金融行業，對於一些字段級的數據也有很高的要求，而MaxCompute的權限粒度能夠支持到列級別。另外MaxCompute還有一些跨租戶的訪問控製，比如在集團內天貓或者螞蟻金服以及菜鳥等各個部門都相當於一個租戶，那麼這些租戶之間的數據要想做到數據不搬家和可用不可見，就需要實現多租戶的模型下對於用戶進行授權。通常情況下將表或者更多的函數以打包的方式去申請權限，當申請權限之後可以在自己的Project下麵獲取到項目空間對應的表或者函數的權限。此外，當項目空間存在上下遊關係，就可以將下遊或者上遊的Project設置為可信的，這樣數據就可以流入到其他的Project，進而進行分析。
MaxCompute的發展
在國內，阿裏雲最近在華東二(上海)以及華南一(深圳)的數據中心已經開服，在歐洲中部的法蘭克福、亞太東南比如新加坡以及日本的數據中心等也相繼開服。隨著阿裏雲在海內外的數據中心的不斷部署，MaxCompute也在緊跟著進行國際化。
目前MaxCompute已經發展到了2.0版本，相比MaxCompute 1.0版本已經有了大幅度的提升和改進。在計算和存儲的性能和成本上都得到了大幅度的提升，此外MaxCompute 2.0還引進了NewSQL，加大了對於一些生態的支持以及處理能力的提升。更多的就是改進了多集群的相互支持，數據可以在不同的集群之間進行互通，同時也會支持一些容災的方案。此外，MaxCompute也會支持更加豐富的多種的計算模型，比如SQL等計算模型。在生態方麵，MaxCompute 2.0也做了很多努力，比如能夠將Hadoop上的MR的SQL方便快捷地遷移到MaxCompute上來，在這些方麵MaxCompute團隊做了很多性能優化和提升，也希望能夠讓集團內和集團外的用戶享受到技術的紅利。
在雲棲大會上阿裏巴巴集團副總裁周靖人也宣布了MaxCompute在性能評測中打破了好幾個世界第一記錄，比如將統一測試規模從之前的10TB提升到100TB，計算引擎的QPM上也達到了7830以上，而且MaxCompute還是在公有雲上做的這些事情，以上這些都是業內領先的。而且MaxCompute的性能提升不僅在體現編譯上，還體現在SQL計算性能上，大家可以在官網或者雲棲社區上找到更多的詳細文章。
MaxCompute的“雙11”特惠
MaxCompute也希望將更多的技術紅利釋放給生態的開發者。大家可以在官網上了解到，MaxCompute產品有兩種付費模式，一種是預付費，另外一種是後付費版本。在“雙11”期間，針對於這些兩種版本都會有一些促銷活動，比如在預付費版本中，隻要用戶購買三個月以上的，包括新購、續費以及升級在內，將會享受總體75折、上限30萬的優惠，新老客戶都可以同時享用；而對於後付費的版本，用戶可以50萬購買8.5折儲值卡、20萬可以購買28萬的儲值卡、10萬可以購買13萬的儲值卡，1萬可以購買1.15萬儲值卡，這些優惠活動在阿裏雲“雙11”的詳情頁上都可以看到，所以大家可以抓緊“雙11”的優惠活動趕緊買買買。
最後更新：2017-10-30 12:04:25