阿裏“NASA”首個重磅武器亮相:機器學習平台PAI2.0
3月29日,阿裏雲在雲棲大會深圳峰會上正式發布機器學習平台PAI2.0。
相比1.0版本,PAI2.0有多項重大更新,除增加了100餘種算法外,更重要的是對主流深度學習框架TensorFlow、Caffe和MXNet的全麵兼容。
3月初,阿裏巴巴董事局主席馬雲宣布啟動內部代號為“NASA”的計劃,將麵向未來 20 年組建強大的獨立研發部門,建立新的機製體製,為服務 20 億人的新經濟體儲備核心科技。
同時,馬雲還動員阿裏巴巴全球兩萬多名工程師投身“NASA”計劃。
在技術大會上,機器學習、芯片、IoT、操作係統、生物識別被明確提及,智能化的產業基礎和應用被放在了突出位置。
國內首個機器學習平台PAI2.0
兩年前,阿裏雲對外發布國內首個機器學習平台PAI。此次版本的重大升級,標誌著阿裏雲在構建AI核心技術能力上又進一步。據悉,阿裏“NASA”計劃將為PAI平台使用者提供強大的技術後盾。
此次PAI2.0的重大升級主要包括以下方麵:
1、全麵擁抱開源
PAI2.0編程接口完全兼容深度學習框架:Tensorflow、Caffe以及MXNet,用戶隻需要將自己本地編寫的代碼文件上傳至雲端就可以執行。
Tensorflow、Caffe和MXNet是目前全球主流的深度學習開源框架。Tensorflow開源算法和模型最豐富;Caffe是經典的圖形領域框架,使用簡單;MXNet分布式性能優異。
對於底層計算資源,PAI2.0提供了強大的雲端異構計算資源,包含CPU、GPU、FPGA。在GPU方麵,PAI2.0可以靈活實現多卡調度。
借助這些框架以及強大的計算資源,用戶能非常方便地就可以將計算任務下發到對應的分布式計算機群上,實現深度學習模型訓練與預測。
2、更豐富的算法庫
PAI2.0提供100餘種算法組件,涵蓋了分類、回歸、聚類等常用場景,還針對主流的算法應用場景,提供了偏向業務的算法,包含文本分析、關係分析、推薦3種類別。
“算法全部脫胎於阿裏巴巴集團內部的業務實踐,所有算法都經曆過PB級數據和複雜業務場景的錘煉,具備成熟穩定的特點”,阿裏雲首席科學家周靖人說。
3、支持更大規模的數據訓練
PAI2.0 新增了參數服務器(Parameter Server)架構的算法。不僅能進行數據並行,同時還可將模型分片,把大的模型分為多個子集,每個參數服務器隻存一個子集,全部的參數服務器聚合在一起拚湊成一個完整的模型。
其創新點還在於失敗重試的功能。
在分布式係統上,成百上千個節點協同工作時,經常會出現一個或幾個節點掛掉的情況,如果沒有失敗重試機製,任務就會有一定的幾率失敗,需要重新提交任務到集群調度。PS算法支持千億特征、萬億模型和萬億樣本直至PB級的數據訓練,適合於電商、廣告等數據規模巨大的推薦場景。
**PAI2.0的初心和願景 **
阿裏雲首席科學家周靖人說,在過去的一年時間裏我們協助客戶落地了多項重大的人工智能應用。但人工智能要想真正成為成為普惠科技,需要一款更加通用的生產工具。PAI2.0正是為此而生。
人工智能綜合了多門學科的技術,對人才要求極其高,除了懂統計學中各種複雜的機器學習算法,還要懂實現邏輯以及分布式架構理論。
PAI可以大幅的降低人工智能的門檻以及開發成本。
從操作界麵來看,PAI沒有繁瑣的公式和複雜的代碼邏輯,用戶看到的是各種分門別類被封裝好的算法組件。每一個實驗步驟都提供可視化的監控頁麵。
在深度學習黑箱透明化方麵,PAI也同時集成了各種可視化工具。
PAI的基礎設施和計算框架建立在阿裏雲飛天計算平台之上,通過雲的模式大幅降低了計算成本,支持MR、SQL、MPI、PS、GRAPH等多種分布式計算框架,對於底層的CPU和GPU計算機群可以靈活調用。
PAI2.0的應用
兩年時間裏,PAI在阿裏巴巴內部已經被廣泛使用。
以淘寶搜索為例,搜索結果會基於商品和用戶的特征進行排序。通過使用參數服務器,淘寶可以把百億個特征的模型,分散到數十個乃至於上百個參數服務器上,打破了規模的瓶頸。
在阿裏雲的客戶當中,廣東省氣象局對PAI的使用最具代表性。
他們使用PAI對臨近預報(0-3小時內)的降雨量進行建模預測。通過拖拽操作就完成了數據清洗、特征工程,非線性機器學習算法訓練以及結果評估的工作。
PAI還被應用在各種前沿科技領域。華大基因聯合阿裏雲科學家,正使用PAI對肺腺癌患者基因進行分析,試圖尋找到導致肺腺癌病發的關鍵基因突變。
最後更新:2017-04-01 16:42:10