919
微信
擴展MapReduce__概要_MapReduce_大數據計算服務-阿裏雲
傳統的MapReduce模型要求每一輪MapReduce操作之後，數據必須落地到分布式文件係統上（比如HDFS或 MaxCompute 表）。而一般的MapReduce應用通常由多個MapReduce作業組成，每個作業結束之後需要寫入磁盤，接下去的Map任務很多情況下隻是讀一遍數據，為後續的Shuffle階段做準備，這樣其實造成了冗餘的IO操作。
MaxCompute 的計算調度邏輯可以支持更複雜編程模型， 針對上麵的那種情況，可以在Reduce後麵直接執行下一次的Reduce操作，而不需要中間插入一個Map操作。基於此，MaxCompute 提供了擴展的MapReduce模型，即可以支持Map後連接任意多個Reduce操作，比如Map->Reduce->Reduce。
Hadoop Chain Mappper/Reducer也支持類似的串行化Map或Reduce操作，但和MaxCompute的擴展MapReduce(MR2)模型有本質的區別，因為Chain Mapper/Reducer還是基於傳統的MapReduce模型，隻是可以在原有的Mapper或Reducer後麵在增加一個或多個Mapper操作(不允許增加Reducer)。這帶來的好處是用戶可以複用之前的Mapper業務邏輯，可以把一個Map或Reduce拆成多個Mapper階段，但本質上並沒有改變底層的調度和I/O模型。
與 MaxCompute MapReduce相比，MR2在Map/Reducedeng 等函數編寫方式上基本一致。較大的不同點發生在作業時。更多詳細信息可參考擴展MapReduce示例。
最後更新：2016-10-17 15:07:41
上一篇： MapReduce__概要__大數據計算服務-阿裏雲
下一篇： 開源兼容MapReduce__概要_MapReduce_大數據計算服務-阿裏雲
- 阿裏雲多款產品降價：最高降幅53％，可按秒計費
- 五步玩轉事件通知__事件通知使用幫助_控製台使用幫助_消息服務-阿裏雲
- VPC如何綁定彈性公網IP（EIP）__常見問題_專有網絡 VPC-阿裏雲
- 帶寬跑滿__故障處理_雲服務器 ECS-阿裏雲
- 怎樣在OSS中使用帶IP限製的訪問控製___對象存儲(OSS)授權問題_授權常見問題_訪問控製-阿裏雲
- SSH 登錄時出現如下錯誤：requirement "uid >= 1000" not met by user "root"__遠程登錄 （SSH）_Linux操作運維問題_雲服務器 ECS-阿裏雲
- 阿裏雲新一代關係型數據庫 PolarDB
- 消息堆積查詢場景__場景示例_Open API_消息隊列 MQ-阿裏雲
- 手工腳本__腳本編寫_使用手冊_性能測試-阿裏雲
- apache日誌__常見日誌格式_用戶指南_日誌服務-阿裏雲
相關內容
- 常見錯誤說明__附錄_大數據計算服務-阿裏雲
- 發送短信接口__API使用手冊_短信服務-阿裏雲
- 接口文檔__Android_安全組件教程_移動安全-阿裏雲
- 運營商錯誤碼（聯通）__常見問題_短信服務-阿裏雲
- 設置短信模板__使用手冊_短信服務-阿裏雲
- OSS 權限問題及排查__常見錯誤及排除_最佳實踐_對象存儲 OSS-阿裏雲
- 消息通知__操作指南_批量計算-阿裏雲
- 設備端快速接入(MQTT)__快速開始_阿裏雲物聯網套件-阿裏雲
- 查詢API調用流量數據__API管理相關接口_API_API 網關-阿裏雲
- 使用STS訪問__JavaScript-SDK_SDK 參考_對象存儲 OSS-阿裏雲