MaxCompute(原ODPS)開發入門指南——計量計費篇
MaxCompute(原ODPS)開發入門指南
寫在最前麵
>>>進入了解更多>>>阿裏雲數加·MaxCompute大數據計算服務.
近期介紹大量數據上雲用戶關於MaxCompute的一些問題,現就MaxCompute產品線的一些工具棧可以和大家進行交流,也歡迎大家拍磚和來擾,一起學習一起進步!也希望能夠在幫助到大家!
係列文章會涉及到的內容
- 0.MaxCompute概述:是什麼?可以做什麼?收費模式?
- 1.數據上雲工具介紹:Log、Logstash、Flume、Fluentd、DataX等
- 2.MaxCompute開發工具:Data IDE和MaxCompute Studio
- 3.數據分析展現工具概述:Quick BI
MaxCompute概述
MaxCompute(原ODPS)是一項大數據計算服務,它能提供快速、完全托管的PB級數據倉庫解決方案,使您可以經濟並高效的分析處理海量數據。
MaxCompute是什麼
MaxCompute 是麵向大數據處理的雲計算服務,主要提供結構化和非結構化數據的存儲和計算服務,
是阿裏巴巴雲計算整體解決方案中最核心的主力產品之一。
在分析海量數據場景下,由於單台服務器的處理能力限製,數據分析者通常采用分布式計算模式。但分布式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分布式模型,數據分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。MaxCompute 的目的是為用戶提供一種便捷的分析處理海量數據的手段。用戶可以不必關心分布式計算細節,從而達到分析大數據的目的。
MaxCompute 已經在阿裏巴巴集團內部得到大規模應用,例如:大型互聯網企業的數據倉庫和 BI 分析、網站的日誌分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。
進入https://www.aliyun.com/solution/customer選擇大數據,了解更多MaxCompute用戶案例。
MaxCompute可以做什麼
從產品設計角度,MaxCompute 主要麵向三類大數據處理場景:基於SQL 構建大規模數據倉庫和企業BI 係統,基於MapReduce 和BSP 的分布式編程模型開發大數據應用,基於統計和機器學習算法開發大數據統計模型和數據挖掘。在後麵“典型場景”一節將會給出這些場景的應用實例。
從服務角度,MaxCompute 采用抽象的作業處理框架將不同場景的各種計算任務統一在同一個平台之上,共享安全、存儲、數據管理和資源調度,為來自不同用戶需求的各種數據處理任務提供統一的編程接口和界麵。MaxCompute 這種集成多種不同大數據處理應用場景的設計思想領先於業界同類雲計算產品,為大數據應用開發提供一個非常強大的平台。
MaxCompute怎麼收費?
關於MaxCompute的收費問題也是大家近期最為關心的話題,下麵為大家一一解答。更多關於計量計費說明。
目前,MaxCompute以項目project為計費單元,對project內的數據存儲、計算(目前隻是SQL)、數據下載(走公網收費)進行收費,計費周期都是當天出前一天的賬單。
數據存儲-收費
- 0< 存儲量 < 512MB: 收取當前項目0.01元費用。
- 存儲量 > 512MB:
基礎價格 | 大於100GB部分 | 大於1TB部分 | 大於10TB部分 | 大於100TB部分 | 1PB以上部分 |
---|---|---|---|---|---|
0.0192元/GB/天 | 0.0096元/GB/天 | 0.0084元/GB/天 | 0.0072元/GB/天 | 0.006元/GB/天 | 請通過工單聯係我們 |
例如用戶某個項目的存儲為50TB,則每天收取的費用為:
100GB*0.0192元/GB/天 --基礎價格
+(1024-100)GB*0.0096元/GB/天 --大於100GB部分價格
+(10240-1024)GB*0.0084元/GB/天 --大於1TB部分價格
+(50*1024-10240)GB*0.0072元/GB/天 --大於10TB部分價格
=383.12元/天
由於MaxCompute會對原始數據進行壓縮,那麼計費依據也是按照壓縮後的數據量進行計算,一般壓縮比在5倍左右。
計算計費(後付費/預付費)
- 後付費:以作業實際消耗量作為統計指標,在執行後進行收費。
所謂按I/O後付費是指:用戶每執行一條SQL作業,MaxCompute將根據該作業的輸入數據及該SQL的複雜度進行計費。
一次SQL計算費用 = 計算輸入數據量(SQL語句實際掃描數據量) * SQL複雜度 * SQL價格(0.3元/GB),其中複雜度一般先統計SQL語句中的關鍵字再進行折算,也可以使用cost sql 進行估算。
SQL關鍵字個數 = Join個數 + Group By個數 + Order By個數 + Distinct個數 + 窗口函數個數 + max(insert into個數-1, 1)
在Data IDE中會針對每個SQL在執行前會進行一次計算消費的預估,如下圖:
- 預付費:包年包月購買CU方式,10CU起售。
1CU = 1CPU + 4GB內存,售價為 150元/月。
下載計費
對於公網或者跨Region的數據下載,MaxCompute將按照下載的數據大小進行計費(也就是說數據下載走內網模式且在當前region內是不計費的)。計費公式為:
一次下載費用 = 下載數據量 * 下載價格
針對不同網絡環境(訪問 MaxCompute 及其 Tunnel 服務的連接地址)的收費模式詳細說明如下:
區域 | 網絡 | MaxCompute服務連接 | MaxCompute tunnel連接 | 下載是否收費 |
---|---|---|---|---|
華東1 | 公網 | https://service.odps.aliyun.com/api | https://dt.odps.aliyun.com | 是 |
華東1 | 經典網絡 | https://odps-ext.aliyun-inc.com/api | https://dt-ext.odps.aliyun-inc.com | 否 |
華東1 | VPC | https://odps-ext.aliyun-inc.com/api | https://dt-ext.odps.aliyun-inc.com | 是 |
華東2 | 公網 | https://service.odps.aliyun.com/api | https://dt.odps.aliyun.com | 是 |
華東2 | 經典網絡 | https://odps-ext.aliyun-inc.com/api | https://dt.eu13.odps.aliyun.com | 否 |
華東2 | VPC | https://odps-ext.aliyun-inc.com/api | https://dt-ext.eu13.odps.aliyun-inc.com | 否 |
華北2 | 公網 | https://service.odps.aliyun.com/api | https://dt.odps.aliyun.com | 是 |
華北2 | 經典網絡 | https://odps-ext.aliyun-inc.com/api | https://dt-ext.nu16.odps.aliyun-inc.com | 否 |
華北2 | VPC | https://odps-ext.aliyun-inc.com/api | https://dt-ext.nu16.odps.aliyun-inc.com | 否 |
其他 | 公網 | https://service.odps.aliyun.com/api | https://dt.odps.aliyun.com | 是 |
其他 | 經典網絡 | https://odps-ext.aliyun-inc.com/api | https://dt-ext.odps.aliyun-inc.com | 否 |
其他 | VPC | 不支持,需要用戶走公網訪問 | 不支持,需要用戶走公網訪問 | -- |
- 如上述還不能幫助到大家,大家可以進入計量計費詳細說明進行了解。也可以通過如下釘釘掃碼方式進入,谘詢我們的售前工程師。
最後更新:2017-06-07 15:02:11