109 阿裏雲技術社區[雲棲]

odps是什麼?

ODPS（Open Data Processing Service），是阿裏巴巴通用計算平台提供的一種快速、完全托管的 GB/TB/PB 級數據倉庫解決方案，現在已更名為MaxCompute，MaxCompute 向用戶提供了完善的數據導入方案以及多種經典的分布式計算模型，能夠更快速的解決用戶海量數據計算問題，有效降低企業成本，並保障數據安全。

同時，大數據開發套件和 MaxCompute關係緊密，大數據開發套件為 MaxCompute 提供了一站式的數據同步，任務開發，數據工作流開發，數據管理和數據運維等功能，您可以參見大數據開發套件簡介來對其進行深入了解。

MaxCompute 主要服務於批量結構化數據的存儲和計算，可以提供海量數據倉庫的解決方案以及針對大數據的分析建模服務。隨著社會數據收集手段的不斷豐富及完善，越來越多的行業數據被積累下來。數據規模已經增長到了傳統軟件行業無法承載的海量數據(百 GB、TB 乃至 PB)級別。

在分析海量數據場景下，由於單台服務器的處理能力限製，數據分析者通常采用分布式計算模式。但分布式的計算模型對數據分析人員提出了較高的要求，且不易維護。使用分布式模型，數據分析人員不僅需要了解業務需求，同時還需要熟悉底層計算模型。MaxCompute 的目的是為用戶提供一種便捷的分析處理海量數據的手段。用戶可以不必關心分布式計算細節，從而達到分析大數據的目的。

MaxCompute 已經在阿裏巴巴集團內部得到大規模應用，例如：大型互聯網企業的數據倉庫和 BI 分析、網站的日誌分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。

MaxCompute 發展曆程

從 2009 年 9 月阿裏雲成立，願景就是做運算/分享數據第一平台；2010年4月，伴隨阿裏金融的貸款業務上線，ODPS 正式投入生產運行，2012 年建立統一數據平台，2013 年具備超大規模海量數據處理能力，2014~2015 年大數據平台開始日趨成熟，2016 MaxCompute 2.0 的誕生，成立之初的願景經過一步步努力逐步實現。

關鍵性裏程碑

2010.04 ODPS 正式投入生產運行。阿裏金融的貸款業務上線穩定運行。
2013.05 ODPS 公測。
2013.07 ODPS 正式提供商業化服務，單集群規模 5K 台服務器多級群能力。
2016.09 ODPS 正式更名為 MaxCompute，並推出 2.0，實現高性能，新功能，富生態。

大數據平台發展曆程

MaxCompute 組件

數據通道：
- TUNNEL：提供高並發的離線數據上傳下載服務。用戶可以使用 Tunnel 服務向 MaxCompute 批量上傳或下載數據。MaxCompute Tunnel 僅提供 Java 編程接口供用戶使用。
計算及分析任務：
- SQL：MaxCompute 隻能以表的形式存儲數據，並對外提供了 SQL 查詢功能。用戶可以將 MaxCompute 作為傳統的數據庫軟件操作，但其卻能處理TB、PB級別的海量數據。需要注意的是，MaxCompute SQL 不支持事務、索引及 Update/Delete 等操作，同時 MaxCompute 的 SQL 語法與 Oracle，MySQL 有一定差別，用戶無法將其他數據庫中的 SQL 語句無縫遷移到 MaxCompute 上來。此外，在使用方式上，MaxCompute SQL 最快可以在分鍾，乃至秒級別完成查詢，無法在毫秒級別返回用戶結果。MaxCompute SQL 的優點是對用戶的學習成本低，用戶不需要了解複雜的分布式計算概念。具備數據庫操作經驗的用戶可以快速熟悉 MaxCompute SQL 的使用。
- UDF：即用戶自定義函數。MaxCompute 提供了很多內建函數來滿足用戶的計算需求，同時用戶還可以通過創建自定義函數來滿足不同的計算需求。
- MapReduce：MapReduce 最早是由 Google 提出的分布式數據處理模型，隨後受到了業內的廣泛關注，並被大量應用到各種商業場景中。在本文檔中，我們會對 MapReduce 模型做簡要介紹，以便於用戶快速熟悉、了解該模型。使用 MaxCompute MapReduce 的用戶需要對分布式計算概念有基本了解，並有相對應的編程經驗。MaxCompute MapReduce 為用戶提供 Java 編程接口。
- Graph：MaxCompute 提供的 Graph 功能是一套麵向迭代的圖計算處理框架。圖計算作業使用圖進行建模，圖由點 (Vertex) 和邊 (Edge) 組成，點和邊包含權值 (Value)。通過迭代對圖進行編輯、演化，最終求解出結果，典型應用：PageRank，單源最短距離算法，K-均值聚類算法等。
SDK：提供給開發者的工具包，SDK 的相關介紹請參見 SDK介紹。
安全：MaxCompute 提供了功能強大的安全服務，為用戶的數據安全提供保護，詳情請參見安全參考手冊。