閱讀461 返回首頁    go 阿裏雲 go 技術社區[雲棲]


MaxCompute模板與樣例

1. 簡介

  • MaxCompute : 是一種快速、完全托管的數據倉庫解決方案,用戶可以通過SQL, MR, UDF等接口與其交互。
  • MaxCompute Studio : 是MaxCompute平台提供的安裝在開發者客戶端的大數據集成開發環境(IDE),是用戶與MaxCompute交互的高效工具。
  • 代碼模板:讓用戶更加高效的寫一些固定模式的代碼,簡化很多重複的代碼,以提高編碼效率。
  • 代碼示例:一例勝千言,幫助用戶快速熟悉語法,可參考示例編寫自己的程序,快速上手。

代碼模板和示例是用戶熟悉新產品和提高開發效率的有效方式,studio提供了一係列的開發模板和代碼實例。用戶可以通過這些功能,快速熟悉MaxCompute,玩轉大數據下的程序開發。

2. SQL模板

用戶常用sql來查詢和分析MaxCompute中的大規模數據,是與MaxCompute交互的主要方式(需要注意的是sql語法與Oracle或MySQL有一定差別,用戶無法將其他數據庫中的sql語句無縫遷移到MaxCompute上來)。一種常見情況是容易忘記sql的語法,在沒有studio之前用戶隻能到處找MaxCompute的文檔或者搜尋例子,效率十分地下。Studio在sql editor中集成了豐富的sql模板,方便用戶在忘記語法時快速插入語法骨架。譬如我想創建一張外部表,忘記sql怎麼寫了,隻記得肯定有個create關鍵字。那麼可以在editor中通過快捷鍵(windows: Ctrl + J , mac: Command + J)喚出sql live template,然後輸入create,studio就會列出所有創建表的sql模板,如下圖:

image

我們選擇第一個create external table,然後回車,editor中就會插入外部表的模板,用戶繼續在模板上修改sql即可:

image

3. 函數幫助樣例

用戶在寫sql的過程中,難免要用到一些係統內置函數(builtin function)或用戶自定義函數(user defined function),如果有文檔樣例或者看下源碼知道其邏輯就好了,studio對此也提供了支持。

  • 3.1 對於係統內置函數,我們提供了文檔樣例說明。譬如我要做日期處理,知道有個函數叫dateadd,但怎麼用,入參和出參是什麼不是很清楚。很簡單,在editor中輸入dateadd(),然後快捷鍵(windows: Ctrl + Q , mac: Ctrl + J)喚出document provider,就會看到一個文檔對話框,包括這個函數的參數聲明,用途,參數說明,備注和示例,很方便有沒有。

image

  • 3.2 對於用戶自定義函數,我們提供了源碼下載支持。譬如如下test_function_haoping是一個java UDF,我們按住ctrl鍵(mac: command)並單擊,studio就會自動下載這個UDF用到的jar包資源,然後反編譯打開UDF代碼。

image

4. 程序開發模板

對於UDF,MR以及非結構化開發,框架的模板方法代碼如果每次都需要自己輸入,效率十分低下。studio為此提供了代碼模板支持,具體的,在源碼路徑上,new -> MaxCompute Java:

image

在Kind下拉列表中選擇你需要開發的程序類型(包括UDF,UDAF,UDTF,Driver,Mapper,Reducer,StorageHandler, Extractor,Outputter),點擊ok,editor裏會自動填充框架代碼,隻需要繼續在其上修改即可。

image

5. 程序開發樣例

除了開發模板,對UDF, MR以及非結構化,studio都集成了一些程序樣例。具體的,新建一個MaxCompute java module,在examples目錄下有各種示例代碼及單元測試,用戶可參考編寫自己的程序。

6. 測試數據樣例

studio支持用戶在本地運行UDF,MR以及非結構化,而這必然依賴於表的數據。一種方式是通過tunnel下載相應表的生產樣例數據,另外也可以參考樣例,完全構造自己的測試數據。具體的,參考warehouse下example_project的目錄結構以及data,構造自己的測試數據,配置運行時,選擇自己構造的表或數據即可。

image

最後更新:2017-07-24 23:33:28

  上一篇:go  如何獲得阿裏雲代金券_首購8折優惠
  下一篇:go  【Linux FTP】(3)ftp-client自動上傳文件