閱讀554 返回首頁    go 阿裏雲 go 技術社區[雲棲]

MaxCompute Studio使用心得係列1——本地數據上傳下載

MaxCompute Studio已經發布好久，一直沒能好好體驗，近期MaxCompute Studio 陸續推出很多好用的功能，今天開始給大家分享使用心得。

用過大數據開發套件的同學，對於本地數據上傳下載，都會遇到這樣的問題：

  • ‘導入本地數據’功能，限製本地數據文件大小最大為10MB；
  • 查詢結果導出本地時，由於select語句返回結果最大為10000行的限製，最多隻能導出1W數據；
  • 數據導出本地文件的功能隻有‘查詢結果導出本地’。

要解決以上問題，通常都是需要自己安裝console客戶端，通過tunnel命令進行導入導出。

現在來分享使用MaxCompute Studio工具界麵，可以更輕鬆完成tunnel命令能完成的本地數據導入導出工作。

MaxCompute Studio工具安裝請參考文檔安裝 IntelliJ IDEA、安裝MaxCompute Studio.

本地數據導入

前提條件：表、分區已經存在，操作人有權限對表進行數據寫入。

進入MaxCompute Studio的Project Explorer窗口，展開Data Preview，鼠標對需要導入數據的表右鍵，選擇 Import data into table

image

彈出的框裏選擇上傳的本地數據文件路徑、分區（非分區表無需填）、分隔符、行數限製、大小限製等：

注意：大小限製（Size Limit）不限於10MB。

image

點擊OK後可以看右下角進度條，最終成功與否會在Event Log裏可查看相關日誌。導入成功日誌中會給出寫入成功的行數和寫入失敗的行數。如：

上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ].

數據導出本地

前提條件：操作人有權限對表進行數據導出。

進入MaxCompute Studio的Project Explorer窗口，展開Data Preview，鼠標對需要導入數據的表右鍵，選擇 Export data from table

image

彈出框輸入導出文件地址包括文件名文件類型（CSV或TXT）、選擇需要下載的分區（非分區表直接下載整張表）、導出行數限製、大小限製等。

注意：行數不限於10000行，大小不限於10MB，可以下載整張非分區表或分區表的整個分區。

image

點擊OK後可以看右下角進度條，最終成功與否會在Event Log裏可查看相關日誌。導出成功日誌中會給出導出成功的行數和導出失敗的行數。如：

上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].

結束語：MaxCompute Studio中上述的本地數據導入導出功能實際上就是采用 MaxCompute Tunnel 服務，功能與Tunnel命令一樣。

最後更新：2017-10-26 15:33:39

  上一篇：go  織夢cms添加自定義表段內容被轉義解決辦法
  下一篇：go  高防服務器降低風險的10種方法