閱讀164 返回首頁    go 魔獸

數據開發常見問題__常見問題_大數據開發套件-阿裏雲

Q：如何創建ODPS表？

A：大數據平台上有兩種方式建表：

一種是在數據開發模塊通過腳本文件或者工作流任務執行建表語句，詳情請看快速開始-創建表。這個方式建表owner為項目管理中項目計算引擎設置的‘ODPS訪問身份’賬號，無類目管理。

一種是在數據管理模塊可視化方式建表，詳情請看數據管理-創建表。這個方式建表owner為當前登錄賬號，有類目管理。

Q：怎麼把數據導入到odps上？

A：數據導入到ODPS有基本歸類為3種情況：-數據開發套件-快速開始

1）本地數據文件一次性導入到odps某個表。解決方案：直接在數據開發麵板右邊工作區域右上角“新建-導入本地數據”，詳細請參考文檔數據導入。

2）離線數據庫單表導入。解決方案：開發麵板建工作流（按需建一次性或者周期調度工作流），創建‘數據同步’任務，具體可以參考創建數據同步任務

Q：RDS數據源連通測試不通過怎麼辦？

A:目前RDS數據源僅支持杭州地域的RDS，北京地域暫時不支持。另外當杭州地域的RDS也遇到數據源測試不連通的時候，需要到自己RDS上添加數據同步機器ip白名單：

10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15

Q：調度參數怎麼用？

A：目前係統參數有兩個，這兩個係統參數隻要代碼裏用到，不需要做額外的賦值動作，節點自動調度的時候就會自動替換。係統參數分別為：

  • ${bdp.system.bizdate}格式yyyymmdd，日常調度實例定時時間的前一天（年月日）。節點每天自動調度實例定時時間年月日減1天。

  • ${bdp.system.cyctime}格式yyyymmddhh24miss，日常調度實例定時時間（年月日時分秒）。 yyyy表示4位數年份，mm表示2位數月份，dd表示2位數天，hh24表示24小時製的時，mi表示2位數分鍾，ss表示2位數秒。

使用方式：節點代碼裏編輯如pt=${bdp.system.bizdate}，然後節點在調度上運行即可自動替換值。

若節點每天調度時代碼裏有變量需要賦當天減2的日期，即業務日期減1天，格式為yyyymmdd，需要係統參數和ODPS內建函數一起使用，如下：

節點代碼dt=to_char(dateadd(TO_DATE(‘${bdp.system.bizdate}’, ‘yyyymmdd’), -1, ‘dd’), ‘yyyymmdd’)

ODPS內建日期函數具體可查看幫助文檔：大數據計算服務 ODPS > SQL > 內建函數定位到“日期函數”

Q：本地文件數據上傳功能有沒有文件大小限製？

A：一次性上傳文件大小上限為10M。

Q：我在“數據開發”模塊通過腳本寫建表語句建成功建表，但是為什麼在“數據管理”模塊“數據表管理-我擁有的表”列表裏沒看到？**

A：遇到此問題，首先要查看當前項目的“項目管理-MaxCompute基本配置”，MaxCompute訪問身份配置應該是選擇了“係統賬號”，通過數據開發腳本提交的建表語句都是用該賬號創建的表即表owner為該賬號，而“數據管理-我擁有的表”是指當前登錄賬號為owner的表。

Q：一個工作流裏的節點可以不彼此依賴嗎？

A：

  • 一個工作流裏沒有業務關係的節點可以不用彼此依賴；
  • 一個工作流裏隻能有一個根節點，即沒有父節點的節點；
  • 一個工作流裏某個節點可以依賴多個節點，也可以被多個節點依賴；
  • 一個工作流裏可以有多個節點沒有被其他節點依賴。

Q：如何將rds裏的數據表鏈接到Data IDE中？

A：大數據開發套件（Data IDE）隻能查看MaxCompute的數據，RDS的數據表需要同步到MaxCompute的表才可以在Data IDE中操作。數據同步可以參考：https://help.aliyun.com/document_detail/30269.html

Q：數加平台能不能從RDS的隻讀實例同步數據？

A：支持從隻讀RDS讀出數據，然後導到其他的地方。實際上，為了減少對業務庫的壓力，我們也建議做etl的時候，從隻讀庫上導。具體數據同步配置可參考：https://help.aliyun.com/document_detail/30269.html

最後更新：2016-12-20 17:43:22

  上一篇：go 準備工作常見問題__常見問題_大數據開發套件-阿裏雲
  下一篇：go 數據管理常見問題__常見問題_大數據開發套件-阿裏雲