閱讀534 返回首頁    go 阿裏雲 go 技術社區[雲棲]


大數據開發—常見問題(2)

我們在進行大數據開發過程中,會遇到各種問題,本文將定期收集整理一些在使用阿裏雲數加 MaxCompute 大數據開發套件 過程中遇到的常見問題,供大家參考~

Q. 圖片中的任務狀態實際是暫停的,為什麼統計的是失敗?

1

A. 大數據開發套件中的暫停狀態,就是失敗,所以會放在失敗裏統計. 此處建議如果用於緊急處理任務,減少對下遊數據的影響,可以將其置為暫停狀態;如果是不再使用的任務,建議刪除 。

Q. 一個 sql 裏 join 一個百萬的小表 6 次,這個小表的數據會在內存裏做緩存嗎?還是會被全表掃描 6 次?
A. 當一個大表和一個或多個小表做 join 時,可以使用 mapjoin ,在小數據量情況下,SQL 會將用戶指定的小表全部加載到執行 join 操作的程序的內存中,從而加快 join 的執行速度 。詳情請參見 SELECT 操作 中的 mapjoin 部分的內容 。

Q. MaxCompute 對於有臨時表的任務是否可以自動推薦上遊任務?
A. 有臨時表的任務是無法自動推薦依賴的, 腳本本身會產生表,無法自依賴,需要靠人工填這個上遊依賴關係 。

Q. MaxCompute 是否支持 Elasticsearch ?
A. 不支持 。

Q. UDF 裏是否可以查詢 OTS..?
A. 不可以 。

Q. 通過 SQL 語句創建 MaxCompute 表時,怎麼設置“中文名”?如下圖所示:

2

A. 這裏的中文名是在數據管理模塊中為了方便管理而設置的,MaxCompute 表本身沒有這個屬性, 包括所屬類目等,都是在數據治理中用到 。

Q. MaxCompute 存儲過程中支持類似於 oracle 的 EXECUTE IMMEDIATE + sql 語句 這樣的語法嗎?也就是說可以自己拚湊一個動態的 sql,然後讓它執行嗎?
A. 不支持 。

最後更新:2017-05-05 11:31:39

  上一篇:go 前端魔法堂:解秘FOUC
  下一篇:go Nodejs進階:用debug模塊打印調試日誌