閱讀519 返回首頁    go 阿裏雲 go 技術社區[雲棲]


阿裏雲E-MapReduce Spark SQL 作業配置

.注意:Spark SQL提交作業的模式默認是yarn-client` 模式。

2.進入阿裏雲E-MapReduce控製台作業列表

3.單擊該頁右上角的創建作業,進入創建作業頁麵。

4.填寫作業名稱。

5.選擇 Spark SQL 作業類型,表示創建的作業是一個 Spark SQL 作業。Spark SQL 作業在 E-MapReduce 後台使用以下的方式提交:

spark-sql [options] [cli option]
6.在“應用參數”選項框中填入 Spark SQL 命令後續的參數。

-e 選項

-e 選項可以直接寫運行的 SQL,在作業應用參數框中直接輸入,如下所示:

-e "show databases;"
-f 選項

-f 選項可以指定 Spark SQL 的腳本文件。通過將編寫好的 Spark SQL 腳本文件放在 OSS 上,可以更靈活,建議您使用這種運行方式。如下所示:

-f ossref://your-bucket/your-spark-sql-script.sql
7.選擇執行失敗後策略。

8.單擊確定,Spark SQL 作業即定義完成。

最後更新:2017-09-01 01:02:51

  上一篇:go  阿裏雲E-MapReduce 創建執行計劃
  下一篇:go  阿裏雲E-MapReduce Spark 作業配置