阿裏雲E-MapReduce Spark SQL 作業配置
.注意:
Spark SQL提交作業的模式默認是
yarn-client` 模式。
2.進入阿裏雲E-MapReduce控製台作業列表。
3.單擊該頁右上角的創建作業,進入創建作業頁麵。
4.填寫作業名稱。
5.選擇 Spark SQL 作業類型,表示創建的作業是一個 Spark SQL 作業。Spark SQL 作業在 E-MapReduce 後台使用以下的方式提交:
spark-sql [options] [cli option]
6.在“應用參數”選項框中填入 Spark SQL 命令後續的參數。
-e 選項
-e 選項可以直接寫運行的 SQL,在作業應用參數框中直接輸入,如下所示:
-e "show databases;"
-f 選項
-f 選項可以指定 Spark SQL 的腳本文件。通過將編寫好的 Spark SQL 腳本文件放在 OSS 上,可以更靈活,建議您使用這種運行方式。如下所示:
-f ossref://your-bucket/your-spark-sql-script.sql
7.選擇執行失敗後策略。
8.單擊確定,Spark SQL 作業即定義完成。
最後更新:2017-09-01 01:02:51