閱讀971 返回首頁    go 技術社區[雲棲]


Spark SQL 作業配置__作業_用戶指南_E-MapReduce-阿裏雲

  1. 注意:Spark SQL 提交作業的模式默認是 yarn-client 模式。

  2. 進入阿裏雲 E-MapReduce 控製台作業列表

  3. 單擊該頁右上角的創建作業,進入創建作業頁麵。

  4. 填寫作業名稱。

  5. 選擇 Spark SQL 作業類型,表示創建的作業是一個 Spark SQL 作業。Spark SQL 作業在 E-MapReduce 後台使用以下的方式提交:

    1. spark-sql [options] [cli option]
  6. 在“應用參數”選項框中填入 Spark SQL 命令後續的參數。

    -e 選項

    -e 選項可以直接寫運行的 SQL,在作業應用參數框中直接輸入,如下所示:

    1. -e "show databases;"

    -f 選項

    -f 選項可以指定 Spark SQL 的腳本文件。通過將編寫好的 Spark SQL 腳本文件放在 OSS 上,可以更靈活,建議您使用這種運行方式。如下所示:

    1. -f ossref://your-bucket/your-spark-sql-script.sql
  7. 選擇執行失敗後策略。

  8. 單擊確定,Spark SQL 作業即定義完成。

最後更新:2016-11-23 16:04:15

  上一篇:go Spark 作業配置__作業_用戶指南_E-MapReduce-阿裏雲
  下一篇:go Shell 作業配置__作業_用戶指南_E-MapReduce-阿裏雲