447      阿裏雲  技術社區[雲棲]

《Spark 官方文檔》在YARN上運行Spark

在YARN上運行Spark

對 YARN (Hadoop NextGen) 的支持是從Spark-0.6.0開始的，後續的版本也一直持續在改進。

在YARN上啟動

首先確保 HADOOP_CONF_DIR 或者 YARN_CONF_DIR 變量指向一個包含Hadoop集群客戶端配置文件的目錄。這些配置用於讀寫HDFS和連接YARN資源管理器（ResourceManager）。這些配置應該發布到YARN集群上所有的節點，這樣所有的YARN容器才能使用同樣的配置。如果這些配置引用了Java係統屬性或者其他不屬於YARN管理的環境變量，那麼這些屬性和變量也應該在Spark應用的配置中設置（包括驅動器、執行器，以及其AM【運行於client模式時的YARN Application Master】）

在YARN上啟動Spark應用有兩種模式。在cluster模式下，Spark驅動器（driver）在YARN Application Master中運行（運行於集群中），因此客戶端可以在Spark應用啟動之後關閉退出。而client模式下，Spark驅動器在客戶端進程中，這時的YARN Application Master隻用於向YARN申請資源。

與獨立部署（ Spark standalone ）或 在Mesos 集群中不同，YARN的master地址不是在–master參數中指定的，而是在Hadoop配置文件中設置。因此，這種情況下，–master隻需設置為yarn。

以下用cluster模式啟動一個Spark應用：

$ ./bin/spark-submit --class path.to.your.Class \
--master yarn \
--deploy-mode cluster \
[options] \
<app jar> [app options]

例如：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    lib/spark-examples*.jar 10

以上例子中，啟動了一個YARN客戶端程序，使用默認的Application Master。而後SparkPi在Application Master中的子線程中運行。客戶端會周期性的把Application Master的狀態信息拉取下來，並更新到控製台。客戶端會在你的應用程序結束後退出。參考“調試你的應用”，這一節說明了如何查看驅動器和執行器的日誌。

要以client模式啟動一個spark應用，隻需在上麵的例子中把cluster換成client。下麵這個例子就是以client模式啟動spark-shell：

$ ./bin/spark-shell --master yarn --deploy-mode client

增加其他JAR包

在cluster模式下，驅動器不在客戶端機器上運行，所以SparkContext.addJar添加客戶端本地文件就不好使了。要使客戶端上本地文件能夠用SparkContext.addJar來添加，可以用–jars選項：

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar
    my-main-jar.jar
    app_arg1 app_arg2

準備

在YARN上運行Spark需要其二進製發布包構建的時候增加YARN支持。二進製發布包可以在這裏下載：downloads page 。

想要自己編譯，參考這裏： Building Spark

配置

大多數配置，對於YARN或其他集群模式下，都是一樣的。詳細請參考這裏： configuration page。

以下是YARN上專有的配置項。

調試你的應用

在YARN術語集中，執行器和Application Master在容器（container）中運行。YARN在一個應用程序結束後，有兩種處理容器日誌的模式。如果開啟了日誌聚合（yarn.log-aggregation-enable），那麼容器日誌將被複製到HDFS，並刪除本地日誌。而後這些日誌可以在集群任何節點上用yarn logs命令查看：

yarn logs -applicationId <app ID>

以上命令，將會打印出指定應用的所有日誌文件的內容。你也可以直接在HDFS上查看這些日誌（HDFS shell或者HDFS API）。這些目錄可以在你的YARN配置中指定（yarn.nodemanager.remote-app-log-dir和yarn.nodemanager-remote-app-log-dir-suffix）。這些日誌同樣還可以在Spark Web UI上Executors tab頁查看。當然，你需要啟動Spark history server和 MapReduce history server，再在 yarn-site.xml 中配置好 yarn.log.server.url。Spark history server UI 將把你重定向到MapReduce history server 以查看這些聚合日誌。

如果日誌聚合沒有開啟，那麼日誌文件將在每台機器上的 YARN_APP_LOGS_DIR 目錄保留，通常這個目錄指向 /tmp/logs 或者 $HADOOP_HOME/log/userlogs（這取決於Hadoop版本和安全方式）。查看日誌的話，需要到每台機器上查看這些目錄。子目錄是按 application ID 和 container ID來組織的。這些日誌同樣可以在 Spark Web UI 上 Executors tab 頁查看，而且這時你不需要運行MapReduce history server。

如果需要檢查各個容器的啟動環境，可以先把 yarn.nodemanager.delete.debug-delay-sec 增大（如：36000），然後訪問應用緩存目錄yarn.nodemanager.local-dirs，這時容器的啟動目錄。這裏包含了啟動腳本、jar包以及容器啟動所用的所有環境變量。這對調試 classpath 相關問題尤其有用。（注意，啟用這個需要管理員權限，並重啟所有的node managers，因此，對托管集群不適用）

要自定義Application Master或執行器的 log4j 配置，有如下方法：

• 通過spark-submit –files 上傳一個自定義的 log4j.properties 文件。
• 在 spark.driver.extraJavaOptions（對Spark驅動器）或者 spark.executor.extraJavaOptions（對Spark執行器）增加 -Dlog4j.configuration=<location of configuration file>。注意，如果使用文件，那麼 file: 協議頭必須顯式寫上，且文件必須在所節點上都存在。
• 更新 ${SPARK_CONF_DIR}/log4j.properties 文件以及其他配置。注意，如果在多個地方都配置了log4j，那麼上麵其他兩種方法的配置優先級比本方法要高。

注意，第一種方法中，執行器和Application Master共享同一個log4j配置，在有些環境下（AM和執行器在同一個節點上運行）可能會有問題（例如，AM和執行器日誌都寫入到同一個日誌文件）

如果你需要引用YARN放置日誌文件的路徑，以便YARN可以正確地展示和聚合日誌，請在log4j.properties文件中使用spark.yarn.app.container.log.dir。例如，log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log 。對於流式應用，可以配置RollingFileAppender，並將文件路徑設置為YARN日誌目錄，以避免磁盤打滿，而且這些日誌還可以利用YARN的日誌工具訪問和查看。

Spark屬性

重要提示

• 對CPU資源的請求是否滿足，取決於調度器如何配置和使用。
• cluster模式下，Spark執行器（executor）和驅動器（driver）的local目錄都由YARN配置決定（yarn.nodemanager.local-dirs）；如果用戶指定了spark.local.dir，這時候將被忽略。在client模式下，Spark執行器（executor）的local目錄由YARN決定，而驅動器（driver）的local目錄由spark.local.dir決定，因為這時候，驅動器不在YARN上運行。
• 選項參數 –files和 –archives中井號（#）用法類似於Hadoop。例如，你可以指定 –files localtest.txt#appSees.txt，這將會把localtest.txt文件上傳到HDFS上，並重命名為 appSees.txt，而你的程序應用用 appSees.txt來引用這個文件。
• 當你在cluster模式下使用本地文件時，使用選項–jar 才能讓SparkContext.addJar正常工作，而不必使用 HDFS，HTTP，HTTPS或者FTP上的文件。

最後更新：2017-05-19 17:01:57

  上一篇：  一次應用OOM排查

  下一篇：  《SLF4J官方文檔》SLF4J警告或錯誤信息及其含義