964
技術社區[雲棲]
Eclipse遠程調試Spark
修改配置文件
修改${spark_home}/bin/spark-class文件：
"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"
參數說明：
-Xdebug 啟用調試特性
-Xrunjdwp 啟用JDWP實現，包含若幹子選項：
transport=dt_socket JPDA front-end和back-end之間的傳輸方法。dt_socket表示使用套接字傳輸。
address=8888 JVM在8888端口上監聽請求，這個設定為一個不衝突的端口即可。
server=y
y表示啟動的JVM是被調試者。如果為n，則表示啟動的JVM是調試器。suspend=y y表示啟動的JVM會暫停等待，直到調試器連接上才繼續執行。suspend=n，則JVM不會暫停等待。
啟動Spark Application
用eclipse將項目export出jar包，傳到集群上使用spark-submit提交Application，可以看到在等待：
注意，傳到集群上的代碼要和本地一樣！
在Eclipse設置遠程調試的ip和port
- Debug as
- Debug Configurations
- Remote Java Application
- 配置ip和port
最後更新：2017-04-15 09:31:30