Spark 作业代码（源码）IDE 远程调试

我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。

本文以调试Spark Application为例进行说明，本文用到的IDE是IntelliJ IDEA。步骤如下：

设置调试相关参数

JAVA自身支持调试功能，我们仅仅需要在程序启动之前，在JVM里面设置以下参数：

因为 Spark 应用程序是分布式的，所有调试的时候有点麻烦。但是如果知道方法也是很容易的。这里分两种情况来说明：

调试 Driver 端相关代码

Spark应用程序都有一个 Driver，如果你是 yarn-client 模式，这个 Driver 一般在你启动程序的机器上运行。如果你想调试这块模块，我们需要在 Driver 相关参数里面设置调试参数如下：

这个配置可以放到  里面；也可以在启动作业的时候通过 --conf 设置，比如：

这时候我们就可以调试 Driver 相关的代码了。

调试 Executor 端相关代码

一个Spark应用程序一般会启动一个或多个 Executor ，我们应用程序相关的计算逻辑一般都是在这里完成的，所有如果你想调试这块的代码，需要在 Executor 启动的 JVM 加入相关的调试参数如下：

这个配置可以放到 里面；也可以在启动作业的时候通过 --conf 设置，比如：

可以看见，Executor 的调试代码和 Driver 很类似。

启动Spark Application

上面我们已经设置好了相关的调试参数，现在我们可以启动 Spark Application 应用程序了。如下：

如果你看到第九行的输出（Listening for transport dt_socket at address: 8888），那恭喜你了，启动了远程调试。而且Spark Application正在等待我们的IDE连接它。

在IntelliJ IDEA设置远程调试的IP和Port

如果你需要调试 Driver 相关代码，依次选择 Edit Configurations->点击左上角的+号->Remote，在弹出的页面里面将Host和Port两个选项设置为你Driver运行所在节点机器的IP和Port。

设置完后，设置好程序的断电，然后再点击IDE上面的 Debug 按钮（就是那个虫子按钮）。

这时候，程序会继续运行，而且在IDE里面会输出以下信息

而且程序会跳到你设置断点的地方，你可以在你IDE的Dubegger里面看到如下的信息：

调试 Executor 相关的代码和上面设置类似，这里就不介绍了。

问题

在调试 Executor 相关代码大家可能会遇到相关的问题。如下：

这个问题是 Spark 在同一台机器上启动多个 Executor， 导致端口被占用，出现的异常，这时候你只需要把 --num-executors 设置为1即可解决这个问题。

我们还有可能遇到下面的问题：

这是因为我们在调试出现的时候，整个程序运行流程就卡到那了。这时候 Driver 就无法接收到 Executor 发来的心跳信息了，从而产生这种异常。解决办法也很简单，只需要把下面两个参数加大即可：

spark.executor.heartbeatInterval 参数不能设的比 spark.network.timeout 大。

在看和转发

都是一种支持