Spark常见问题(持续更新)

栏目: 编程工具 · 发布时间: 5年前

内容简介：这篇文章记录了Spark应用开发过程遇到的各种问题及解决方案。主要来自于个人开发的实践，也有部分解决方案来自互联网，如有不足之处欢迎批评指正。这个是Spark应用常见错误。JVM堆内存空间不足。解决方案如下：这个也是Spark应用常见错误，由于GC时间过长导致的。解决方案如下：

这篇文章记录了Spark应用开发过程遇到的各种问题及解决方案。主要来自于个人开发的实践，也有部分解决方案来自互联网，如有不足之处欢迎批评指正。 本人会持续更新转载请保留原文地址

问题描述及解决方案

java.lang.OutOfMemoryError: Java heap space错误

这个是Spark应用常见错误。JVM堆内存空间不足。解决方案如下：

首先要判断是Driver或者Executor出现OOM，通过–driver-memory或者–executor-memory进行调整。
如果是Spark SQL或者Spark Streaming的程序，建议适当地提高heap size。

java.lang.OutOfMemoryError: GC overhead limit exceeded错误

这个也是Spark应用常见错误，由于GC时间过长导致的。解决方案如下：

直接通过–driver-memory或者–executor-memory增加heap size
修改GC policy。可以使用-XX:UseG1GC或者-XX:UseParallelGC

编译OK，运行时出NoClassDefineError错误

这个错误非常清晰，根本原因就是jar没有放入classpath之中。首先需要判断到底是Driver还是Executor缺少这个jar包。

将jar包路径配置到spark.driver.extraClassPath或者spark.executor.extraClassPath。
将jar包路径通过spark-submit的–driver-class-path或者–executor-class-path指定。

其实，spark-submit还有一个–packages参数，这个参数让Spark通过Maven从本地或者远程的repository处获取jar包。这个参数看似非常方便，但实际使用的时候不是很实用。因为Hadoop和Spark集群应用一般都是部署在内网的，为了数据安全，一般情况都是无法访问外网的。

org.apache.spark.SparkException: Task not serializable

关于这个问题有单独的一篇文章进行分析，详见： Spark Troubleshooting - Task not serializable问题分析

java.io.IOException: No space left on device错误

具体stack trace如下：

stage 89.3 failed 4 times, most recent failure:
Lost task 38.4 in stage 89.3 (TID 30100, rhel4.cisco.com): java.io.IOException: No space left on device
            at java.io.FileOutputStream.writeBytes(Native Method)
            at java.io.FileOutputStream.write(FileOutputStream.java:326)
            at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackingOutputStream.java:58)
            at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82)
            at java.io.BufferedOutputStream.write(BufferedOutputStream.java:126)

这个错误是由于，Spark “scratch” space不足，具体路径通过spark.local.dir参数设置，默认是/tmp。官方对于scratch space的解释是

Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk.
This should be on a fast, local disk in your system.
It can also be a comma-separated list of multiple directories on different disks.

spark.driver.maxResultSize超出错误

数据拉回Driver端是有限制的，通过spark.driver.maxResultSize控制：

默认是1g
可以设置为0或者unlimited
如果设置成unlimited就不会再遇到这个错误，取而代之的是OOM。

java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE

具体stack trace如下：

java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828) at
org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123) at
org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132) at
org.apache.spark.storage.BlockManager.doGetLocal(BlockManager.scala:51 7) at
org.apache.spark.storage.BlockManager.getLocal(BlockManager.scala:432) at
org.apache.spark.storage.BlockManager.get(BlockManager.scala:618) at
org.apache.spark.CacheManager.putInBlockManager(CacheManager.scala:146 ) at
org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:70)

这个问题是由于shuffle block大于2GB导致的，这个是Spark实现上的一个问题。Spark使用ByteBuffer作为storing blocks。

val buf = ByteBuffer.allocate(length.toInt) * ByteBufferislimitedbyInteger.MAX_SIZE

这就是2GB的由来。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

极致：互联网时代的产品设计

戴维•罗斯 / 中信出版集团 / 2016-6 / 49.00元

在不远的未来，日常物品将能够迅速理解我们的需求，改善我们的生活，并随处可见。为了实现这一预期，我们需要能够发现用户使用产品的场景，找到用户高频刚需痛点的产品设计者。站在下一个转型发展的悬崖上，我们看到技术将更具人性。随着物联网的发展，我们习以为常的数百件日常物品：汽车、钱包、手表、雨伞甚至垃圾桶，都将回应我们的需求，了解我们，学习为我们思考。最先出现的智能硬件为什么是智能手环、无人驾驶汽车......一起来看看《极致：互联网时代的产品设计》这本书的介绍吧!

码农工具