spark-submit local运行问题

内容简介：spark-submit local运行问题

求大神解答，或者我们来讨论下！今天碰到一个很奇怪的问题，关于spark-submit 三种运行模式：

（1）本地local模式

（2）在Hadoop YARN-client模式

（3）Standalone Cluster模式

首先说明一下我的集群，一个master节点和两个slave节点，slave1和slave2。

我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。

首先我运行的spark-submit的local模式，可以成功，并且成功的写入了 Linux 下制定的输出目录，然后在Hadoop YARN-client模式下运行，成功的写入了HDFS目录下，最后在Stand alone Cluster模式下也成功运行，但是问题来了， 我再次在master节点上运行本地模式 ， 输出的结果写到了HDFS下 ， 我明明制定了本地运行模式，而且代码里写的输出路径为Linux路径，不是HDFS路径？

此时， 我在slave1节点和slave2节点运行本地模式，都成功的写进了Linux目录下，并没有写入HDFS目录下 。

我再次运行本地模式，说目录已存在，但是Linux目录下没有，我就把HDFS下的目录删掉，然后运行。

说明：Linux目录和HDFS目录名一样，开始写代码的时候没注意，发现最后一模一样，这样不知道到底写到了哪里，应该注意的。

然后查看Linux目录下是否有输出文件，发现没有。然后我在HDFS目录下查看，确实输出到了HDFS目录下。

下面是slave1节点运行本地模式信息

可以看出slave1成功运行本地模式，并输出到制定Linux目录

下面是slave2运行本地模式信息

可以看出slave2成功运行本地模式，并输出到制定Linux目录 。

以上所述就是小编给大家介绍的《spark-submit local运行问题》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• PyCharm Python运行权限问题
• crontab 运行环境遇到的一个问题
• crontab 运行环境遇到的一个问题
• Flutter 混合开发实战问题记录（四）编译运行时问题的一些总结
• InfluxDB因修改默认数据目录导致服务无法正常运行的问题（权限问题）
• 使用 coreos 运行 docker 的 netns 问题

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。