Windows7系统搭建单机版Spark开发环境

Windows7系统搭建单机版Spark开发环境，具体步骤如下：

1 安装JDK

JDK8 下载链接： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

成功下载后，点击安装程序，依次逐步安装即可。 安装完毕后，进行 Java 开发环境配置。 Java开发环境配置，参考链接： https://jingyan.baidu.com/article/9989c74609cc73f648ecfe19.html

打开一个命令行界面，验证JDK是否正确安装，如下图：

结论：JDK8 已经成功安装

2 安装 Scala

Scall 2.11.8 下载链接： https://www.scala-lang.org/download/2.11.8.html 如下图：

下载完毕后，点击安装程序，逐步安装即可。 安装完毕后，打开一个命令行界面，验证Scale是否正确安装，如下图：

结论：scala 2.11.8安装成功。

3 安装Hadoop

Hadoop 2.7.7 下载链接： http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

如下图：

笔者在D盘创建文件夹：Spark_DS，把Hadoop2.7.7的压缩包解压到Spark_DS。 Hadoop2.7.7环境变量配置：

• 新建：HADOOP_HOME,赋值：D:\Spark_DS\hadoop-2.7.7
• 把%HADOOP_HOME%\bin添加到系统的Path里面

4 安装Spark

Spark2.3.0 下载链接： http://spark.apache.org/downloads.html

如下图：

把Spark2.3.0 的压缩包解压到Spark_DS。 Spark2.3.0 环境变量配置：

• 新建：SPARK_HOME，赋值：D:\Spark_DS\spark-2.3.0-bin-hadoop2.7
• 把%SPARK_HOME%\bin添加到系统的Path里面

打开命令行，运行命令：spark-shell 验证Spark单机版是否安装成功。

如下图：

报了一个错误，显示winutils.exe 找不到。 winutils.exe的下载链接： https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin

下载好后，把它放到D:\Spark_DS\hadoop-2.7.7\bin

退出Spark的命令界面，运行命令

：quit

然后，再次执行命令

spark-shell

进入spark shell,如下图：

结论：Spark 单机版已经成功搭建好。

5 安装IDEA及scala插件

• IDEA安装 下载链接：https://www.jetbrains.com/idea/download/#section=windows 选择Community版本即可

• scale 插件安装 在IDEA集成开发 工具 上面在线安装Scala插件

参考资料：

• 1 http://www.bubuko.com/infodetail-2637987.html

  版权声明：作者保留权利，严禁修改，转载请注明原文链接。

数据人网是数据人学习、交流和分享的平台http://shujuren.org 。专注于从数据中学习到有用知识。 平台的理念：人人投稿，知识共享；人人分析，洞见驱动；智慧聚合，普惠人人。 您在数据人网平台，可以1）学习数据知识；2）创建数据博客；3）认识数据朋友；4）寻找数据工作；5）找到其它与数据相关的干货。 我们努力坚持做原创，聚合和分享优质的省时的数据知识！ 我们都是数据人，数据是有价值的，坚定不移地实现从数据到商业价值的转换！