内容简介:主要包括以下三部分,本文为第一部分:一. Scala环境准备二. Hadoop集群(伪分布模式)安装查看
主要包括以下三部分,本文为第一部分:
一. Scala环境准备
二. Hadoop集群(伪分布模式)安装查看
三. Spark集群(standalone模式)安装
因Spark任务大多由Scala编写,因此,首先需要准备Scala环境。
注:楼主实验环境为mac os
Scala环境准备
- 下载 JDK1.8 并安装、配置环境变量(JAVA_HOME),建议使用1.8,与时俱进;
-
下载 scala-sdk 并解压到某个路径(如:
~/tools/scala-2.12.6
),为方便使用还可以设置一下SCALA_HOME,在终端输入~/tools/scala-2.12.6/bin/scala
(未设置SCALA_HOME)或scala
(前提设置了SCALA_HOME)可以验证scala的版本或进行交互实验(scala官网推荐的 图书《Programming in Scala, 3rd ed》 中的实例均为在此模式下运行,故学习scala阶段到这一步就够了) -
下载 IntelliJ IDEA (Ultimate"版即为免费版本)并安装,安装后安装Scala插件(plugin),如下图所示;
打开plugin菜单:
搜索并安装scala插件
-
写个小程序测试一下吧
选择“Create New Project”
选择项目类型为“Scala”
默认没有Scala SDK,通过以下方式添加:Create->Browse...
找到SCALA_HOME
完成配置
为方便开发,将项目转换为maven项目以解决繁琐的依赖包问题,项目名右键-->Add Framework Support...
选择maven
项目会自动引入pom.xml,变为scala maven project,并在src下创建source root(可以在package上右键更改)
source root(该项目中为main.java)上右键-->New-->Scala Class
选择类型为Object,用以创建main函数
编写测试代码
在代码空白处或项目名处右键-->Run 'ScalaTest'测试代码
虽然引入了pom.xml,默认却不会自动import依赖包,出现提示选择“Auto-Import”
测试结果
之所以这一步这么详细是因为我发现创建项目的时候选择哪种project类型会很纠结,也没有官方标准,经过实验,推崇先创建scala project再转换为maven project;如果创建的时候选择了maven project,通过“Add Framework Support...”再引入Scala SDK也是可以的,最终效果和图中给出的差不多,但是目录结构会有差异。
注1:SCALA_HOME、JAVA_HOME在mac下设置方式:
在 ~/.bash_profile
中添加如下指令:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home export SCALA_HOME=/Users/<你的名字>/tools/scala-2.12.6 export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH
参考文档: 官方文档
以上所述就是小编给大家介绍的《Spark新手入门(单机模式)——Scala环境准备》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 树莓派新手入门教程
- 木兰重生:交互环境复现,新添新手入门
- 新手入门之spring boot介绍及使用详解
- GitHub标星2.6万!Python算法新手入门大全
- C语言新手入门之格式化输出和变量类型
- 新手入门大数据 Hadoop基础与电商行为日志分析(二)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
UNIX编程艺术
Eric S. Raymond / 姜宏、何源、蔡晓俊 / 电子工业出版社 / 2006-2 / 59.00元
本书主要介绍了Unix系统领域中的设计和开发哲学、思想文化体系、原则与经验,由公认的Unix编程大师、开源运动领袖人物之一Eric S. Raymond倾力多年写作而成。包括Unix设计者在内的多位领域专家也为本书贡献了宝贵的内容。本书内容涉及社群文化、软件开发设计与实现,覆盖面广、内容深邃,完全展现了作者极其深厚的经验积累和领域智慧。一起来看看 《UNIX编程艺术》 这本书的介绍吧!