内容简介:以使用 Maven 的 Java 工程为例,如果,有以下三种方式:第一种方式:将第二种方式:添加
环境:
- Spark 2.2.2
- Alluxio 1.8
开发环境
以使用 Maven 的 Java 工程为例,如果,有以下三种方式:
第一种方式:将 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
JAR 文件上传到 Nexus 服务器
第二种方式:添加 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
JAR 文件作为系统依赖:
<dependency>
<groupId>org.alluxio</groupId>
<artifactId>client</artifactId>
<version>1.8.0</version>
<scope>system</scope>
<systemPath>${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar</systemPath>
</dependency>
第三种方式:安装 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
到本地仓库。
执行命令:
mvn install:install-file -Dfile=$ALLUXIO_HOME/client/alluxio-1.8.0-client.jar -DgroupId=org.alluxio -DartifactId=client -Dversion=1.8.0 -Dpackaging=jar -DgeneratePom=true
添加依赖:
<dependency>
<groupId>org.alluxio</groupId>
<artifactId>client</artifactId>
<version>1.8.0</version>
<scope>provided</scope>
</dependency>
部署环境
为了 Spark 可以读写 Alluxio,Alluxio 客户端 JAR 文件需要分发到 Spark 集群下各个节点,可以在 Spark 客户端进行配置:
编辑 <SPARK_HOME>/confspark-defaults.conf
文件:
spark.driver.extraClassPath /${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar
spark.executor.extraClassPath /<ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
使用
读数据:
spark.read
.json("alluxio://alluxio_master:19998/data/users")
写数据:
spark.write.json("alluxio://alluxio_master:19998/data/users")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 机器学习算法——感知机&支持向量机
- 机器学习A-Z~支持向量机
- 吴恩达机器学习系列17:支持向量机
- Catlike学习笔记(2.4)-Unity多场景支持
- Java还欠缺什么才能真正支持机器/深度学习?
- 机器学习笔记(十一):学支持向量机怎能不懂 “核”
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
数据结构与算法JavaScript描述
[美] Michael McMillan / 王群锋、杜 欢 / 人民邮电出版社 / 2014-8 / 49.00元
通过本书的学习,读者将能自如地选择最合适的数据结构与算法,并在JavaScript开发中懂得权衡使用。此外,本书也概述了与数据结构与算法相关的JavaScript特性。 本书主要内容如下。 数组和列表:最常用的数据结构。 栈和队列:与列表类似但更复杂的数据结构。 链表:如何通过它们克服数组的不足。 字典:将数据以键-值对的形式存储。 散列:适用于快速查找和检索。......一起来看看 《数据结构与算法JavaScript描述》 这本书的介绍吧!
图片转BASE64编码
在线图片转Base64编码工具
RGB HSV 转换
RGB HSV 互转工具