内容简介:以使用 Maven 的 Java 工程为例,如果,有以下三种方式:第一种方式:将第二种方式:添加
环境:
- Spark 2.2.2
- Alluxio 1.8
开发环境
以使用 Maven 的 Java 工程为例,如果,有以下三种方式:
第一种方式:将 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
JAR 文件上传到 Nexus 服务器
第二种方式:添加 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
JAR 文件作为系统依赖:
<dependency> <groupId>org.alluxio</groupId> <artifactId>client</artifactId> <version>1.8.0</version> <scope>system</scope> <systemPath>${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar</systemPath> </dependency>
第三种方式:安装 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
到本地仓库。
执行命令:
mvn install:install-file -Dfile=$ALLUXIO_HOME/client/alluxio-1.8.0-client.jar -DgroupId=org.alluxio -DartifactId=client -Dversion=1.8.0 -Dpackaging=jar -DgeneratePom=true
添加依赖:
<dependency> <groupId>org.alluxio</groupId> <artifactId>client</artifactId> <version>1.8.0</version> <scope>provided</scope> </dependency>
部署环境
为了 Spark 可以读写 Alluxio,Alluxio 客户端 JAR 文件需要分发到 Spark 集群下各个节点,可以在 Spark 客户端进行配置:
编辑 <SPARK_HOME>/confspark-defaults.conf
文件:
spark.driver.extraClassPath /${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar spark.executor.extraClassPath /<ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar
使用
读数据:
spark.read .json("alluxio://alluxio_master:19998/data/users")
写数据:
spark.write.json("alluxio://alluxio_master:19998/data/users")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 机器学习算法——感知机&支持向量机
- 机器学习A-Z~支持向量机
- 吴恩达机器学习系列17:支持向量机
- Catlike学习笔记(2.4)-Unity多场景支持
- Java还欠缺什么才能真正支持机器/深度学习?
- 机器学习笔记(十一):学支持向量机怎能不懂 “核”
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Code Reading
Diomidis Spinellis / Addison-Wesley Professional / 2003-06-06 / USD 64.99
This book is a unique and essential reference that focuses upon the reading and comprehension of existing software code. While code reading is an important task faced by the vast majority of students,......一起来看看 《Code Reading》 这本书的介绍吧!