学习 Alluxio(二):支持 Spark

栏目: 数据库 · 发布时间: 6年前

内容简介:以使用 Maven 的 Java 工程为例,如果,有以下三种方式:第一种方式:将第二种方式:添加

环境:

  • Spark 2.2.2
  • Alluxio 1.8

开发环境

以使用 Maven 的 Java 工程为例,如果,有以下三种方式:

第一种方式:将 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar JAR 文件上传到 Nexus 服务器

第二种方式:添加 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar JAR 文件作为系统依赖:

<dependency>  
    <groupId>org.alluxio</groupId>
    <artifactId>client</artifactId>
    <version>1.8.0</version>
    <scope>system</scope>
    <systemPath>${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar</systemPath>
</dependency>

第三种方式:安装 <ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar 到本地仓库。

执行命令:

mvn install:install-file -Dfile=$ALLUXIO_HOME/client/alluxio-1.8.0-client.jar -DgroupId=org.alluxio -DartifactId=client -Dversion=1.8.0 -Dpackaging=jar -DgeneratePom=true

添加依赖:

<dependency>  
    <groupId>org.alluxio</groupId>
    <artifactId>client</artifactId>
    <version>1.8.0</version>
    <scope>provided</scope>
</dependency>

部署环境

为了 Spark 可以读写 Alluxio,Alluxio 客户端 JAR 文件需要分发到 Spark 集群下各个节点,可以在 Spark 客户端进行配置:

编辑 <SPARK_HOME>/confspark-defaults.conf 文件:

spark.driver.extraClassPath /${ALLUXIO_HOME}/client/alluxio-1.8.0-client.jar  
spark.executor.extraClassPath /<ALLUXIO_HOME>/client/alluxio-1.8.0-client.jar

使用

读数据:

spark.read  
  .json("alluxio://alluxio_master:19998/data/users")

写数据:

spark.write.json("alluxio://alluxio_master:19998/data/users")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Collective Intelligence实战

Collective Intelligence实战

阿拉克 / 2010-9 / 58.00元

《Collective Intelligence实战》内容简介:在互联网上,利用用户的集体智慧是成功的关键。集体智慧是一种新兴的编程技术,可让您从人们访问web和与web交互的过程中找到有价值的模式、发现这些访问者之间的关系和确定他们的个人偏好及习惯等。《collective Intelligence实战》首先介绍了集体智慧的原则和构建更具交互性网站的思想,然后通过示例开发了一个直接可用的基于Ja......一起来看看 《Collective Intelligence实战》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

随机密码生成器
随机密码生成器

多种字符组合密码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具