学习 Alluxio(四):Java API

栏目: 数据库 · 发布时间: 6年前

内容简介:配置 Alluxio Master 主机地址:配置用户:默认会使用当前用户,如果当前用户没有权限,则会抛出异常

配置

配置 Alluxio Master 主机地址:

Configuration.set(PropertyKey.MASTER_HOSTNAME, "alluxio_master");

配置用户:

Configuration.set(PropertyKey.SECURITY_LOGIN_USERNAME, "alluxio");

默认会使用当前用户,如果当前用户没有权限,则会抛出异常 alluxio.exception.status.PermissionDeniedException: Permission denied

写文件

FileSystem fs = FileSystem.Factory.get();  
try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"))) {  
    out.write("it works!".getBytes("utf-8"));
} catch (AlluxioException | IOException e) {
    // do something
}

在创建文件时,可以对写操作进行配置:

CreateFileOptions createFileOptions = CreateFileOptions.defaults()  
    .setWriteType(WriteType.MUST_CACHE);
try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"), createFileOptions)) {  
} catch (AlluxioException | IOException e) {
    // do something
}

WriteType 选项:

  • CACHE_THROUGH 数据被同步地写入到 Alluxio 的 Worker 和底层存储系统。
  • MUST_CACHE 数据被同步地写入到 Alluxio 的 Worker。但不会被写入到底层存储系统。这是默认写类型。
  • THROUGH 数据被同步地写入到底层存储系统。但不会被写入到 Alluxio 的 Worker。
  • ASYNC_THROUGH 数据被同步地写入到 Alluxio 的 Worker,并异步地写入到底层存储系统。处于实验阶段。

读文件

try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"))) {  
    String content = IOUtils.toString(in, "utf-8");
    System.out.println(content);
} catch (AlluxioException | IOException e) {
    // do something
}

在打开文件时,可以对读操作进行配置:

OpenFileOptions openFileOptions = OpenFileOptions.defaults().setReadType(ReadType.CACHE);

try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"), openFileOptions)) {  
} catch (AlluxioException | IOException e) {
    // do something
}

ReadType 选项:

  • CACHE_PROMOTE 如果读取的数据在 Worker 上时,该数据被移动到 Worker 的最高层。如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。 如果 alluxio.user.file.cache.partially.read.block 设置为 true,没有完全读取的数据块也会被 全部 存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。
  • CACHE 如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。如果 alluxio.user.file.cache.partially.read.block 设置为 true,没有完全读取的数据块也会被 全部 存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。
  • NO_CACHE 仅读取数据,不在 Alluxio 中存储副本。

参考


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

精通JavaScript+jQuery

精通JavaScript+jQuery

曾顺 编著 / 人民邮电出版社 / 2008-9 / 59.00元

随着Ajax技术的不断风靡,其核心技术JavaScript越来越受到人们的关注,各种JavaScript的框架层出不穷。jQuery作为JavaScript框架的优秀代表,为广大开发者提供了诸多便利。 本书从介绍JavaScript的基础知识开始,围绕标准Web的各项技术予以展开,通过大量实例对JavaScript、CSS、DOM、Ajax等 Web关键技术进行深入浅出的分析,主要内容包括J......一起来看看 《精通JavaScript+jQuery》 这本书的介绍吧!

MD5 加密
MD5 加密

MD5 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具