内容简介:配置 Alluxio Master 主机地址:配置用户:默认会使用当前用户,如果当前用户没有权限,则会抛出异常
配置
配置 Alluxio Master 主机地址:
Configuration.set(PropertyKey.MASTER_HOSTNAME, "alluxio_master");
配置用户:
Configuration.set(PropertyKey.SECURITY_LOGIN_USERNAME, "alluxio");
默认会使用当前用户,如果当前用户没有权限,则会抛出异常 alluxio.exception.status.PermissionDeniedException: Permission denied
写文件
FileSystem fs = FileSystem.Factory.get();
try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"))) {
out.write("it works!".getBytes("utf-8"));
} catch (AlluxioException | IOException e) {
// do something
}
在创建文件时,可以对写操作进行配置:
CreateFileOptions createFileOptions = CreateFileOptions.defaults()
.setWriteType(WriteType.MUST_CACHE);
try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"), createFileOptions)) {
} catch (AlluxioException | IOException e) {
// do something
}
WriteType 选项:
- CACHE_THROUGH 数据被同步地写入到 Alluxio 的 Worker 和底层存储系统。
- MUST_CACHE 数据被同步地写入到 Alluxio 的 Worker。但不会被写入到底层存储系统。这是默认写类型。
- THROUGH 数据被同步地写入到底层存储系统。但不会被写入到 Alluxio 的 Worker。
- ASYNC_THROUGH 数据被同步地写入到 Alluxio 的 Worker,并异步地写入到底层存储系统。处于实验阶段。
读文件
try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"))) {
String content = IOUtils.toString(in, "utf-8");
System.out.println(content);
} catch (AlluxioException | IOException e) {
// do something
}
在打开文件时,可以对读操作进行配置:
OpenFileOptions openFileOptions = OpenFileOptions.defaults().setReadType(ReadType.CACHE);
try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"), openFileOptions)) {
} catch (AlluxioException | IOException e) {
// do something
}
ReadType 选项:
-
CACHE_PROMOTE
如果读取的数据在 Worker 上时,该数据被移动到 Worker 的最高层。如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。 如果
alluxio.user.file.cache.partially.read.block设置为 true,没有完全读取的数据块也会被全部存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 -
CACHE
如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。如果
alluxio.user.file.cache.partially.read.block设置为 true,没有完全读取的数据块也会被全部存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 - NO_CACHE 仅读取数据,不在 Alluxio 中存储副本。
参考
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 一文读懂监督学习、无监督学习、半监督学习、强化学习这四种深度学习方式
- 学习:人工智能-机器学习-深度学习概念的区别
- 统计学习,机器学习与深度学习概念的关联与区别
- 混合学习环境下基于学习行为数据的学习预警系统设计与实现
- 学习如何学习
- 深度学习的学习历程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
深入分析Java Web技术内幕(修订版)
许令波 / 电子工业出版社 / 2014-8-1 / CNY 79.00
《深入分析Java Web技术内幕(修订版)》新增了淘宝在无线端的应用实践,包括:CDN 动态加速、多终端化改造、 多终端Session 统一 ,以及在大流量的情况下,如何跨越性能、网络和一个地区的电力瓶颈等内容,并提供了比较完整的解决方案。 《深入分析Java Web技术内幕(修订版)》主要围绕Java Web 相关技术从三方面全面、深入地进行了阐述。首先介绍前端知识,即在JavaWeb ......一起来看看 《深入分析Java Web技术内幕(修订版)》 这本书的介绍吧!
HTML 编码/解码
HTML 编码/解码
XML、JSON 在线转换
在线XML、JSON转换工具