内容简介:配置 Alluxio Master 主机地址:配置用户:默认会使用当前用户,如果当前用户没有权限,则会抛出异常
配置
配置 Alluxio Master 主机地址:
Configuration.set(PropertyKey.MASTER_HOSTNAME, "alluxio_master");
配置用户:
Configuration.set(PropertyKey.SECURITY_LOGIN_USERNAME, "alluxio");
默认会使用当前用户,如果当前用户没有权限,则会抛出异常 alluxio.exception.status.PermissionDeniedException: Permission denied
写文件
FileSystem fs = FileSystem.Factory.get(); try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"))) { out.write("it works!".getBytes("utf-8")); } catch (AlluxioException | IOException e) { // do something }
在创建文件时,可以对写操作进行配置:
CreateFileOptions createFileOptions = CreateFileOptions.defaults() .setWriteType(WriteType.MUST_CACHE); try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"), createFileOptions)) { } catch (AlluxioException | IOException e) { // do something }
WriteType 选项:
- CACHE_THROUGH 数据被同步地写入到 Alluxio 的 Worker 和底层存储系统。
- MUST_CACHE 数据被同步地写入到 Alluxio 的 Worker。但不会被写入到底层存储系统。这是默认写类型。
- THROUGH 数据被同步地写入到底层存储系统。但不会被写入到 Alluxio 的 Worker。
- ASYNC_THROUGH 数据被同步地写入到 Alluxio 的 Worker,并异步地写入到底层存储系统。处于实验阶段。
读文件
try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"))) { String content = IOUtils.toString(in, "utf-8"); System.out.println(content); } catch (AlluxioException | IOException e) { // do something }
在打开文件时,可以对读操作进行配置:
OpenFileOptions openFileOptions = OpenFileOptions.defaults().setReadType(ReadType.CACHE); try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"), openFileOptions)) { } catch (AlluxioException | IOException e) { // do something }
ReadType 选项:
-
CACHE_PROMOTE
如果读取的数据在 Worker 上时,该数据被移动到 Worker 的最高层。如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。 如果
alluxio.user.file.cache.partially.read.block
设置为 true,没有完全读取的数据块也会被全部
存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 -
CACHE
如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。如果
alluxio.user.file.cache.partially.read.block
设置为 true,没有完全读取的数据块也会被全部
存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 - NO_CACHE 仅读取数据,不在 Alluxio 中存储副本。
参考
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 一文读懂监督学习、无监督学习、半监督学习、强化学习这四种深度学习方式
- 学习:人工智能-机器学习-深度学习概念的区别
- 统计学习,机器学习与深度学习概念的关联与区别
- 混合学习环境下基于学习行为数据的学习预警系统设计与实现
- 学习如何学习
- 深度学习的学习历程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
社交网站界面设计
Christian Crumlish、Erin Malone / 樊旺斌、师蓉 / 机械工业出版社 / 2010-9-1 / 69.00元
《社交网站界面设计》提供100多种模式、原则以及最佳实践,并针对在设计社交网站时经常遇到的问题给出明确建议。本书将提供给你培养用户交互习惯和构建社区最具价值的参考。 本书作者将与你分享难得的经验,教会你平衡各种不同的因素,并与你的用户共同构建和谐健康的网络社区。 本书教会你 掌握创建任何网站时都会用到的原则 学习基本设计模式,以便向现有的网站中添加新的社交组件 学会在......一起来看看 《社交网站界面设计》 这本书的介绍吧!