内容简介:配置 Alluxio Master 主机地址:配置用户:默认会使用当前用户,如果当前用户没有权限,则会抛出异常
配置
配置 Alluxio Master 主机地址:
Configuration.set(PropertyKey.MASTER_HOSTNAME, "alluxio_master");
配置用户:
Configuration.set(PropertyKey.SECURITY_LOGIN_USERNAME, "alluxio");
默认会使用当前用户,如果当前用户没有权限,则会抛出异常 alluxio.exception.status.PermissionDeniedException: Permission denied
写文件
FileSystem fs = FileSystem.Factory.get(); try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"))) { out.write("it works!".getBytes("utf-8")); } catch (AlluxioException | IOException e) { // do something }
在创建文件时,可以对写操作进行配置:
CreateFileOptions createFileOptions = CreateFileOptions.defaults() .setWriteType(WriteType.MUST_CACHE); try (FileOutStream out = fs.createFile(new AlluxioURI("/tmp/test"), createFileOptions)) { } catch (AlluxioException | IOException e) { // do something }
WriteType 选项:
- CACHE_THROUGH 数据被同步地写入到 Alluxio 的 Worker 和底层存储系统。
- MUST_CACHE 数据被同步地写入到 Alluxio 的 Worker。但不会被写入到底层存储系统。这是默认写类型。
- THROUGH 数据被同步地写入到底层存储系统。但不会被写入到 Alluxio 的 Worker。
- ASYNC_THROUGH 数据被同步地写入到 Alluxio 的 Worker,并异步地写入到底层存储系统。处于实验阶段。
读文件
try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"))) { String content = IOUtils.toString(in, "utf-8"); System.out.println(content); } catch (AlluxioException | IOException e) { // do something }
在打开文件时,可以对读操作进行配置:
OpenFileOptions openFileOptions = OpenFileOptions.defaults().setReadType(ReadType.CACHE); try (FileInStream in = fs.openFile(new AlluxioURI("/tmp/test"), openFileOptions)) { } catch (AlluxioException | IOException e) { // do something }
ReadType 选项:
-
CACHE_PROMOTE
如果读取的数据在 Worker 上时,该数据被移动到 Worker 的最高层。如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。 如果
alluxio.user.file.cache.partially.read.block
设置为 true,没有完全读取的数据块也会被全部
存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 -
CACHE
如果该数据不在本地 Worker 的 Alluxio 存储中,那么就将一个副本添加到本地 Alluxio Worker 中。如果
alluxio.user.file.cache.partially.read.block
设置为 true,没有完全读取的数据块也会被全部
存到 Alluxio 内。 相反,一个数据块只有完全被读取时,才能被缓存。 - NO_CACHE 仅读取数据,不在 Alluxio 中存储副本。
参考
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 一文读懂监督学习、无监督学习、半监督学习、强化学习这四种深度学习方式
- 学习:人工智能-机器学习-深度学习概念的区别
- 统计学习,机器学习与深度学习概念的关联与区别
- 混合学习环境下基于学习行为数据的学习预警系统设计与实现
- 学习如何学习
- 深度学习的学习历程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
精通JavaScript+jQuery
曾顺 编著 / 人民邮电出版社 / 2008-9 / 59.00元
随着Ajax技术的不断风靡,其核心技术JavaScript越来越受到人们的关注,各种JavaScript的框架层出不穷。jQuery作为JavaScript框架的优秀代表,为广大开发者提供了诸多便利。 本书从介绍JavaScript的基础知识开始,围绕标准Web的各项技术予以展开,通过大量实例对JavaScript、CSS、DOM、Ajax等 Web关键技术进行深入浅出的分析,主要内容包括J......一起来看看 《精通JavaScript+jQuery》 这本书的介绍吧!