内容简介：在上篇讲到了，HDFS Delegation Token 问题的解决方法是上篇传输门：地址上文我有提到
在上篇讲到了，HDFS Delegation Token 问题的解决方法是 Spark-Submit 方式可以进行解决，经过了一段时间的反思和查看 Livy 和 Spark-Submit 两者日志之后，有了一点新发现，并且测试认证了，该方式是可行的，那么是怎么实现的呢？
上篇传输门：地址
上文我有提到 livy spengo 是通过代理的方式实现 Kerberos 的认证的，当使用类似于 Spark-Submit 方式 添加对应的 spark.yarn.keytab 和 spark.yarn.principal Livy 日志中会存在 --proxy-user or --principal 的错误信息，在比对了两种方式的认证日志，发现 Livy 代理方式在 realUser 是 Livy，而 Spark-Submit 方式则为空。
因而联想到了，可能 Livy 代理模式导致这两种结果的不同。在查看 Livy 配置资料之后, livy.impersonation.enabled 配置有关，尝试将该配置项设为 false 。在通过上篇中的测试方法，将 dfs.namenode.delegation.key.update-interval，dfs.namenode.delegation.token.max-lifetime，dfs.namenode.delegation.token.renew-interval 进行相应的调小，帮助快速论证结果。需要注意的一点，在测试过程中，Spark 应用是需要发消息，也就是数据，不能仅仅是运行，因为如果不发消息，其实应用是没有在正常运行的，也就不会出现过期的问题了。
实验的结果是该种方式 Livy 是可以解决 HDFS Delegation Token 失效问题的。如果只是使用 Livy 方式提交，上篇中的 HDFS 的配置 hadoop.proxyuser.yarn.hosts=* 是不需要进行相应的修改的，在 HDP 环境中该配置是一个具体的 host 地址。
以上
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 行间距失效问题
- 记一次HDFS Delegation Token失效问题
- Firefox 66.0.4 发布，修复插件失效问题
- 解决使用vue.js路由后失效的问题
- 解决 宝塔 NGINX 令主题自带的404页面失效问题
- 通过解读 WPF 触摸源码，分析 WPF 插拔设备触摸失效的问题（问题篇）
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
计算群体智能基础
恩格尔伯里特 / 谭营 / 2009-10 / 69.00元
《计算群体智能基础》全面系统地介绍了计算群体智能中的粒子群优化(PSO)和蚁群优化(ACO)的基本概念、基本模型、理论分析及其应用。在简要介绍基本优化理论和总结各类优化问题之后，重点介绍了社会网络结构如何在个体间交换信息以及个体聚集行为如何形成一个功能强大的有机体。在概述了进化计算后，重点论述了粒子群优化和蚁群优化的基本模型及其各种变体，给出了分析粒子群优化模型的一种通用方法，证明了基于蚂蚁行为实......一起来看看 《计算群体智能基础》 这本书的介绍吧!
