Kublet PLEG不健康问题排障

栏目: 编程工具 · 发布时间: 6年前

内容简介:环境:Rancher管控的K8S集群。现象:某个Node频繁出现“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”错误,频率在5-10分钟就会出现一次。排查:

环境:Rancher管控的K8S集群。

现象:某个Node频繁出现“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”错误,频率在5-10分钟就会出现一次。

排查:

  1. kubectl get pods --all-namespaces 发现有一个 istio-ingressgateway-6bbdd58f8c-nlgnd 一直处于Terminating状态,也就是说杀不死。
  2. 到Node上 docker logs --tail 100 kubelet 也看到这个Pod的状态异常:

    I0218 01:21:17.383650   10311 kubelet.go:1775] skipping pod synchronization - [PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s]
    ...
    E0218 01:21:30.654433   10311 generic.go:271] PLEG: pod istio-ingressgateway-6bbdd58f8c-nlgnd/istio-system failed reinspection: rpc error: code = DeadlineExceeded desc = context deadline exceeded
  3. kubelet delete pod 尝试删除,命令挂住。
  4. kubectl delete pod --force --grace-period=0 ,强制删除Pod。
  5. 再到Node上检查这个容器是否真的被停止, docker ps -a| grep ingressgateway-6bbdd58f8c-nlgnd ,看到容器处于Exited状态。
  6. 观察Node状态,问题依旧。
  7. 把Pod关联的Deployment删除,把一只处于Terminating的Pod用 kubectl delete pod --force --grace-period=0 的方式删除。
  8. 重新部署Deployment。
  9. 问题解决。

相关 issue


以上所述就是小编给大家介绍的《Kublet PLEG不健康问题排障》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

自品牌

自品牌

陈为、孙郁婷 / 机械工业出版社 / 2015-9-7 / 39

移动互联网来势汹涌,让品牌重新回到人的时代。微信旗帜鲜明地宣示,“再小的个体也有自己的品牌”。《自品牌:个人如何玩转移动互联网时代》作者历经一年,深度访谈10位嘉宾,挖掘其品牌与商业成功密码。吴晓波、雕爷、罗永浩、鬼脚七、马佳佳……这些商业新浪潮中的探路者与领军者,要么是传统领域的老将,要么是新领域里的先锋,但都能以新媒体为载体,构建个人品牌,打造商业生态,抓住互联网的时代红利,顺风而起,顺势而为......一起来看看 《自品牌》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具