在 Kubernetes 上运行 Kafka 合适吗？

你应该将 kafka 运行在 kubernetes 之上吗？没有 Kubernetes，Kafka 会跑得更好吗？本文作者软件工程师 Johann Gyger 将指出 Kafka 和 Kubernetes 之间的互补性以及你可能遇到的陷阱。

译者 | 姜厚俊（Java 工程师） 

Kubernetes 的设计初衷是运行无状态的工作负载。这些工作负载通常采用微服务架构的形式，属于轻量级，可水平扩展，遵循 12 要素的应用原则，可以处理环形断路和随机 Monkey 测试。

另一方面，Kafka 本质上是一个分布式数据库。这意味着你必须处理状态，它比微服务更重量级。Kubernetes 支持有状态的工作负载，但你必须谨慎对待它，正如谷歌云平台的开发引领者以及“Kubernetes Up and Running”的联合作者 Kelsey Hightower 之前两条推文中指出的那样：

你现在应该在 Kubernetes 上运行 Kafka 吗？

运行时

让我们先看一下一些基本的东西：运行时本身。

进程 

Kafka broker 对 CPU 很友好。TLS 可能会引入一些开销。如果 Kafka 客户端进行加密处理，则需要更多 CPU，但这不会影响 broker。

内存 

Kafka broker 是内存消耗大户。JVM 堆通常可以限制为 4-5 GB，但由于 Kafka 大量使用页面缓存，因此还需要足够的系统内存。在 Kubernetes 中，你可以相应地设置容器资源限制和请求。

存储 

容器中的存储是短暂的，重启后数据将丢失。 你可以对 Kafka 数据使用 emptyDir 卷，这将产生相同的效果：broker 的数据将在停机后丢失， 但是你的消息在其他 broker 上作为副本还是可以使用的。因此，重新启动后，失败的 broker 必须得复制所有的数据，这可能是一个耗时过程。

这也是你应该使用持久存储的原因。使用 XFS 或 ext4 的非本地持久性块存储更合适。 我警告你：不要使用 NFS。NFS v3 和 v4 都不会起作用。 简而言之，Kafka broker 会因为 NFS “愚蠢重命名”问题而无法删除数据目录，自行终止。如果你仍然不相信我，那么请仔细阅读这篇博文 [1] 。

存储必须是非本地的，以便 Kubernetes 在重新启动或重新定位时可以更灵活地选择另一个节点。

网络 

与大多数分布式系统一样，Kafka 性能在很大程度上取决于低网络延迟和高带宽。 不要试图将所有代理放在同一节点上，因为这会降低可用性。 如果 Kubernetes 节点出现故障，那么整个 Kafka 集群都会出现故障。不要跨数据中心扩展 Kafka 集群。这同样适用于 Kubernetes 集群。

配置

清单 

Kubernetes 网站包含一个非常好的教程 [2] ，介绍如何使用清单设置 ZooKeeper。由于 ZooKeeper 是 Kafka 的一部分，因此可以通过这个了解哪些 Kubernetes 概念被应用在这里。一旦理解，你也可以对 Kafka 集群使用相同的概念。

• Pod： Pod 是 Kubernetes 中最小的可部署单元。它包含你的工作负载，它代表集群中的一个进程。一个 Pod 包含一个或多个容器。整体中的每个 ZooKeeper 服务器和 Kafka 集群中的每个 Kafka broker 都将在一个单独的 Pod 中运行；

• StatefulSet： StatefulSet 是一个 Kubernetes 对象，用于处理需要协调的多个有状态工作负载。StatefulSets 保证 Pod 的有序性和唯一性；

• Headless Services： 服务通过逻辑名称将 Pod 与客户端分离。Kubernetes 负责负载均衡。但是，对于 ZooKeeper 和 Kafka 等有状态工作负载来说，客户端必须与特定实例进行通信。这就是 Headless Services发挥作用的地方：作为客户端，你仍然可以获得逻辑名称，但不必直接访问 Pod；

• 持久卷： 如上所述，你需要配置非本地持久块存储。

Yolean [3] 提供了一套全面的清单，可以帮助你开始使用 Kubernetes 上的 Kafka。

Helm charts 

对于中小型 Kafka 集群，我肯定会选择 Kubernetes，因为它提供了更大的灵活性并简化了操作。如果你在延迟和吞吐量方面有非常高的非功能性要求，那么选择不同的部署选项可能更有益。

本文来源：   Docker

--

相关链接：

1.https://engineering.skybettingandgaming.com/2018/07/10/kafka-nfs/

2.https://kubernetes.io/docs/tutorials/stateful-application/zookeeper/

3.https://github.com/Yolean/kubernetes-kafka

4.https://github.com/helm/charts/tree/master/incubator/kafka

5.https://strimzi.io/

6.https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

7.https://medium.com/@stephane.maarek/an-honest-review-of-aws-managed-apache-kafka-amazon-msk-94b1ff9459d8

8.https://github.com/linkedin/kafka-monitor

9.https://jobs.zalando.com/tech/blog/backing-up-kafka-zookeeper/

原文链接：

https://blog.usejournal.com/kafka-on-kubernetes-a-good-fit-95251da55837