kafka如何配置SASL/PLAIN认证模式

栏目: 后端 · 发布时间: 5年前

内容简介:几点说明:另外要吐槽这个文件的格式,好神奇啊,为什么最后一项需要分号呢???作为JVM的参数。
  1. 创建kafka broker配置文件
$ cat kafka_server_jaas.conf 
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafkaadmin"
    password="kafkaadminpwd"
    user_kafkaadmin="kafkaadminpwd"
    user_kafkaclient1="kafkaclient1pwd"
    user_kafkaclient2="kafkaclient2pwd";
};

Client {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="zooclient"
    password="zooclientpwd";
};

几点说明:

  1. username/password是给kafka brokers之间作为client初始请求连接访问使用的,会被作为server的broker验证。
  2. user_kafkaadmin这个就是1中提到的连接访问请求验证信息,所以这条是必须的。
  3. user_kafkaclient1/user_kafkaclient2定义了kafka的client,其值就是密码。
  4. Client是把kafka作为client端,访问zookeeper(作为server端)的时候用的。对应的必须在zookeeper里面做相应的配置。

另外要吐槽这个文件的格式,好神奇啊,为什么最后一项需要分号呢???

  1. 把上述配置文件传递给kafka

作为JVM的参数。

-Djava.security.auth.login.config=/path/to/kafka_client_jaas.conf

具体操作可以通过环境变量KAFKA_OPTS来传递,如果用户使用/opt/kafka/bin/kafka-server-start.sh来启动kafka。

export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_client_jaas.conf"
  1. 修改kafka配置server.properties
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
  1. 为zookeeper创建配置文件
$ cat zookeeper_jaas.conf
Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="zooadmin"
    password="zooadminpwd"
    user_zooclient="zooclientpwd";
};

几点说明:

  1. username/password我还不知道是干嘛用的。
  2. user_zooclient这个用户就是前面kafka_server_jaas.conf里面的Client信息;这样就对上了:这两个用户名和密码必须一直,作为kafka client和zookeeper server之间认证使用。
  1. 把上述配置文件传递给zookeeper

作为JVM的参数。

-Djava.security.auth.login.config=/path/to/zookeeper_jaas.conf

具体操作也可以通过环境变量KAFKA_OPTS来传递(注意这里也是KAFKA_OPTS,而不是ZOOKEEPER_OPTS,或者ZK_OPTS),如果用户使用/opt/kafka/bin/zookeeper-server-start.sh来启动kafka。

export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/zookeeper_jaas.conf"

完毕,这样kafka端就配置完成了。下面我们用goclient来访问这个kafka数据。

  1. golang的客户端

我没有写完整的golang客户端代码,只把其中相关的放在这儿。

config := sarama.NewConfig()

config.Net.SASL.Enable = true
config.Net.SASL.User = "kafkaclient1"
config.Net.SASL.Password = "kafkaclient1pwd"

client, err := sarama.NewClient(strings.Split(hosts, ","), config)
if err != nil {
    log.Fatalf("unable to create kafka client: %q", err)
}

consumer, err := sarama.NewConsumerFromClient(client)
defer consumer.Close()
//producer, err := sarama.NewSyncProducerFromClient(client)
//defer producer.Close()

// handle consumer/producer

这里,配置了访问kafka的用户信息:

config.Net.SASL.Enable = true
config.Net.SASL.User = "kafkaclient1"
config.Net.SASL.Password = "kafkaclient1pwd"

如果账号填写错误NewClient就会失败,返回错误:

2018/12/25 06:45:39 unable to create kafka client: 
"kafka: client has run out of available brokers to talk to (Is your cluster reachable?)"

这个错误信息倒是很晕,根本不说是用户连接信息错误,只说这么模糊的错误,调试起来费老大劲了。

注意目前Shopify/sarama对SASL的支持只有PLAINTEXT模式,其他的SCRAM,GSSAPI都不支持。所有严格安全性来说还是需要用SSL。

  1. 最严重问题

这种认证模式,账号信息都是提前写在kafka_server_jaas.conf文件里面的,不能做到动态修改;例如新增账号,删除帐号,修改密码等等不能在线操作,必须重启kafka,这导致这种认证模式根本无法在产品线上运行,只能作为测试,或者小范围内使用,因为不能停机重启啊。


以上所述就是小编给大家介绍的《kafka如何配置SASL/PLAIN认证模式》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深度学习轻松学

深度学习轻松学

冯超 / 电子工业出版社 / 2017-7 / 79.00

《深度学习轻松学:核心算法与视觉实践》介绍了深度学习基本算法和视觉领域的应用实例。书中以轻松直白的语言,生动详细地介绍了深层模型相关的基础知识,并深入剖析了算法的原理与本质。同时,书中还配有大量案例与源码,帮助读者切实体会深度学习的核心思想和精妙之处。除此之外,书中还介绍了深度学习在视觉领域的应用,从原理层面揭示其思路思想,帮助读者在此领域中夯实技术基础。 《深度学习轻松学:核心算法与视觉实......一起来看看 《深度学习轻松学》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

html转js在线工具
html转js在线工具

html转js在线工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具