Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

栏目: 后端 · 发布时间: 5年前

Amazon Managed Streaming for Kafka (MSK)在 AWS re: 2018 大会上推出 公开预览版 ,现在,该服务 正式发布 。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。

新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加 AWS CloudFormation 支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。

亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie 所说

我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。

在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。

一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的 主题 供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。

最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9% 的可用性。

Apache Kafka 最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是, Confluent 最近推出了一项名为 Confluent Cloud 的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。

如果你想开始使用 Amazon MKS,最好从 Amazon 分步指南 开始。

查看英文原文: Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据结构与算法分析

数据结构与算法分析

韦斯 (Mark Allen Weiss) / 机械工业出版社 / 2013-2-1 / 79.00元

本书是国外数据结构与算法分析方面的经典教材,使用卓越的Java编程语言作为实现工具讨论了数据结构(组织大量数据的方法)和算法分析(对算法运行时间的估计)。 随着计算机速度的不断增加和功能的日益强大,人们对有效编程和算法分析的要求也不断增长。本书将算法分析与最有效率的Java程序的开发有机地结合起来,深入分析每种算法,并细致讲解精心构造程序的方法,内容全面、缜密严格。 第3版的主要更新如......一起来看看 《数据结构与算法分析》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具