canal 1.1.1 发布,阿里 MySQL Binlog 增量订阅&消费组件

栏目: 数据库 · 发布时间: 6年前

内容简介:发行地址:canal 是阿里巴巴 MySQL 数据库 Binlog 的增量订阅&消费组件。早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于 trigger 的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。

功能新增

  1. 原生支持 RocketMQ 消息投递 #695Canal Kafka QuickStart

  2. 原生支持 hbase 的数据同步 #849 ClientAdapter

  3. 新增 c#/go 多语言客户端的支持

  • MQ 消息投递支持按 pk hash 到多个分区 partition ( Kafka/RocketMQ 均支持) #958

  • 小需求&bugfix

    1. 修复单核环境下的 canal 启动异常问题 #873

    2. 修复 parse 并行解析模式 gtid 的并发问题 #881

    3. java client 内聚 guava 打包,解决和外部系统的版本冲突问题 #912

    4. 升级 proto2 为 proto3(3.6.1),支持更多的跨语言能力

    5. 支持配置中数据库密码加密处理 #990

    6. 并行解析下,数据库一直连不上导致 OOM 异常(线程数泄漏,出现暴涨) #968

    7. mysql set 类型8值情况解析越界 bugfix otter#617

    8. 支持 otter 使用 canal 的新特性,比如 rds ak/sk 配置、tsdb 配置

    9. 修复 docker 部署 canal-server 无法使用 docker-restart 命令 #1001

    10. 修复 mysql bit(8) 类型8值情况解析越界 bugfix

    11. tablemeta tsdb 数据增加过期清理能力 #1047

    发行地址: https://github.com/alibaba/canal/releases

    canal 是阿里巴巴 MySQL 数据库 Binlog 的增量订阅&消费组件。

    早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于 trigger 的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。

    ps. 目前内部版本已经支持 mysql 和 oracle 部分版本的日志解析,当前的 canal 开源版本支持5.7及以下的版本(阿里内部 mysql 5.7.13, 5.6.10, mysql 5.5.18 和 5.1.40/48 )

    基于日志增量订阅&消费支持的业务:

    1. 数据库镜像

    2. 数据库实时备份

    3. 多级索引 (卖家和买家各自分库索引)

    4. search build

    5. 业务 cache 刷新

    6. 价格变化等重要业务消息


    以上所述就是小编给大家介绍的《canal 1.1.1 发布,阿里 MySQL Binlog 增量订阅&消费组件》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

    查看所有标签

    猜你喜欢:

    本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

    Introduction to Graph Theory

    Introduction to Graph Theory

    Douglas B. West / Prentice Hall / 2000-9-1 / USD 140.00

    For undergraduate or graduate courses in Graph Theory in departments of mathematics or computer science. This text offers a comprehensive and coherent introduction to the fundamental topics of graph ......一起来看看 《Introduction to Graph Theory》 这本书的介绍吧!

    RGB转16进制工具
    RGB转16进制工具

    RGB HEX 互转工具

    Markdown 在线编辑器
    Markdown 在线编辑器

    Markdown 在线编辑器

    RGB HSV 转换
    RGB HSV 转换

    RGB HSV 互转工具