canal 1.1.2 发布,阿里 MySQL Binlog 增量订阅&消费组件

栏目: 软件资讯 · 发布时间: 6年前

内容简介:canal 1.1.2 已发布,更新内容如下: 功能新增 支持mysql8.0的binlog解析 【BinlogChange(MySQL8)】 canal提供内置的客户端能力【ClientAdapter】 同步到HBase wiki 同步到Rdb(支持mysql/pg/oracle/sqlserver) wi...

canal 1.1.2 已发布,更新内容如下:

功能新增

  1. 支持 mysql 8.0的binlog解析 【BinlogChange(MySQL8)

  2. canal提供内置的客户端能力【ClientAdapter

  • 同步到HBase wiki

  • 同步到Rdb(支持mysql/pg/oracle/sqlserver) wiki

  • 同步到ES wiki

  • 目前adapter为支持更多常见的目标存储,会处于快速迭代中,不同版本之间会有接口调整,请及时关注文档

  • RocketMQ消息支持直接投递至aliyun ons(RocketMQ云服务) #1169

  • 功能重构

    1. MQ消息发送的配置相关从mq.yml调整至canal.properties,支持了auto scan的能力,请关注最新的配置文档 wiki

    小需求&bugfix

    1. 修复mysql binlog文件名解析乱码问题 #1189

    2. 修复修复TableMeta TSDB在每天定时snapshot因filter变化导致失败 #1168

    3. 修复canal docker支持MQ模式启动失败问题 #1087

    4. 修复TableMeta TSDB支持int display width不一致问题 #1100

    5. 修复rocketmq&kafka 发送消息失败时回滚后继续提交的问题 #1104

    6. 修复alter rename 的ddl 类型解析错误的问题 #1103

    7. 修复FlatMessage 中data过滤掉了 value null的column #1120

    8. 优化aliyun rds oss binlog下载的能力,支持基于位点自动回溯 #1076

    canal 是阿里巴巴 MySQL 数据库 Binlog 的增量订阅&消费组件。

    早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于 trigger 的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。

    ps. 目前内部版本已经支持 mysql 和 oracle 部分版本的日志解析,当前的 canal 开源版本支持5.7及以下的版本(阿里内部 mysql 5.7.13, 5.6.10, mysql 5.5.18 和 5.1.40/48 )

    基于日志增量订阅&消费支持的业务:

    1. 数据库镜像

    2. 数据库实时备份

    3. 多级索引 (卖家和买家各自分库索引)

    4. search build

    5. 业务 cache 刷新

    6. 价格变化等重要业务消息


    【声明】文章转载自:开源中国社区 [http://www.oschina.net]


    以上所述就是小编给大家介绍的《canal 1.1.2 发布,阿里 MySQL Binlog 增量订阅&消费组件》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

    查看所有标签

    猜你喜欢:

    本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

    机器学习系统设计

    机器学习系统设计

    [德] Willi Richert、Luis Pedro Coelho / 刘峰 / 人民邮电出版社 / 2014-7-1 / CNY 49.00

    如今,机器学习正在互联网上下掀起热潮,而Python则是非常适合开发机器学习系统的一门优秀语言。作为动态语言,它支持快速探索和实验,并且针对Python的机器学习算法库的数量也与日俱增。本书最大的特色,就是结合实例分析教会读者如何通过机器学习解决实际问题。 本书将向读者展示如何从原始数据中发现模式,首先从Python与机器学习的关系讲起,再介绍一些库,然后就开始基于数据集进行比较正式的项目开......一起来看看 《机器学习系统设计》 这本书的介绍吧!

    JSON 在线解析
    JSON 在线解析

    在线 JSON 格式化工具

    在线进制转换器
    在线进制转换器

    各进制数互转换器

    SHA 加密
    SHA 加密

    SHA 加密工具