Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 v6.1.0功能改进 如果在程序...

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。

Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

v6.1.0功能改进

  1. 如果在程序里面配置的增量字段类型发生改变,要把增量状态表对应的类型调整为最新的字段类型

    设置了类型后,就按照类型来,不再按照设置的日期和数字字段名称来区分:

    增加setLastValueColumn方法,废弃setDateLastValueColumn和setNumberLastValueColumn两个方法

  2. DB-DB数据同步工具:增加在作业中直接指定 sql 语句的功能

  3. 修复数据同步bug:数据库到数据库跨库同步无效

  4. 可以通过ImportBuilder组件设置geoip数据库地址,使用案例:

        importBuilder.setGeoipDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-City.mmdb");
        importBuilder.setGeoipAsnDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-ASN.mmdb");

5.数据同步增加db-db数据同步spring boot案例工程:

https://github.com/bbossgroups/db-db-job

Elasticsearch-datatran功能特点

1.支持多种数据源之间的数据同步

2.支持增删改数据同步

3.支持多种数据导入方式

  • 批量数据导入
  • 批量数据多线程并行导入
  • 定时全量(串行/并行)数据导入
  • 定时增量(串行/并行)数据导入

4.支持的数据库和消息中间件类型

数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等

消息中间件:kafka 1x,kafka 2x

5.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,+

6.支持海量PB级数据同步导入Elasticsearch

7.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息

8.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理

9.支持多种定时任务执行引擎

10.基于 java 语言开发和发布数据同步作业

bboss elasticsearch数据同步 工具 另一个显著的特色就是直接基于java语言来编写数据同步作业程序,基于强大的java语言和第三方工具包,能够非常方便地加工和处理需要同步的源数据,然后将最终的数据保存到目标库(Elasticsearch或者数据库);同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序,调试无误后,通过bboss提供的gradle打包构建脚本,即可发布出可部署到生产环境的同步作业包。

11.支持两种作业运行方式

  • 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
  • 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布

更新说明:https://esdoc.bbossgroups.com/#/changelog


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

用户故事地图

用户故事地图

Jeff Patton / 李涛、向振东 / 清华大学出版社 / 2016-4-1 / 59.00元

用户故事地图作为一种有效的需求工具,越来越广泛地应用于开发实践中。本书以用户故事地图为主题,强调以合作沟通的方式来全面理解用户需求,涉及的主题包括怎么以故事地图的方式来讲用户需求,如何分解和优化需求,如果通过团队协同工作的方式来积极吸取经验教训,从中洞察用户的需求,开发真正有价值的、小而美的产品和服务。本书适合产品经理、用户体验设计师、产品负责人、业务分析师、IT项目经理、敏捷教练和精益教练阅读和......一起来看看 《用户故事地图》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具