Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 v6.1.0功能改进 如果在程序...

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。

Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

v6.1.0功能改进

  1. 如果在程序里面配置的增量字段类型发生改变,要把增量状态表对应的类型调整为最新的字段类型

    设置了类型后,就按照类型来,不再按照设置的日期和数字字段名称来区分:

    增加setLastValueColumn方法,废弃setDateLastValueColumn和setNumberLastValueColumn两个方法

  2. DB-DB数据同步工具:增加在作业中直接指定 sql 语句的功能

  3. 修复数据同步bug:数据库到数据库跨库同步无效

  4. 可以通过ImportBuilder组件设置geoip数据库地址,使用案例:

        importBuilder.setGeoipDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-City.mmdb");
        importBuilder.setGeoipAsnDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-ASN.mmdb");

5.数据同步增加db-db数据同步spring boot案例工程:

https://github.com/bbossgroups/db-db-job

Elasticsearch-datatran功能特点

1.支持多种数据源之间的数据同步

2.支持增删改数据同步

3.支持多种数据导入方式

  • 批量数据导入
  • 批量数据多线程并行导入
  • 定时全量(串行/并行)数据导入
  • 定时增量(串行/并行)数据导入

4.支持的数据库和消息中间件类型

数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等

消息中间件:kafka 1x,kafka 2x

5.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,+

6.支持海量PB级数据同步导入Elasticsearch

7.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息

8.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理

9.支持多种定时任务执行引擎

10.基于 java 语言开发和发布数据同步作业

bboss elasticsearch数据同步 工具 另一个显著的特色就是直接基于java语言来编写数据同步作业程序,基于强大的java语言和第三方工具包,能够非常方便地加工和处理需要同步的源数据,然后将最终的数据保存到目标库(Elasticsearch或者数据库);同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序,调试无误后,通过bboss提供的gradle打包构建脚本,即可发布出可部署到生产环境的同步作业包。

11.支持两种作业运行方式

  • 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
  • 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布

更新说明:https://esdoc.bbossgroups.com/#/changelog


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Parsing Techniques

Parsing Techniques

Dick Grune、Ceriel J.H. Jacobs / Springer / 2010-2-12 / USD 109.00

This second edition of Grune and Jacobs' brilliant work presents new developments and discoveries that have been made in the field. Parsing, also referred to as syntax analysis, has been and continues......一起来看看 《Parsing Techniques》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

MD5 加密
MD5 加密

MD5 加密工具