elasticsearch-datatran v6.2.9 发布,Elasticsearch 高效数据同步工具

栏目: 软件资讯 · 发布时间: 3年前

内容简介:elasticsearch-datatran v6.2.9 已经发布,这是一个 Elasticsearch 高效数据同步工具。Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、...

elasticsearch-datatran v6.2.9 已经发布,这是一个 Elasticsearch 高效数据同步工具。Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。

Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移。

v6.2.9 功能改进

数据同步改进:完善ip2region和geoip数据库热加载机制

Restclient改进:升级httpcliet组件版本到最新的官方版本4.5.13

Restclient改进:升级fastxml jackson databind版本2.9.10.8

Restclient改进:增加对elasticsearch pit机制的支持,参考用例:

testPitId方法

https://gitee.com/bboss/eshelloword-spring-boot-starter/blob/master/src/test/java/org/bboss/elasticsearchtest/springboot/SimpleBBossESStarterTestCase.java

数据同步 工具 扩展:增加日志文件采集插件,支持全量和增量采集两种模式,实时采集日志文件数据到kafka/elasticsearch/database

使用文档:https://esdoc.bbossgroups.com/#/filelog-guide

日志文件采集插件使用案例:

采集日志数据并写入数据库 采集日志数据并写入Elasticsearch 采集日志数据并发送到Kafka 之前版本升级6.2.9注意事项,需手动修改增量同步状态表结构,增加下面三个字段:

status number(1) , //数据采集完成状态:0-采集中(默认值) 1-完成 适用于文件日志采集 默认值 0 filePath varchar(500) //日志文件路径,默认值"" fileId varchar(500) //日志文件indoe标识,默认值"" Restclient改进:设每个elasticsearch数据源默认版本兼容性为7,为了处理启动时无法连接es的情况,可以根据连接的es来配置和调整每个elasticsearch数据源的配置,示例如下: elasticsearch.version=7.12.0

调整gradle构建脚本语法,保持与gradle 7的兼容性

Restclient改进:elasticsearch节点自动发现和故障节点健康检查后台线程模型调整为daemon模式

http-proxy改进:http-proxy节点自动发现和故障节点健康检查后台线程模型调整为daemon模式

详情查看:https://gitee.com/bboss/bboss-elastic-tran/releases/v6.2.9


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Computational Geometry

Computational Geometry

Mark de Berg、Otfried Cheong、Marc van Kreveld、Mark Overmars / Springer / 2008-4-16 / USD 49.95

This well-accepted introduction to computational geometry is a textbook for high-level undergraduate and low-level graduate courses. The focus is on algorithms and hence the book is well suited for st......一起来看看 《Computational Geometry》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具