内容简介：数据采集ETL工具 Elasticsearch-datatran v6.3.9 发布。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,...
数据采集ETL工具 Elasticsearch-datatran v6.3.9 发布。
Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步；支持本地/ftp日志文件实时增量采集到kafka/elasticsearch/database；支持根据字段进行数据记录切割；支持根据文件路径信息将不同文件数据写入不同的数据库表。
提供自定义处理采集数据功能，可以按照自己的要求将采集的数据处理到目的地，支持数据来源包括：database，elasticsearch，kafka，mongodb，hbase，file，ftp等，想把采集的数据保存到什么地方，由自己实现CustomOutPut接口处理即可。
Elasticsearch版本兼容性：支持各种Elasticsearch版本（1.x,2.x,5.x,6.x,7.x,+）之间相互数据迁移
v6.3.9 功能改进
- 修复db-es数据同步时，指定了任务拦截器，但是处理任务上下文中没有指定任务级别的 sql 语句时空指针问题
- bboss安全过滤器改造：增加xss攻击和敏感词攻击策略配置
- 数据采集作业运行 工具 改进：完善运行容器工具，增加启动bootrap类，负责运行、停止、重启mainclass，并将mainclass运行、停止、重启过程中的日志、异常输出到log日志文件
导入微服务容器组件包：由bboss-rt调整为bboss-bootstrap-rt
gradle坐标
group: 'com.bbossgroups', name: 'bboss-bootstrap-rt', version: "5.8.5",transitive: true
maven坐标
<dependency>
<groupId>com.bbossgroups</groupId>
<artifactId>bboss-bootstrap-rt</artifactId>
<version>5.8.5</version>
</dependency>
- 运行容器工具改进：停止进程时需等待进程停止完毕再退出
- 敏感信息处理：对httpproxy和elasticsearch客户端输出日志中的用户口令信息进行脱敏处理
- 兼容老版本升级到最新的数据同步框架：自动创建增量状态表和增量状态历史表中新增的字段
- 修复httpproxy问题：停止默认连接池时，没有清空默认配置对象
- 完善数据同步异常处理机制：捕获插件初始化异常并输出到日志文件
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
