内容简介：数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布，Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle...

数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布，Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步；支持日志文件实时增量采集到kafka/elasticsearch/database。

Elasticsearch版本兼容性：支持各种Elasticsearch版本（1.x,2.x,5.x,6.x,7.x,+）之间相互数据迁移

v6.3.0 功能改进

1. elasticsearch rest client改进：优化批处理性能，执行批处理bulk操作后，默认只返回三个信息：took,errors,items.*.error，既耗时、错误标记、错误记录信息
2. 数据同步功能改进：日志文件采集插件添加控制是否删除采集完的文件控制变量，默认false 不删除，true 删除
3. 数据同步功能bug修复：修复hbase数据导出因columns信息为空导致的导出异常
4. 数据同步功能bug修复：修改es2db导出时存在targetdb空指针问题
5. 数据同步功能改进：增加采集日志文件数据，导出到文件并上传ftp/sftp服务器功能
6. 数据同步功能改进：从kafka接收数据，处理后按照固定记录条数导出到文件并上传ftp/sftp服务器功能
7. 数据同步功能改进：增加hbase数据导出到文件并上传ftp/sftp服务器功能
8. 数据同步功能改进：增加mongodb数据导出到文件并上传ftp/sftp服务器功能
9. 数据同步功能改进：增加hbase、mongodb到dummy/logger的输出功能
10. 数据同步功能改进：增加日志文件数据采集到dummy/logger的输出功能
11. 数据同步功能改进：增加kafka到dummy/logger输出功能
12. 数据同步 工具 改进：增加kafka、hbase、mongodb到kafka的数据抽取同步功能
13. 数据同步功能改进：增加hbase到database数据同步功能
14. 数据同步功能改进：增加数据库/elasticsearch数据导出（增量/全量）到log4j日志文件dummy插件

说明：数据同步功能新增的dummy插件，便于调试采集数据作业，将采集的数据打印到控制台，观察数据的正确性

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 携程实时用户数据采集与分析
• 携程用户数据采集与分析系统
• elk中Beats数据采集
• 让前端监控数据采集更高效
• iOS性能数据采集机制汇总
• OpenStack云平台监控数据采集

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。