内容简介：数据采集ETL工具 Elasticsearch-datatran v6.3.3 发布， v6.3.3修复了v6.3.2,v6.3.1版本引入的一系列问题，建议升级。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据处理清洗和...

数据采集ETL工具 Elasticsearch-datatran v6.3.3 发布， v6.3.3修复了v6.3.2,v6.3.1版本引入的一系列问题，建议升级。

Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步；支持日志文件实时增量采集到kafka/elasticsearch/database。

Elasticsearch版本兼容性：支持各种Elasticsearch版本（1.x,2.x,5.x,6.x,7.x,+）之间相互数据迁移

v6.3.3 功能改进

1. 数据同步改进：处理异步更新状态可能导致的死锁问题

2. 数据同步改进：处理在closeEOF为true情况下filelog插件重启后不采集数据问题和filelog插件不采集新增文件数据问题

3. 数据同步改进：优化作业停止资源处理机制

4. 数据同步改进：优化作业状态管理机制

5. 数据同步改进：filelog插件增加FileFilter机制，自定义筛选需要采集日志的文件

v6.3.2 功能改进

1. 数据同步改进：启用日志文件采集探针closeOlderTime配置，允许文件内容静默最大时间，单位毫秒，如果在idleMaxTime访问内一直没有数据更新，认为文件是静默文件，将不再采集静默文件数据，关闭文件对应的采集线程，作业重启后也不会采集

2. 数据同步改进：日志文件采集插件增加对CallInterceptor的支持，采集文件任务新增/结束时会调用拦截器方法，可以在refactor方法中获取拦截器设置的数据，文件采集完毕后释放

3. 数据同步 工具 完善：修复同步数据到kafka productor初始化问题

4. 数据同步工具完善：修复停止filelog作业报错问题

5. 数据同步工具改进：发送kafka控件改进，设置发送多少条消息后打印发送统计信息

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 携程实时用户数据采集与分析
• 携程用户数据采集与分析系统
• elk中Beats数据采集
• 让前端监控数据采集更高效
• iOS性能数据采集机制汇总
• OpenStack云平台监控数据采集

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。