数据采集ETL工具 Elasticsearch-datatran v6.3.0 发布

栏目: 软件资讯 · 发布时间: 3年前

内容简介:数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布,Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle...

数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布,Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、 Mongodb 、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database

Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移

数据采集ETL工具 Elasticsearch-datatran v6.3.0 发布

v6.3.0 功能改进

  1. elasticsearch rest client改进:优化批处理性能,执行批处理bulk操作后,默认只返回三个信息:took,errors,items.*.error,既耗时、错误标记、错误记录信息
  2. 数据同步功能改进:日志文件采集插件添加控制是否删除采集完的文件控制变量,默认false 不删除,true 删除
  3. 数据同步功能bug修复:修复hbase数据导出因columns信息为空导致的导出异常
  4. 数据同步功能bug修复:修改es2db导出时存在targetdb空指针问题
  5. 数据同步功能改进:增加采集日志文件数据,导出到文件并上传ftp/sftp服务器功能
  6. 数据同步功能改进:从kafka接收数据,处理后按照固定记录条数导出到文件并上传ftp/sftp服务器功能
  7. 数据同步功能改进:增加hbase数据导出到文件并上传ftp/sftp服务器功能
  8. 数据同步功能改进:增加mongodb数据导出到文件并上传ftp/sftp服务器功能
  9. 数据同步功能改进:增加hbase、mongodb到dummy/logger的输出功能
  10. 数据同步功能改进:增加日志文件数据采集到dummy/logger的输出功能
  11. 数据同步功能改进:增加kafka到dummy/logger输出功能
  12. 数据同步 工具 改进:增加kafka、hbase、mongodb到kafka的数据抽取同步功能
  13. 数据同步功能改进:增加hbase到database数据同步功能
  14. 数据同步功能改进:增加数据库/elasticsearch数据导出(增量/全量)到log4j日志文件dummy插件

说明:数据同步功能新增的dummy插件,便于调试采集数据作业,将采集的数据打印到控制台,观察数据的正确性

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

蚂蚁金服

蚂蚁金服

廉薇、边慧、苏向辉、曹鹏程 / 中国人民大学出版社 / 2017-7 / 59.00

打开支付宝,我们不但可以用手机即时付款,给好友转账,为信用卡还款,购买水、电、天然气,还可以办理出国购物退税;因为余额宝,我们可以开始打理手中的零用钱,随时随地进行理财;因为芝麻信用,我们感受到信用为我们带来的信任、尊严与方便——免押金租车、租房、骑行。从支付宝到蚂蚁金服,可以毫不夸张地说,一家企业改变了我们的生活。 蚂蚁金服无疑是目前中国最具代表性的金融科技巨头,同时也是全球估值最高的金融......一起来看看 《蚂蚁金服》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码