内容简介:Data JellyFish 译文(数据水母)是数据调度中心,实现系统与系统之间,服务与服务之间,与第三方之间的数据100%准实时同步。 用途 与第三方的数据同步 内部系统之间的数据同步 特性 数据100%传输,不丢失任何一条...
用途
-
与第三方的数据同步
-
内部系统之间的数据同步
特性
-
数据100%传输,不丢失任何一条数据
-
实时性高,相比定时任务每5分钟,半天,一天,而言,在秒级实现同步
-
对接成本低,增量同步时提供一个增量查询接口,全量同步时提供一个全量查询接口
-
无中心化的分布式任务,实现任务分片能力,达到并发处理,实现快速调度的目的
-
每一条数据都有同步的成功或失败记录,历史可查
-
自定义重试策略,固定时长,指数级重试
-
完善的监控信息,有多少同步了,有多少未同步,
原理
以系统A同步数据到系统B为例,A系统提供一个http接口,实现数据增量或全量的抓取,”Data JellyFish 数据高度中心“ 简称 "DJ" ,DJ 启动生产者任务线 程T1调用A系统的http接口,将数据存储在自己的中间表中,同时,DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口,来完成数据调度
架构图
传统数据同步方案比较
-
RCP, http协议直接访问第三方,内存中重试三次后,消息丢失
-
定时任务数据同步,延迟高,无分片并发能力
-
MQ,Kafka等,研发对接(保证数据准确传输的)成本高,无流水记录,无法直接回塑
-
每次数据对接都需要重复开发,不具备可用性
样例图
问题反馈
微信号: freedom-Union
邮件交流: kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 分布式调用跟踪系统调研笔记
- 分布式调用跟踪系统调研笔记
- 分布式集群环境下调用链路追踪
- 调用链与分布式追踪系统
- Jaeger-分布式调用链跟踪系统理论与实战
- grpc和consul结合实现分布式rpc调用
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
算法交易与套利交易
赵胜民 / 厦门大学出版社 / 2010-9 / 35.00元
《算法交易与套利交易》主要介绍算法交易和一些套利交易的策略,以便于读者对相关方面的内容进行阅读和学习。在《算法交易与套利交易》的第一部分,我们回顾了投资学一些相关的基本内容。其中,前两章介绍了证券投资的收益和风险等特征,以及马可维茨的最优资产配置模型。第3章则介绍了股票投资分析当中常用的资本资产定价模型(CAPM)、套利定价模型(APT),以及因素模型。然后,第4、5章分别讲到了金融证券估值模型、......一起来看看 《算法交易与套利交易》 这本书的介绍吧!