内容简介：Data JellyFish 译文（数据水母）是数据调度中心，实现系统与系统之间，服务与服务之间，与第三方之间的数据100%准实时同步。 用途 与第三方的数据同步 内部系统之间的数据同步 特性 数据100%传输，不丢失任何一条...
用途
-
与第三方的数据同步
-
内部系统之间的数据同步
特性
-
数据100%传输，不丢失任何一条数据
-
实时性高，相比定时任务每5分钟，半天，一天，而言，在秒级实现同步
-
对接成本低，增量同步时提供一个增量查询接口，全量同步时提供一个全量查询接口
-
无中心化的分布式任务，实现任务分片能力，达到并发处理，实现快速调度的目的
-
每一条数据都有同步的成功或失败记录，历史可查
-
自定义重试策略，固定时长，指数级重试
-
完善的监控信息，有多少同步了，有多少未同步，
原理
以系统A同步数据到系统B为例，A系统提供一个http接口，实现数据增量或全量的抓取，”Data JellyFish 数据高度中心“ 简称 "DJ" ，DJ 启动生产者任务线 程T1调用A系统的http接口，将数据存储在自己的中间表中，同时，DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口，来完成数据调度
架构图
传统数据同步方案比较
-
RCP, http协议直接访问第三方，内存中重试三次后，消息丢失
-
定时任务数据同步，延迟高，无分片并发能力
-
MQ,Kafka等，研发对接（保证数据准确传输的）成本高，无流水记录，无法直接回塑
-
每次数据对接都需要重复开发，不具备可用性
样例图
问题反馈
微信号: freedom-Union
邮件交流： kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 分布式调用跟踪系统调研笔记
- 分布式调用跟踪系统调研笔记
- 分布式集群环境下调用链路追踪
- 调用链与分布式追踪系统
- Jaeger-分布式调用链跟踪系统理论与实战
- grpc和consul结合实现分布式rpc调用
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Python神经网络编程
[英]塔里克·拉希德（Tariq Rashid） / 林赐 / 人民邮电出版社 / 2018-4 / 69.00元
神经网络是一种模拟人脑的神经网络，以期能够实现类人工智能的机器学习 技术。 本书揭示神经网络背后的概念，并介绍如何通过Python实现神经网络。全书 分为3章和两个附录。第1章介绍了神经网络中所用到的数学思想。第2章介绍使 用Python实现神经网络，识别手写数字，并测试神经网络的性能。第3章带领读 者进一步了解简单的神经网络，观察已受训练的神经网络内部，尝试进一步改......一起来看看 《Python神经网络编程》 这本书的介绍吧!
