唯品会分布式强一致日志存储系统 VDL 正式对外开源

栏目: 后端 · 发布时间: 5年前

内容简介:VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面,从DB的存储引擎、DB的复制、分布式一致性算法到消息系统,本质上都是Log的存储和分发。外部应用通过Kafka协议来发送数据到VDL,VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。

VDL简介

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面,从DB的存储引擎、DB的复制、分布式一致性算法到消息系统,本质上都是Log的存储和分发。

外部应用通过Kafka协议来发送数据到VDL,VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。

VDL主要功能

唯品会分布式强一致日志存储系统 VDL 正式对外开源

支持kafka协议生产和消费数据,对用户来说VDL就是一个kafka消息系统。

部署运维简单,不依赖于其他外部组件。

数据强一致,服务高可用,raft协议保证。

保证线性读一致性。

VDL应用场景

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从应用场景来看,VDL可应用于以下几类场景:

●复制状态机(Replicated State Machine)

这一类应用主要使用VDL作为事务日志。 比如用于存储 MySQL 的Binlog,形成统一的Binlog服务层,简化数据库的备份、恢复、实例重建、failover等高频流程。

消息队列、消息发布订阅、流计算 

这一类应用主要使用VDL来存储和传递消息。 我们可以基于VDL实现消息发布/订阅系统;同时也可以作为Storm/Spark的输入和输出,用于实时流计算的场景。

数据复制

这一类应用主要使用VDL来进行数据复制。这个数据复制可能发生在本地机房,也可能是跨机房。我们可以基于VDL构建强一致的数据库技术方案。

如何加入VDL讨论群

唯品会分布式强一致日志存储系统 VDL 正式对外开源

使用有问题?想直接和作者交流?没关系,扫描下方二维码加入VDL官方微信讨论群。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码加入微信群,12月6日前有效

前100名加群免审核、免邀请(扫描上方群二维码即可)。

100名后因管理需要,将开启进群验证,可先扫描下方个人二维码或搜索微信号viptech128[唯技术],备注VDL,添加好友后进入讨论组(如有添加好友异常请稍后再试,或在公众号后台留言“VDL+您的微信号”,工作人员会统一添加好友入群)。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码添加唯技术好友

如何向VDL贡献代码

唯品会分布式强一致日志存储系统 VDL 正式对外开源

所有报Bug、建议与咨询,请在 GITHUB Issues发起;所有代码提交,请走Pull Request流程。开发人员会及时回复和处理。对于优秀建议和Pull Request代码提交也会给予奖励。 点击阅读原文即可进入GITHUB界面,感谢关注。

推荐阅读

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储介绍(产品篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储(实现篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储 (质量篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从零开发一个单机存储引擎-以VDL Logstore设计为例


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

我看电商3:零售的变革

我看电商3:零售的变革

黄若 / 电子工业出版社 / 2018-4 / 49

在《我看电商3:零售的变革》之前,黄若先生的“我看电商”系列图书《我看电商》《再看电商》《我看电商2》,均为行业畅销书。黄若先生的图书有两大特如一是干货满满,二是观点鲜明。 “新零售”是眼下的热门词。在2017年里,数以万计的企业以“新零售”作为标识进入市场。但是社会上对“新零售“存在着各种模糊的定义和不尽相同的解读。 《我看电商3:零售的变革》中明确提出:新零售不应过分关注于渠道形式......一起来看看 《我看电商3:零售的变革》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

MD5 加密
MD5 加密

MD5 加密工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具