性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

栏目: 数据库 · 发布时间: 6年前

内容简介:Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说Redis可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。在本文中,EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属

Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说 Redis 可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。

在本文中, 我们将讨论如何制作一个几乎使Redis性能提高一倍的模块!

EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属于“Linux内核空间”; 另一方面,我们在应用程序中运行称为“用户空间”的应用程序,所以问题变成是没有办法绕过内核?

英特尔开发出了数据平面开发套件(DPDK),提供驱动程序和库以加速数据包处理工作量。绕过内核的想法允许在用户空间处理数据流,而 Linux 处理控制流。

将这个想法付诸实践,并使用EQ Alpha刚刚发布的模块进行测试。该模块允许Redis在用户空间中与NIC进行交互,绕过内核。这使得正常的Redis独立实例从164,000 ops / sec变为超过300,000 ops / sec,Redis 5.0实例的延迟减少约1.8倍。下图显示了每秒操作数与数据大小。测试使用最新版本的Redis(5.0)进行,并添加了Accelerator模块:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

在单个机器实例上可以看到最大的收益(不在同一服务器上运行节点集群 - 尽管这里仍然可以看到一些增益)。在同一服务器上或作为计算机集群的一部分运行主/副本也有很大的收益。如果服务器受CPU限制,则增益可能不高。建议使用具有4个或更多内核的计算机

通过在用户空间内操作,这些都是可观的收益。使用此模块可以在此环境中使用Redis实例,而无需修改基本代码。Redis将在Unix套接字上运行,从而使dpdk的性能更快。使用环境抽象层(EAL)以及其他堆栈组件,该模块能够轮询和解释数据,而无需中断处理的开销。它能够在自己的框架内运行,并允许您继续使用Redis的生产版本或该注释上的任何其他版本的Redis(包括不稳定版本和新版本)。

这个概念很有意思,它充满了对内部发生的好奇心。那么在没有这些限制的情况下运行Redis实例会是什么样子?下面是两个 Flamegraph ,可以帮助提供配置软件的可视化。它们是在使用模块运行Redis时生成的,并且运行它时没有:

下面是在未修改的Redis上执行常规基准测试时生成的火焰图。

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

下面是在基准测试期间生成的火焰图,其中Accelerator模块在后台运行:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

希望本文有助于展示您的Redis实例可以解锁的潜力。EQ Alpha与此模块和KeyDB项目的目标之一是帮助驱动选项,以实现更大,更强大的实例,从而通过能够处理更多负载来最小化分片和群集的需求。该模块采用独立模块形式,非常有用,因为无论Redis基本代码的下一步版本和未来版本如何,它都可能提供性能提升。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

DOM Scripting

DOM Scripting

Jeremy Keith / friendsofED / 2010-12 / GBP 27.50

There are three main technologies married together to create usable, standards-compliant web designs: XHTML for data structure, Cascading Style Sheets for styling your data, and JavaScript for adding ......一起来看看 《DOM Scripting》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码