性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

栏目: 数据库 · 发布时间: 5年前

内容简介:Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说Redis可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。在本文中,EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属

Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说 Redis 可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。

在本文中, 我们将讨论如何制作一个几乎使Redis性能提高一倍的模块!

EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属于“Linux内核空间”; 另一方面,我们在应用程序中运行称为“用户空间”的应用程序,所以问题变成是没有办法绕过内核?

英特尔开发出了数据平面开发套件(DPDK),提供驱动程序和库以加速数据包处理工作量。绕过内核的想法允许在用户空间处理数据流,而 Linux 处理控制流。

将这个想法付诸实践,并使用EQ Alpha刚刚发布的模块进行测试。该模块允许Redis在用户空间中与NIC进行交互,绕过内核。这使得正常的Redis独立实例从164,000 ops / sec变为超过300,000 ops / sec,Redis 5.0实例的延迟减少约1.8倍。下图显示了每秒操作数与数据大小。测试使用最新版本的Redis(5.0)进行,并添加了Accelerator模块:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

在单个机器实例上可以看到最大的收益(不在同一服务器上运行节点集群 - 尽管这里仍然可以看到一些增益)。在同一服务器上或作为计算机集群的一部分运行主/副本也有很大的收益。如果服务器受CPU限制,则增益可能不高。建议使用具有4个或更多内核的计算机

通过在用户空间内操作,这些都是可观的收益。使用此模块可以在此环境中使用Redis实例,而无需修改基本代码。Redis将在Unix套接字上运行,从而使dpdk的性能更快。使用环境抽象层(EAL)以及其他堆栈组件,该模块能够轮询和解释数据,而无需中断处理的开销。它能够在自己的框架内运行,并允许您继续使用Redis的生产版本或该注释上的任何其他版本的Redis(包括不稳定版本和新版本)。

这个概念很有意思,它充满了对内部发生的好奇心。那么在没有这些限制的情况下运行Redis实例会是什么样子?下面是两个 Flamegraph ,可以帮助提供配置软件的可视化。它们是在使用模块运行Redis时生成的,并且运行它时没有:

下面是在未修改的Redis上执行常规基准测试时生成的火焰图。

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

下面是在基准测试期间生成的火焰图,其中Accelerator模块在后台运行:

性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev

希望本文有助于展示您的Redis实例可以解锁的潜力。EQ Alpha与此模块和KeyDB项目的目标之一是帮助驱动选项,以实现更大,更强大的实例,从而通过能够处理更多负载来最小化分片和群集的需求。该模块采用独立模块形式,非常有用,因为无论Redis基本代码的下一步版本和未来版本如何,它都可能提供性能提升。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Python高性能(第2版)

Python高性能(第2版)

[加] 加布丽埃勒•拉纳诺(Gabriele Lanaro) / 袁国忠 / 人民邮电出版社 / 2018-8 / 59.00元

本书是一本Python性能提升指南,展示了如何利用Python的原生库以及丰富的第三方库来构建健壮的应用程序。书中阐释了如何利用各种剖析器来找出Python应用程序的性能瓶颈,并应用正确的算法和高效的数据结构来解决它们;介绍了如何有效地利用NumPy、Pandas和Cython高性能地执行数值计算;解释了异步编程的相关概念,以及如何利用响应式编程实现响应式应用程序;概述了并行编程的概念,并论述了如......一起来看看 《Python高性能(第2版)》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

URL 编码/解码
URL 编码/解码

URL 编码/解码

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换