内容简介:迁移系统时,有时你必须建立一个小脚手架。我们最近不得不这样做:在Instagram上,于遗留原因,我们需要将大约3亿张照片映射到创建它们的用户的ID,以便了解要查询的分片(请参阅有关1. 查找键并快速返回值2. 将数据存在内存中,理想情况下是在EC2高内存类型(17GB或34GB,而不是68GB实例类型)中
迁移系统时,有时你必须建立一个小脚手架。我们最近不得不这样做:在Instagram上,于遗留原因,我们需要将大约3亿张照片映射到创建它们的用户的ID,以便了解要查询的分片(请参阅有关 我们的 更多信息) 分片设置 )。虽然所有客户端和API应用程序都已更新并向我们返回 完整信息,但仍有许多人缓存的旧数据。我们需要一个解决方案:
1. 查找键并快速返回值
2. 将数据存在内存中,理想情况下是在EC2高内存类型(17GB或34GB,而不是68GB实例类型)中
3. 兼容我们现有的基础结构
4. 持久化,以便在服务器宕机时我们不必重跑
这个问题的一个简单解决方案是将它们简单地存储在数据库行中,其中包含“Media ID”和“User ID”列。但是,考虑到这些ID从未更新(仅插入),SQL数据库似乎是多余的。不需要事务,也和其他表没有任何关系。
相反,我们转向 Redis ,一个我们在Instagram上广泛使用的键值存储。Redis是一把key-value的瑞士军刀; 而不是像 Memcached 那样普通的“Set key,get key”机制,它提供了强大的聚合类型,如有序集合和列表。它具有可配置的持久化模型,其中后台以指定的时间间隔保存,并且可以设置主从同步。我们所有的 Redis 都在主从服务器上运行,从服务器设置为每分钟保存到磁盘。
首先,我们决定以最简单的方式使用Redis:对于每个ID,key将是媒体ID,值将是用户ID:
SET media:1155315 939
GET media:1155315
> 939
然而,在对此解决方案进行模型设计时,我们发现Redis需要大约70 MB才存储1,000,000个key。根据我们需要的300,000,000,大约要21GB的数据,已经比亚马逊EC2上的17GB实例类型更大。
我们向Redis的核心开发人员之一,乐于助人的 Pieter Noordhuis 提出了意见,他建议我们使用Redis哈希。Redis中的哈希是字典,可以非常有效地编码在内存中; Redis设置'hash-zipmap-max-entries'配置散列可以有效编码的最大条目数。我们发现这个设置最好在1000左右; 任何更高的配置HSET命令都会引起很明显的CPU使用。有关更多详细信息,你可以 查看zipmap源文件 。
为了用散列类型,我们将所有媒体ID分配到1000个桶中(我们只取ID,除以1000并丢弃剩余部分)。这决定了属于哪个键,接下来在该键的散列中,Media ID是散列中的查找键,用户ID是值。一个例子,给定媒体ID为1155315,它属于桶1155(1155315/1000 = 1155):
HSET "mediabucket:1155" "1155315" "939"
HGET "mediabucket:1155" "1155315"
> "939"
内存差异非常惊人; 使用我们的1,000,000个key(编码为1000个哈希,每个1000个子key),Redis只需要16MB存储。扩展到3亿个key,总数不到5GB,事实上,它甚至适合亚马逊上更便宜的m1.large实例类型,大约是我们原本需要的更大实例成本的1/3。最重要的是,散列中的查找仍然是O(1),非常快。
如果你对尝试这些感兴趣,我们用于运行这些测试的脚本 可以作为GitHub上的Gist (我们在脚本中有Memcached用于比较, 百万个key需要大约52MB)。
更多文章欢迎访问: http://www.apexyun.com
公众号:银河系1号
联系邮箱:public@space-explore.com
(未经同意,请勿转载)
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 块存储、文件存储、对象存储三者之比较
- 云原生存储详解:容器存储与 K8s 存储卷
- Android 存储(本地存储 SD卡存储 SharedPreference SQLite ContentProvider)
- 存储技术之云存储
- 选存储,就选原生块存储!
- Mysql之存储过程与存储函数
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Head Rush Ajax
Brett McLaughlin、Eric Freeman、Elisabeth Freeman / O'Reilly Media, Inc. / 2006-03-01 / USD 34.99
Ajax, or Asynchronous JavaScript and XML, is a term describing the latest rage in web development. Ajax is used to create interactive web applications with XML-based web services, and using JavaScript......一起来看看 《Head Rush Ajax》 这本书的介绍吧!