在最近举行的 Large Installation System Administration（LISA）2018 大会上，Instagram 产品工程师 Sherry Xiao 解释了他们的团队如何将 Instagram 服务分散在美国和欧洲的数据中心。他们使用了 Facebook 工程团队的工具，在有状态服务（Cassandra 和 TAO）中解决了数据本地性（locality）问题。
Facebook 在 2012 年收购了 Instagram，后者迁移到了 Facebook 的基础设施上。Instagram 的基础设施只部署在美国，而 Facebook 的数据中心位于美国和欧洲。Instagram 的技术栈主要包括 Django、Cassandra、TAO 分布式数据存储、 Memcached 和 Celery 异步作业。他们不得不在美国和欧盟数据中心之间拆分服务，以解决数据存储空间限制问题。Cassandra quorum 调用的高延迟，为数据本地性划分数据集，在欧盟区域内进行故障转移以及为 TAO 进行主副本同步，这些都是团队在进行服务拆分时必须克服的挑战。
图片来源—— https://www.youtube.com/watch?v=2GInt9E3vrU
Instagram 使用 Cassandra 作为通用的键值存储服务。他们将 Cassandra 与其他组件从 AWS 转移到 Facebook 自己的数据中心。Cassandra 在数据中心使用法定数量的副本来实现读写一致性。维护欧洲数据中心的数据副本会导致存储浪费，而 quorum 请求需要跨洋，延迟太高，不可取。Instagram 团队改为使用名为 Akkio 的 工具 对数据进行分区，这样美国用户的数据位于美国数据中心，欧盟用户的数据位于欧盟的三个数据中心。Akkio 是一款由 Facebook 开发的数据布局工具，可以对数据检索进行优化。它通过将数据分组为逻辑集来实现布局，然后将逻辑集存储在最靠近经常访问它们的最终用户的数据中心。Xiao 说，Akkio“跟踪最终用户的访问模式并触发数据迁移”。
这种架构消除了在每个数据中心存储所有数据副本的必要。美国和欧盟的数据中心可以独立运作，quorum 请求可以留在同一个大陆。Instagram 还使用 Social Hash 分区器将请求路由到正确的存储桶，尤其是对于拥有大量关注者的帐户。
Instagram 也使用了 Facebook 的 TAO 来存储社交图数据。在分片模式下，TAO 的每个分片都有一个主节点。写入操作只会被转发给运行在美国数据中心的主节点，副本是只读的。该团队修改了 TAO，让它可以将写入操作传给欧盟地区的本地主节点，避免跨洋调用。为什么不在这里使用 Akkio？Xiao 解释说，“与 Cassandra 相比，TAO 拥有不同的数据模型。大多数用例都是使用用户 ID 作为键，数据属于用户”。相比之下，TAO 处理的对象可以被全球各地的用户访问，因此 Akkio 无法实现最佳的数据本地性。
在最终的架构中，在前端有一个无状态的 Django 层，后面是分区的 Cassandra 和 TAO，数据被写入本地主节点。迁移需要改变灾难恢复（DR）计划，因为延迟以及不同的数据集会导致无法实现跨洋的灾难恢复。Xiao 说，每个地区都能够通过在每个数据中心保持 20％的空闲容量来处理来自故障数据中心的负载。
查看英文原文：
https://www.infoq.com/news/2018/11/instagram-across-continents
以上所述就是小编给大家介绍的《Instagram 如何跨大洋拆分有状态服务》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
算法交易：制胜策略与原理
［美］欧内斯特·陈（Ernest P. Chan） / 高闻酉、黄蕊 / 机械工业出版社 / 49.00
本书是一本引人入胜、信息量大、覆盖各类交易策略的图书。无论个人投资者，还是机构投资者，都可以借鉴和使用其中的策略。本书中的策略大致可分为均值回归系统和动量系统两大类。书中不仅介绍了如何使用每种类别的交易策略，更解释了各种策略之所以有效的原因。本书始终以简单、线性的交易策略为重心，因为复杂的交易策略容易受到过度拟合及数据窥探的侵害。数学和软件是算法交易的两条腿。本书用到了一定程度的数学知识，使其对各......一起来看看 《算法交易：制胜策略与原理》 这本书的介绍吧!
