分布式多活的实现思考

与传统IOE架构形成鲜明对比的分布式多活架构体系，由互联网应用需求推动，逐步发展成熟，也使得分布式多活技术不断完善，形成稳定的技术栈以及生态圈；同时银行业对也在不断探索、研究分布式技术，逐步积累经验，使得构建基于分布式架构的银行业务系统成为科技金融成为不二的选择。
结合某行自身业务特点，利用“两地三中心“的灾备架构，基于成熟的理论，在分布式多活设计的应用架构建设过程中，通过对现有技术架构的认真研究，从以下几个维度对分布式多活设计原则作了归纳总结：
1、 一致性： 所有节点拥有数据的最新版本，可分为强一致性和最终一致性。按照业务特性，挑选出哪些业务数据必须实现强一致性，哪些业务可以选择最终一致性。例如账务处理类的业务，必须做到强一致性，如果不能做到强一致性，漏洞一旦被黑客发现，发起大量交易，巨大的经济损失不可避免。而对于一些客户信息类的业务，可以选择数据最终一致性。故在系统架构设计时根据业务特性选择合适的技术满足业务数据一致性要求。
2、 可用性：是指一个系统的服务一直可用，而且是正常响应时间。分布式存储系统需要多台服务器同时工作。当服务器数量增多时，其中的一些服务器出现故障是在所难免的。我们希望这样的情况不会对整个系统造成太大的影响。在系统中的一部分节点出现故障之后，系统的整体不影响客服端的读/写请求。
3、 分区容错性：分布式多活系统中的多站点及多台服务器通过网络进行连接。但是我们无法保证网络是一直通畅的，分布式系统需要具有一定的容错性来处理网络故障带来的问题。一个令人满意的情况是，当一个网络因为故障而分解为多个部分的时候，其他站点的系统仍然能够工作。
4、 兼容性：架构设计时需要一定程度兼顾传统应用与分布式系统的兼容性，考虑银行传统架构的特点，对其他系统的接入提供良好的接口。
5、 安全性：网络技术的发展，一方面，使得数据库领域的分布式有了很大的发展。另一方面，给分布式系统的数据安全带来了严重的威胁。对此，分布式系统的安全防护策略，对数据库的“入口”进行严密的把关。但是，由于安全问题一般都具有复杂性，单独使用某一种方法都是不够的，通常情况下需要多种安全机制相结合。但是由于不安全因素无处不在，而且有不可预见性，是一项不可松懈的任务。
6、 柔性：确保架构组件的有效协同，共同支持业务流程的处理，能够支持弹性扩缩；同时能够轻松地适应基础技术变化，支持较新的技。

以ITIL为基础，从项目管理、运维管理的角度，给出一个完整的实现思路。思路主要分为：业务需求分析、技术架构设计、技术平台建设和多活运维支撑四个阶段。
1） 业务需求分析
以业务连续性为根本，根据业务特点，从业务特征、弹性伸缩、实施成本、运行风险、运维难度的五个不同维度对应用项目进行详细的需求分析，对于不同维度评估、讨论、实验，从而形成一套或多套业务选型方案。并从打分结果，可以很直观的评估出系统的特点，以及在不同维度的分布式适合度。
2） 技术架构设计
同时从不同维度进行集成架构分层，主要分为：接入层、应用服务处理层和数据层。各层之间的架构设计模型如下：
        其中接入层主要实现1）外联区实现横联保护 2）网络架构尽量具备自愈合能力 3）提供逻辑上的统一接入能力；应用服务处理层按业务拆分，按单元分片建立连接，实现逻辑机房单元化架构，具备自包含性、松耦合性、故障独立性、容灾性。
3） 技术平台建设
业界近年来涌现了各种新技术、新产品，各有特点，但分布式多活并不是机械的堆砌各种新技术根据业务需求，通过对基础设施以及分布技术的选型，结合银行业务特点，构建合理的分布式多活架构，应从基础设施层、应用层等众多技术中选择适合相应系统的分布式多活技术。技术平台建设重点需要从基础设施框架和应用管理框架着手。
基础设施层面在于构建分布式多活的数据中心基础之上，利用私有云平台统一基础设施。在网络层可以选用二/三层分布式多活、DNS、GSLB，数据采用存储的同步/异步，NAS的分布式多活、分布式数据存储等技术，在此基础之上实现底层云的搭建和容器平台的建设工作。
应用管理框架基于应用开发PaaS平台，设计遵循分布式事务、服务、配置、数据和批处理原则，场景选择具备两大特点：其一是以跨云的分布式应用为场景，创新应用开发和生命周期管理模式；其次是以容器化、容器集群搭建资源管理、应用管理的基本框架。
4） 分布式多活运维支撑
对于分布式多活场景的下，传统的运维集中化、自动化、可视化与智能跟踪将面临改变，如何管理应用发布流程、如何架构新的监控体系、如何实现自动化故障发现和切换、如何进性高效资源调度，都需要重点关注并进行解决。
可以看到，需要解决的问题包含服务治理、分布式管控平台、应用的查询、运维的试点、硬件起动监控平台、运维操作的自动化、持续交互以及分布式统一平台；机房切换自动指挥平台、应用排除可视化；实时交易分析、实时链路分析、运维架构可视化；还有云服务系统，包括服务跟踪的智能化、日志分析一体化，还有服务跟踪等问题。