对于分布式存储,要实际去使用,了解了原理是一方面,基于磁盘分布式存储,整体规划、监控、管理是一个挺重要方面。
规划主要包含初始存储规模,以及存储能不能独立的物理空间存在,与其他线上业务或者服务隔离,因为存储有可能节点负载很高,在 docker 模式下,可能会影响服务计算。这个一定要避免影响别人,另外一点也能避免别人服务过于繁忙从而影响自己。独立存储对于存储来说很重要。
在有一点就是扩容缩容,开始规划肯定存储空间不大,后续扩容怎么做,扩容是不是自动化,扩容能扩大到多大,对于使用 redis 分布式经验,容量太大会导致业务用这个集群特别多,会不会出现连接问题,这本身都是需要规划的。集群怎么应用,存储哪些数据,将来会有多少个业务使用集群。
存储规划还有一点,就是存储数据分片大小,本身和存储设计实现相关,也和扩容相关,如果分片特别大,那么后续节点出问题,增加新的节点去替换可能数据复制时间就是很大问题,节点特别小集群规模特别大的话,会分片特别多,在有就是实际存储架构设计,架构设计是单线程节点如果特别大,那么资源利用充分不充分也是需要考虑的方面。
监控与管理集群本身对于分布式存储也是重要方面,整个集群状态,状态是否正常,各个分片是否正常,连接是否正常,主从之间连接是否正常,节点是否读写过热,这些都需要完备监控,能够进行可视化监控,并能能够设置相应报警,能够让我们对于集群能够方面管理控制。
管理集群除了监控之外,还能对集群进行管理,管理包含对于集群监控报警值调整,以及对于集群分片,主从数量一主一丛变成一主多从等,在有就是对于客户端配置下发,比如客户端连接数、流量等通过管理中心进行控制。
分布式系统,不能想象各个部分是正确的,而是应该考虑每个节点可能出现的问题,以及出现问题后怎么做。整个系统要配置成熟管理以及监控,不然对于整个存储应用风险很大,因为存储本身不稳定会影响使用存储的多个业务,要想用好就需要对分布式有不断的研究。
分布式系统方方面面设计也会影响我们对于设计与架构理解,深入学习能够提升架构能力。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Spark SQL 分布式事务处理能力的探索与实践
- 科蓝软件拟收购SUNJESOFT公司67.15%股权 探索分布式数据技术
- airflow探索篇
- 探索 React 合成事件
- webSocket原理探索
- 使用LIME探索模型
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。