内容简介:《MySQL 的高可用架构》公开课内容分享
分享嘉宾 : 王松磊,现任职于UCloud,从事 MySQL 数据库内核研发工作,主要负责UCloud云数据库UDB的内核故障排查及新特性的研发。
分享主题 : 《MySQL的高可用架构》,主要介绍MySQL双节点的高可用架构,着重分析这种架构存在的问题,如退化问题、数据重复执行问题,及数据不一致的问题等,并针对这些问题给出优化方案。
提示:PPT的内容有限,建议直接观看视频,效果更佳!
1、资料发布
本次公开课的PPT、视频均已上传到百度云盘,链接: https://pan. baidu.com/s/ 1c25Y9nM 。扫描下方二维码识别,或者点击文末“ 阅读原文 ”直达链接,欢迎转存及转发。
2、你问我答
1、王老师 ,您好, 我想问一下" 在公有云环境中, 如果master宕了, 如何实现自动切换,自动把slave提升为master?"
答: 在公有云上大多采用双主双向复制结构,但同时只有一个节点写入,前端基于Proxy对外提供服务。
当写节点发生故障时,只需在Proxy上把写切到另一个库上即可(切换前需检查双主一致性、延迟等情况)。
而Proxy提供高可用,通常是基于VIP实现。
2、王老师,可以详细说下 VIP proxy 实现切换?
答:VIP切换通常是基于keepalived的VRRP协议实现,但这种受限于协议,通常在云服务器环境中没办法使用,只能在自有服务器上实现。
在云环境中更多的使用基于raft或是多数据的选举实现的VIP切换。
3、数据库很大,怎么有效的添加索引,有什么工具?谢谢老师。
答: 现在MySQL 5.7的Online DDL已经很好用了,不过还是建议先做下调研测试,看看有没有意外情况(一些特定例外情况下,可能没办法做到Online DDL)。
另外,在主从复制环境中,直接Online DDL可能会造成主从延迟比较厉害。为了避免这种延迟一般还是使用pt-online-schema-change来做大表DDL(实际上pt-osc也会造成延迟,只是没那么严重,也需要注意),或者用gh-ost以及facebook前阵子开源的OnlineSchemaChange工具(以前用 PHP 写的,后来用 Python 重写)。
4、360的atlas做这个主从用起来怎么样?建议用么?
答: 现在360的atlas已经没人维护。
可以考虑美团维护的那版DBproxy,这个Proxy更多强调的分库分表,智能读写分离。
5、初级问题求回答:一主双从架构mysql5.5,其中某一台slave修改了参数,要重启,需要先stop slave吗?
答: 是的, 建议 重启前先把复制停掉(stop slave),然后再重启实例。
6、半同步复制的binlog,是先dump 到slave以后,自己这边才写到binlog文件里面的吧。否则 master dump 到slave之前,并且自己又写入到了binlog,那不是妥妥的master 多执行event了?
答: 你的理解基本没错,实际上肯定不用担心master端会写多次binlog的情况 。
复制分为 异步复制 ( 什么也不保证 ), 半同步 ,After_sync( 主库先写日志 , 保证从库 IO_thread 响应后 , 再进行引擎的 Commit, 给 client 响应 ),After_commit( 引擎层提交后 , 待 io_thread 给响应后 , 才给 Client 响应 ) 。 所以存在写多的情况 , 但通过 after_sync 设置可以保持一致。
7、 主从同步没问题。这个vip proxy用什么软件靠谱点?
答: vip是虚拟IP,它和proxy(主)的网卡绑定,方便外部的账户通过这个IP来访问。
如果当前 proxy(主)挂掉了,proxy进行了切换,那这时使用这个IP再绑定新的proxy(备)的网卡。
这样做的目的是对于使用这个数据库的人来说,即使 proxy发生了宕机,发生了切换,业务方面也不需要修改IP就能继续访问数据库。
具体的实现方式以及使用方式可以咨询一下网络相关的同事或者同学。
P roxy在ucloud是使用haproxy做为前端,如果只为了简单的双主路由的话,选简单的haproxy、mysql proxy这类proxy即可,这些都是开源的。
如果需要复杂的功能,比如自动的容灾切换,或者读写分离的功能,可以选功更复杂的 mha、mycat这类,这些也都是开源的。
当然也可以选择没有开源的有售后保证的,比如 oracle官方的router。
8、 主从复制延迟是,slave的slave_io_thread出现system lock或者
slave_sql_thread出现system lock,为什么会出现system lock?
答:当线程处于 system lock 时,通常是在等待表级锁,但是引起这个状态的原因比较多,需要具体的情况具体分析,可以参考手册:
https://dev.mysql.com/doc/refman/5. 7 /en//general-thread-states.html
9、 M ysql主要延迟的原因有哪些?
答:复制的延迟主要体现在 sql 线程回放的速度上,通常 IO 线程不会存在延迟问题, S ql 线程产生复制延迟的主要原因是:
S ql 线程对于 relay log 的回放速度慢于主库事务的执行速度( 5.6 之前的版本较为明显)
执行较长的事务,如在一个事务中批量的导数据 执行较慢的的DDL语句。
10、 io线程是把binlog写入到relay log中,这个relay log是fsync到磁盘才发给主库ack么,还是写到内存就可以了?
答:relay log是否执行fsync到磁盘受参数sync_relay_log影响,同参数
sync_binlog_log对binlog是否执行fsync到磁盘的影响类似。
如果sync_relay_log设置为1,那么每次写入event到relay log后均会执行fsync,发送给主库ack是一个事务(多个event)写入relay log后。
11、短时间内大量DDL操作,是否有方法避免主从延迟发生?
答:可以在不影响业务的前提下,关掉 session 的 binlog 主从同时执行。
12、Ucloud的高可用方案是怎么做的?
答: Z k + haproxy + mysql 节点。
13、MySQL有没有基于共享存储这种方式做高可用的解决方案?
答:使用共享存储做高可用的解决方案,相当于使用硬件来解决数据同步的问题,如早一些的 SAN 、 NFS ,比较新 Aurora 数据库都是基于共享存储。
14、MHA现在过时么?group replication目前有没有成熟的案例?
答:现在使用 MHA 的仍然在使用,因为 MHA 是开源的,很多公司会维护自己版本的 MHA 。也有公司在 MHA 基础上寻找新的解决方案,比如说 MHA+group replication 这种架构。
毕竟 group replication 还比较新,处于观望、或者研发状态的会比较多。官方的 innodb cluster 是官方推出的基础 group replication 的产品,感兴趣可以研究一下。
3、分享内容
关于知数堂
http://zhishuedu.com
“知数堂培训”是由资深MySQL专家叶金荣、吴炳锡联合推出专业优质在线培训品牌,当前主要有MySQL DBA实战优化、Python运维开发、 SQL 优化等多门优质课程,是业内最有品质的培训课程。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
精益思想
(美)詹姆斯 P.沃麦克(James P.Womack)、(英)丹尼尔 T.琼斯(Daniel T.Jones) / 沈希瑾、张文杰、李京生 / 机械工业出版社 / 2011-4 / 48.00元
打算尝试精益的人,该怎么做? 已经实行精益的人,下一步怎么办? 本书包含了最新的精益理论、方法和工具,一一解答上述问题。 这是目前关于流程再造最好的书,也是最好读的。——《高业周刊》 本书中文简体字版由FreePress通过AiWA授权机械工业出版社在中国大陆独家出版发行。未经出版者书面许可,不得以任何方式抄袭、复制或节录本书中的任何部分。 《精益思想》于1996年秋......一起来看看 《精益思想》 这本书的介绍吧!