MySQL数据库Inception工具学习与测试案例

MySQL语句的审核，在业界都已经基本被认同了，实际上也是对 MySQL 语句写法的统一化，标准化，而之前的人工审核，针对标准这个问题其实是很吃力的，标准越多，DBA越累，开发也越累。 那么在这个都追求自动化运维的时代，审核也必须要跟上步伐，因此Inception诞生了。而Inception可以做的工作远不止是一个自动化审核工具，同时还具备执行，生成对影响数据的回滚语句（类似闪回的功能），这样一条龙服务的工具，将会给DBA的工作带来翻天覆地的变化，DBA从此就从繁重的审核、登上去执行，出错了很难回滚（如果提前没有备份的话）的被动局面解放了出来，突然发现，做DBA原来可以这么轻松，工作可以不饱和了，那就有更多的自由时间学习、进一步向自动化运维平台的实现等更智能化的方向去发展，是具有里程碑意义的。

1.Inception架构原理

Inception是集审核、执行、回滚于一体的一个自动化运维系统。它是根据MySQL代码修改过来的。

相对于应用程序（上层审核流程系统等）而言，它是一个服务器，在连接时需要指定

2.Inception安装

2.1 环境配置

安装依赖项

yum install cmake ncurses-devel gcc gcc-c++ openssl-devel

移除bison较新的版本

yum remove bison –y

从http://ftp.gnu.org/gnu/bison/ 路径，下载 bison-2.6.1.tar.gz 指定版本。下载后，上传至服务器。

解压并安装bison

tar zxvf bison-2.6.1.tar.gz

cd bison-2.6.1

./configure && make && make install

2.2 下载安装Inception

下载

wget https://github.com/qunarcorp/inception/archive/master.zip

解压

unzip master.zip

cd inception-master

./inception_build.sh debug [Xcode]

指定路径下创建inc.cnf

touch /data/Inception/inc.cnf

初始化

/data/Inception/inception-master/debug/mysql/bin/Inception --defaults-file=/data/Inception/inc.cnf &

（##Inception 最佳启动方式是通过nohup后台启动

nohup /data/Inception/inception-master/debug/mysql/bin/Inception --defaults-file=/data/Inception/inc.cnf &
） 

2.3 关闭Inception

找到初始化后的Inception

关闭Inception

kill -9 7927

2.4 修改增加配置项

[inception]
general_log=1
general_log_file=inc.log
port=6669
socket=/tmp/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=备份库密码
inception_remote_system_user=备份库账号
inception_remote_backup_port=备份库实例端口
inception_remote_backup_host=备份库IP
inception_support_charset=utf8mb4,utf8,latin1
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/data/temp
inception_osc_chunk_time=0.1
inception_ddl_support=1
inception_enable_blob_type=1
inception_check_column_default_value=1

（如果执行 ./inception_build.sh debug [Xcode] 命令报错，可将inception-master目录删除，重新解压，然后用

./inception_build.sh build linux 替代。当然，此时的可执行文件 在 /data/Inception/inception-master/build/mysql/bin/Inception

更多的安装知识，可参阅 https://qunarcorp.github.io/inception/install/）

2.5 连接验证

通过mysql 客户端连接

执行 代码验证

inception get variables;

2.6 Inception的选项支持

2.7 Inception结构集导读

3.Inception 备份功能

Inception在做DML操作时，具有备份功能。它会将所有当前语句修改的行对应生成回滚语句并备份下来，同时也会将所有操作的任务备份下来，一起存储到一个指定的库中。

3.1 配置项中关于备份主要有4个参数

3.2 备份数据库命名规则

因为线上机器有很多，而备份机器只有一台，所以为了防止在备份数据库实例中存在库名冲突的问题，备份机器的库名是将线上机器IP地址的点换成下划线，再加上端口号及库名。

例如：

169_169_167_167_3306_testDB.

3.3 备份库上的表

主要有两类，一种针对线上每一个表生产一个备份表，即与线上的表是一一对应的，表名相同，但是表结构不一样。备份表主要用来存储所有对表修改的回滚语句。

主要有以下3列：

还有一类表，其实这个表每个库中只有一个，$_$Inception_backup_information$_$。该表主要用来记录所有对当前库的操作，它是为该库中所有表服务的，对线上这个库的所有的表的操作，都会被存储在这里面。

3.4线上库表结构与备份库表结构的对应关系如下图：

3.5 通过 Python 脚本验证

测试环境

测试python脚本

#!/usr/bin/python
#-*- coding:utf-8 -*-
import MySQLdb

sql='''/*--user=数据库账号;--password=相应密码;--host=XXX.XXX.XXX.9;--execute=1;--port=3306;*/\
    inception_magic_start;\
    use dbtest;\
    CREATE TABLE table_test(id int comment 'test' primary key) engine=innodb DEFAULT CHARSET=utf8mb4 comment '测试';\
    inception_magic_commit;'''
try:
       conn=MySQLdb.connect(host='XXX.XXX.XXX.8',user='',passwd='',db='',port=6669)
       cur=conn.cursor()
       ret=cur.execute(sql)
       result=cur.fetchall()
       num_fields = len(cur.description)
       field_names = [i[0] for i in cur.description]
       print field_names
       for row in result:
                print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]
       cur.close()
       conn.close()
except MySQLdb.Error as e:
       print "Mysql Error %d: %s" % (e.args[0], e.args[1])

执行结果如下：

去备份库上查看，备份情况如下：

3.6 备份所需的条件

如果在测试的过程中，发现没有实现备份，可以从以下几个方面去检查

（1）线上服务器必须要打开Binlog，在启动时需要设置参数log_bin、log_bin_index等关于Binlog的参数。不然不会备份及生成回滚语句，因为Inception的生成回滚语句是通过解析Binlog来做的。

（2）参数必须binlog_format必须设置为mixed或者row模式。如果是statement模式，则不做备份及回滚语句的生成。可通过语句set global binlog_format=ROW来设置。

（3）将binlog_row_image设置为full ，该配置项默认为 full ，但是如果为了减少binlog的size改成minimal的话，则Inception无法生成回滚语句。

（4）参数server_id必须设置为非0非1，通过语句set global server_id=server_id;来设置，不然在备份时报错。因为在获取Binlog时，需要通过server_id在主库上注册Inception。

（5）被修改表需要有主键：执行时，被影响的表如果没有主键的话，就不会做备份了。这样更简单并且备份时间及数据都会少一点，不然回滚语句的where条件就会将所有列写进去，这样会影响性能且没有太大意义，所以在where条件中，只需要主键即可。

（6）备份相关的四个参数需要设置好，并且对应的用户在备份数据库实例中有足够的权限。

3.7 在进行验证时可能遇到的错误。

1执行 Python验证，报错信息。

ImportError: No module named MySQLdb

解决方案：

yum install MySQL-python

2.有时候执行Python脚本报错：invalid source infomation。

这时候需要去检查Inception连接数据库的参数配置。

4.Inception常见关于审核规范的变量参数

5.Inception统计功能

其数据存储在备份实例上的inception数据库上statistic表中，此库自动生成。

主要字段的说明如下：

-----主要内容参考梳理于网络知识和《MySQL运维内参》，此短文仅为学习笔记，在此原创作者感谢！

Linux公社的RSS地址 ： https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址： https://www.linuxidc.com/Linux/2019-04/158395.htm