数据库中间件之Mycat

• 点击下载
• 配置 java 环境
• 配置 mysql 数据库
• 打开 conf/wrapper.conf 文件，将其中的 wrapper.java.command 的值改成服务器上的jdk地址，如 wrapper.java.command=/usr/local/jdk/jdk1.8.0_172/bin/java
• 为bin文件夹中的所有内容赋予执行的权限: chmod a+x *
• 修改 schemal.xml 文件中的内容，填上对应的表，数据节点，数据主机的内容
• 启动 ： ./mycat start (后台启动)、 ./mycat console （前台启动）
• 开启服务器的8086端口
• 使用navicat连接mycat，端口是8086

常用的命令

./mycat start 启动

./mycat stop 停止

./mycat console 前台运行

./mycat install 添加到系统自动启动（暂未实现）

./mycat remove 取消随系统自动启动（暂未实现）

./mycat restart 重启服务

./mycat pause 暂停

./mycat status 查看启动状态

数据库切分

• 数据库切分分为垂直切分，水平切分

垂直切分

• 一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同 的数据库上面，这样也就将数据或者说压力分担到不同的库上面 。
• 比如商城项目可以根据不同的业务将表分成用户表、订单表等，这些表分布在不同的数据库中，从而实现了垂直切分
• 优点：
  • 拆分后业务清晰，拆分规则明确。
  • 系统之间整合或扩展容易
  • 数据维护简单。
• 缺点：
  • 部分业务表无法 join，只能通过接口方式解决，提高了系统复杂度。
  • 受每种业务不同的限制存在单库性能瓶颈，不易数据扩展跟性能提高。
  • 事务处理复杂。
• 由于垂直切分是按照业务的分类将表分散到不同的库，所以有些业务表会过于庞大，存在单库读写与存储瓶 颈，所以就需要水平拆分来做解决。

水平切分

• 水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中 包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分 到一个数据库，而另外的某些行又切分到其他的数据库中
• 拆分规则：
  • 按照用户 ID 求模，将数据分散到不同的数据库，具有相同数据用户的数据都被分散到一个库中。
  • 按照日期，将不同月甚至日的数据分散到不同的库中。
  • 按照某个特定的字段求摸，或者根据特定范围段分散到不同的库中。
• 优点：
  • 拆分规则抽象好，join 操作基本可以数据库做。
  • 不存在单库大数据，高并发的性能瓶颈。
  • 应用端改造较少。
  • 提高了系统的稳定性跟负载能力。
• 缺点：
  • 拆分规则难以抽象。
  • 分片事务一致性难以解决。
  • 数据多次扩展难度跟维护量极大。
  • 跨库 join 性能较差。

垂直拆分和水平拆分的共同缺点

• 引入分布式事务的问题。
• 跨节点 Join 的问题。
• 跨节点合并 排序 分页问题。
• 多数据源管理问题。

日志分析

sql防火墙配置

• 在server.xml中配置

Mycat配置

schema（逻辑库）

• 一个标签，定义一个逻辑数据库。可以同时指定多个标签来指定不同的逻辑库

• 标签体的属性如下：

  • dataNode ：字符串，该属性用于绑定逻辑库到某个具体的 database 上 ，多个值用逗号分隔
  • checkSQLschema ：布尔值，当该值设置为 true 时，如果我们执行语句 select * from TESTDB.travelrecord; 则 MyCat 会把语句修改 为 select * from travelrecord; ，设置这个属性为true，可以在navicat中直接查看逻辑表中的所有数据，否则将会报异常（Table ‘testdb.travelrecord’ doesn’ t exist）
  • sqlMaxLimit ：当该值设置为某个数值时。每条执行的 SQL 语句，如果没有加上 limit 语句，MyCat 也会自动的加上所对应 的值。例如设置值为 100，执行 select * from TESTDB.travelrecord; 的效果为和执行 select * from TESTDB.travelrecord limit 100; 相同。 设置该值的话，MyCat 默认会把查询到的信息全部都展示出来，造成过多的输出。所以，在正常使用中，还 是建议加上一个值，用于减少过多的数据返回.当然 SQL 语句中也显式的指定 limit 的大小，不受该属性的约束。 需要注意的是，如果运行的 schema 为非拆分库的，那么该属性不会生效。需要手动添加 limit 语句。

table (逻辑表)

• 属性如下：

dataNode

• 数据节点，用来设置

dataHost

• 作为 Schema.xml 中最后的一个标签，该标签在 mycat 逻辑库中也是作为最底层的标签存在，直接定义了具 体的数据库实例、读写分离配置和心跳语句。现在我们就解析下这个标签。

• 配置如下：

heartbeat

• 这个标签内指明用于和后端数据库进行心跳检查的语句。例如,MYSQL 可以使用 select user() ，Oracle 可以 使用 select 1 from dual 等。 这个标签还有一个 connectionInitSql 属性，主要是当使用 Oracla 数据库时，需要执行的初始化 SQL 语句就 这个放到这里面来。例如：alter session set nls_date_format=’yyyy-mm-dd hh24:mi:ss’ 1.4 主从切换的语句必须是：show slave status

writeHost 、 readHost

• 这两个标签都指定后端数据库的相关配置给 mycat，用于实例化后端连接池。唯一不同的是，writeHost 指 定写实例、 readHost 指定读实例，组着这些读写实例来满足系统的要求
• 在一个 dataHost 内可以定义多个 writeHost 和 readHost。但是，如果 writeHost 指定的后端数据库宕机， 那么这个 writeHost 绑定的所有 readHost 都将不可用。另一方面，由于这个 writeHost 宕机系统会自动的检测 到，并切换到备用的 writeHost 上去
• 这两个标签的属性相同，这里就一起介绍。

childTable

• childTable 标签用于定义 E-R 分片的子表。通过标签上的属性与父表进行关联。

server.xml中的标签

设置用户

<!--
		user标签可以设置登录的用户，可以指定多个
		
		<property name="password">： 设置该用户登录的密码
		
		<property name="schemas"> ：设置该用户可以访问的逻辑库，如果有多个，那么需要使用逗号分隔
		
		<property name="readOnly">true</property> ： 设置该用户是否对逻辑库为只读权限
		
		<property name="benchmark">11111</property>： mycat 连接服务降级处理：benchmark 基准, 当前端的整体 connection 数达到基准值是, 对来自该账户的请求开始拒绝连接， 0 或不设
表示不限制
		
		<property name="usingDecrypt">1</property>：是否对密码加密默认 0 否 如需要开启配置 1，同时使用加密程序对密码加密
		
		privileges 子节点：对用户的 schema 及 下级的 table 进行精细化的 DML 权限控制，privileges 节点中的 check 属性是用
于标识是否开启 DML 权限检查， 默认 false 标识不检查，当然 privileges 节点不配置，等同 check=false,
由于 Mycat 一个用户的 schemas 属性可配置多个 schema ，所以 privileges 的下级节点 schema 节点同样
可配置多个，对多库多表进行细粒度的 DML 权限控制

				schema 标签： 指定逻辑库的名称，用来选择对应的表，可以有多个

        				dml：设置对指定表的crud操作，分别是insert,update,select,delete，对应的如果是0表示禁止，1表示不禁止
		
		
		
	-->
	<username="root">
		<propertyname="password">123456</property>
		<propertyname="schemas">Test</property>
		
		<!-- 表级 DML 权限设置 -->
		<!--
		<privileges check="false">
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
			
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
			
		</privileges>		
		 -->
	</user>

system标签

• 这个标签内嵌套的所有 property 标签都与系统配置有关，请注意，下面我会省去标签 property 直接使用这 个标签的 name 属性内的值来介绍这个属性的作用。

全局表

• mycat中使用type定义全局表和普通表( type=global )，没有定义type的类型的都是普通表，是需要分片的
• 全局表适合那些数据量比较少的，变动不是很频繁的
• 全局表的插入，更新操作会实时在所有节点上执行，保持各个分片的数据一致性。没有太激烈的update操作。
• 全局表查询只从一个节点获取
• 全局表可以和任何一个表进行JOIN操作
• 需要注意的是，全局表每个分片节点上都要有运行创建表的 DDL 语句。

Mycat的跨分片join

• 同一个分片的数据可以任意的join，join的数量也没有限制，但是不同分片的数据跨分片join的话，是查询不到结果的

全局表

• 全局表在每一个分片上都保持着相同的数据，因此全局表可以和任意的表跨分片join

ER join

• 我们可以根据ER关系设置每张表的关系，比如订单表依赖于用户表，我们可以设置ER join方式的，那么会根据外键（joinKey）的值和相关依赖的表分配在同一个分片上，那么就可以join了
• 支持多表join
• 配置如下（其中childTable中也可以嵌套childTable）：

<tablename="t_user"dataNode="dn1,dn2,dn3"rule="auto-sharding-long"primaryKey="id"autoIncrement="true">
			<!--订单表，
			joinKey是t_order和t_user关联的外键关系，
			parentKey指定的是t_user表中的主键
			primaryKey：指定的是t_order的主键
			autoIncrement：设置是否主键自增
-->
			<childTablename="t_order"joinKey="user_id"parentKey="id"primaryKey="id"autoIncrement="true"/>
</table>

Share Join

mycat自增主键的配置（数据库方式）

• 在mycat中并没有实现mysql的自增主键的配置，如果需要实现的话，需要自己配置。
• 自增主键的方式配置有多种方式，比如本地方式，数据库方式，ZK方式，时间戳的方式，这里我们测试的是数据库的方式。

测试步骤

1、修改 server.xml 中生成方式为数据库生成的方式

<!--将sequnceHandlerType设置为1-->
<propertyname="sequnceHandlerType">1</property>

2、在 schema.xml 中，table中增加属性 autoIncrement 值为 true ，添加 mycat_sequence 表

<schemaname="Test"checkSQLschema="true">
		<!-- auto sharding by id (long)
 		rule:指定分片的规则为根据Id自动分片
		primaryKey： 指定主键
		autoIncrement： 指定自增长，一定要为true
		-->
		<tablename="t_item"dataNode="dn1,dn2,dn3"rule="auto-sharding-long"primaryKey="id"autoIncrement="true"/>
    	<!--指定自增长的表，数据节点为dn1-->
		<tablename="mycat_sequence"primaryKey="name"dataNode="dn1"/>
		
	</schema>
	<dataNodename="dn1"dataHost="localhost1"database="db1"/>
	<dataNodename="dn2"dataHost="localhost1"database="db2"/>
	<dataNodename="dn3"dataHost="localhost1"database="db3"/>

3、在数据节点 dn1 的数据库 db1 中新建 mycat_sequence 的表，如下：

1、name：sequence：名称

2、currenct_value：当前value

3、increment：增长步长

DROP TABLE IF EXISTS MYCAT_SEQUENCE;   
CREATE TABLE MYCAT_SEQUENCE(   
    name VARCHAR(50) NOT NULL,  
    current_value INT NOT NULL,  
    increment INT NOT NULL DEFAULT 100,  
    PRIMARY KEY(name)  
) ENGINE=InnoDB;

4、在db1数据中创建存储函数，用来维持自增长

-- 获取当前sequence的值 (返回当前值,增量)
DROP FUNCTION IF EXISTS mycat_seq_currval;  
DELIMITER $  
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8  
DETERMINISTIC  
BEGIN  
DECLARE retval VARCHAR(64);  
SET retval="-999999999,null";  
SELECT concat(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;  
RETURN retval;  
END $  
DELIMITER ;  
      
-- 设置sequence值
DROP FUNCTION IF EXISTS mycat_seq_setval;  
DELIMITER $  
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf8  
DETERMINISTIC  
BEGIN  
UPDATE MYCAT_SEQUENCE  
SET current_value = value  
WHERE name = seq_name;  
RETURN mycat_seq_currval(seq_name);  
END $  
DELIMITER ;  
    
-- 获取下一个sequence值
DROP FUNCTION IF EXISTS mycat_seq_nextval;  
DELIMITER $  
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8  
DETERMINISTIC  
BEGIN  
UPDATE MYCAT_SEQUENCE  
SET current_value = current_value + increment WHERE name = seq_name;  
RETURN mycat_seq_currval(seq_name);  
END $  
DELIMITER ;

5、在 mycat_sequence 表中插入数据，用来记录 t_item 表的自增长数据，名称必须全部大写

​ 1、 当然这里一条数据就代表一张表自增长，如果想要其他的表也能自增长，那么直接添加即可

INSERT INTO MYCAT_SEQUENCE(name, current_value, increment) VALUES ('T_TIEM', 0,1);

6、在 conf/sequence_db_conf.properties 的文件中添加依赖全局序列，增加序列，与table名称相同全大写

# T_ITEM是自增长的表，dn1是mycat_sequence所在的数据节点，之后每添加一张自增长的表，只需要在其中添加即可
T_ITEM=dn1

7、测试，向t_item表中添加数据

INSERT INTO t_item(name) values("chenjiabing");

8、测试使用mybatis添加数据

@Insert("INSERT into t_item(name) values(#{name})")
@Options(useGeneratedKeys = true,keyProperty = "id")   //自增长主键返回
void insert(Item item);

参考文章

• http://deweing.github.io/2016/06/28/mycat-auto-increment/

Java操作Mycat

• 只需要将连接mysql的端口改成 8066 即可，其他的就像是操作mysql一样

Mycat的事务处理

• Mycat 目前没有出来跨分片的事务强一致性支持，目前单库内部可以保证事务的完整性，如果跨库事务， 在执行的时候任何分片出错，可以保证所有分片回滚，但是一旦应用发起 commit 指令，无法保证所有分片都成 功，考虑到某个分片挂的可能性不大所以称为弱 XA。
• 也就是说，我们在单体应用中可以正常使用spring提供的事务管理器进行事务的管理，在处理出现异常的时候也是可以回滚的。

Mycat查询

非分片字段查询

• 如果查询条件中有分片字段的话，那么mycat就可以轻松的根据分片规则找到对应的数据节点，然后在对应节点中查询，比如使用的是id取模分片规则，那么此时的id就是分片字段，一旦查询条件中有id这个字段的，就可以根据id的值定位到指定的节点中查询，否则将会在每个节点中执行sql语句，然后将每个节点的返回结果汇总返回

分页查询

• mycat针对分页查询的执行逻辑如下：
  • 根据sql语句的过滤条件到每个数据节点筛选数据，筛选完成之后返回各个节点的分页数据
  • mycat会判断哪个节点先返回数据，真正返回给客户端的就是 先返回数据 的那个节点上的数据库中
• 根据上面的分析，我们可以判断分页查询的数据每次都是不同的，不同数据节点的返回速度决定着分页查询的数据显示。
• 解决办法：在分页查询的时候必要的时候进行排序，这样返回的结果才是正确的，不然每次返回的结果可能不同，比如 select * from t_item order by id desc limit 1,29

排序查询

• mycat 的排序查询的执行逻辑如下：
  • 将sql语句发送到各个节点进行筛选数据，返回数据给mycat
  • mycat获取到各个节点的数据的时候会根据 不同的排序规则（升序，降序）对全部节点的数据重新排序，最后所有数据排序完成的结果就是正确的结果