MySQL内核InnoDB存储引擎详解

栏目: 数据库 · 发布时间: 5年前

内容简介：MySQL从5.5版本开始将InnoDB作为默认存储引擎，该存储引擎是第一个完整支持事务ACID特性的存储引擎，且支持数据行锁，多版本并发控制（MVCC），外键，以及一致性非锁定读。作为默认存储引擎，也就意味着使用ENGINE=参数指定创建其他存储引擎的表。

MySQL从5.5版本开始将InnoDB作为默认存储引擎，该存储引擎是第一个完整支持事务ACID特性的存储引擎，且支持数据行锁，多版本并发控制（MVCC），外键，以及一致性非锁定读。作为默认存储引擎，也就意味着 默认创建的表都会使用此存储引擎 ，除非

使用ENGINE=参数指定创建其他存储引擎的表。

InnoDB的关键属性包括：

ACID事务特性支持，包括commit， rollback以及crash恢复的能力
行级别锁以及多版本并发控制MVCC
利用主键的聚簇索引(clustered index)在底层存储数据，以提升对主键查询的IO性能
支持外键功能，管理数据的完整性

ACID 模型是关系型数据库普遍支持的事务模型，用来保证数据的一致性，其中

的ACID分别代表：

A： atomicity原子性：事务是一个不可再分割的工作单位，事务中的操作 要么都发生，要么都不发生

C： consistency一致性：事务开始之前和事务结束以后，数据库的完整性约束没有被破坏。这是说数据库事务不能破坏关系数据的完整性以及业务逻辑上的一致性

I： isolation独立性：多个事务并发访问时，事务之间是隔离的，一个事务不应该影响其它事务运行效果

D： durability持续性：在事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚

举例来说，

比如银行的汇款1000元的操作，简单可以拆分成A账户的余额-1000， B账户的余额+1000，还要分别在A和B的账户流水上记录余额变更日志，这四个操作必须放在一个事务中完成，否则丢失其中的任何一条记录对整个系统来说都是不完整的。

对上述例子来说，

原子性 体现在要么四条操作每个都成功，意味着汇款成功，要么其中某一个操作失败，则整个事务中的四条操作都回滚，汇款失败；

一致性 表示当汇款结束时， A账户和B账户里的余额变化和操作日志记录是可以对应起来的；

独立性 表示当汇款操作过程中如果有C账户也在往B账户里汇款的话，两个事务相互不影响即A->B有四个独立操作， C->B有四个独立操作；

持久性 表示当汇款成功时， A和B的余额就变更了，不管是数据库重启还是什么原因，该数据已经写入到磁盘中作为永久存储，不会再变化，除非有新的事务

其中事务的隔离性是通过 MySQL 锁机制实现

原子性，一致性，持久性则通过MySQL的redo和undo日志记录来完成

InnoDB 多版本控制

为保证并发操作和回滚操作， InnoDB会将修改前的数据存放在回滚段(undo log)中。

InnoDB会在数据库的 每一行上额外增加三个字段以实现多版本控制 ，

第一个字段是DB_TRX_ID用来存放针对该行最后一次执行insert、 update操作的事务ID，而delete操作也会被认为是update，只是会有额外的一位来代表事务为删除操作；

第二个字段是DB_ROLL_PTR指针指向回滚段里对应的undo日志记录；

第三个字段是DB_ROW_ID代表每一行的行ID。

回滚段中的undo日志记录 只有在事务commit提交之后才会被丢弃，为避免回滚段越来越大，要注意及时执行commit命令

初始数据行的情况，六个字段的值分别是1,2,3,4,5,6

MySQL内核InnoDB存储引擎详解

数据在数据库存储，不只是只有数据存储还有其他辅助信息存储例如（隐含id，事务id，回滚指针）等等信息

事务1修改该数据行，将六个字段的值分别*10，并生成回滚日志记录事务2读取该数据行

MySQL内核InnoDB存储引擎详解

undo log 会保存修改前数据的哪一行的状态，执行roallback 会找到回滚指针进行回到以前的数据

事务2按照自己的事务ID和行数据中的事务ID做对比，并按照事务隔离级别选取事务1修改前的回滚段中的数据返回

模拟多版本控制

在两个数据库链接下实验多版本控制

链接1： mysql> start transaction;

链接2： mysql> start transaction;

链接1 ： mysql> update score set score=88 where s>

链接2： mysql> select * from score where s>

+------+-----------+-------+

| sid | course_id | score |

+------+-----------+-------+

| 1 | 1 | 90 |

| 1 | 2 | 90 |

| 1 | 3 | 90 |

| 1 | 4 | 90 |

链接1： mysql>commit;

链接2： mysql> select * from score where s>

+------+-----------+-------+

| sid | course_id | score |

+------+-----------+-------+

| 1 | 1 | 90 |

| 1 | 2 | 90 |

| 1 | 3 | 90 |

| 1 | 4 | 90 |

链接2： mysql> commit;

链接2： mysql> select * from score where s>

+------+-----------+-------+

| sid | course_id | score |

+------+-----------+-------+

| 1 | 1 | 88 |

| 1 | 2 | 88 |

| 1 | 3 | 88 |

| 1 | 4 | 88 |

InnoDB 体系结构

MySQL内核InnoDB存储引擎详解

特点：根据主键寻址速度很快主键值递增的insert插入效率较好主键值随机insert插入操作效率差

InnoDB 存储引擎体系架构

MySQL内核InnoDB存储引擎详解

缓存池： buffer pool缓存池是InnoDB在内存中开辟的用来 缓存表数据和索引数据的区域 ，一般可以设置为50%~80%的物理内存大小，通过对经常访问的数据放置到内存当中来加快访问速度。

Buffer pool以 page页的格式 组成，页之间组成list列表，并通过LRU算法（最近最少使用算法）对长久不使用的页进行置换。

数据的读写需要经过缓存 （缓存在buffer pool 即在内存中） 数据以整页（16K）位单位 读取到缓存中缓存中的数据以LRU策略换出（最少使用策略）IO效率高，性能好

MySQL内核InnoDB存储引擎详解

Adaptive Hash Index（自适应哈希索引）： Adaptive Hash index属性使得InnoDB更像是内存数据库。该属性通过innodb_adapitve_hash_index开启，也可以通过—skip-innodb_adaptive_hash_index参数关闭 InnoDB存储引擎会监控对表上索引的查找，如果观察到建立哈希索引可以带来速度的提升，则建立哈希索引，所以称之为自适应（adaptive）的。自适应哈希索引通过缓冲池的B+树构造而来，因此建立的速度很快。而且不需要将整个表都建哈希索引，InnoDB存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引。

哈希（hash）是一种非常快的等值查找方法，在一般情况下这种查找的时间复杂度为O(1),即一般仅需要一次查找就能定位数据。而B+树的查找次数，取决于B+树的高度，在生产环境中，B+树的高度一般3-4层，故需要3-4次的查询。 innodb会监控对表上个索引页的查询。如果观察到建立哈希索引可以带来速度提升，则自动建立哈希索引，称之为自适应哈希索引（Adaptive Hash Index，AHI）。 AHI有一个要求，就是对这个页的连续访问模式必须是一样的。例如对于（a,b）访问模式情况： where a = xxx where a = xxx and b = xxx

AHI启动后，读写速度提高了2倍，辅助索引的连接操作性能可以提高5倍。 AHI，是数据库自动优化的，尽量使用符合AHI条件的查询，以提高效率。

Redo log buffer Redo log buffer是一块用来存放写入redo log文件内容的内存区域，内存的大小由innodb_log_buffer_size参数确定。该buffer的内容会定期刷新到磁盘的redo log文件中。 参数innodb_flush_log_at_trx_commit决定了刷新到文件的方式，参数innodb_flush_log_at_timeout参数决定了刷新的频率 。

系统表空间

InnoDB的系统表空间用来存放表和索引数据，同时也是doublewriter缓存，change缓存和回滚日志的存储空间，系统表空间是被多个表共享的表空间。默认情况下， 系统表空间只有一个系统数据文件，名为ibdata1 。系统数据文件的位置和个数由参数innodb_data_file_path参数决定。

Doublewrite缓存

Doublewrite缓存是位于系统表空间的存储区域，用来缓存InnoDB的数据页从innodb buffer pool中flush之后并写入到数据文件之前，所以当操作系统或者数据库进程在数据页写磁盘的过程中崩溃，Innodb可以在doublewrite缓存中找到数据页的备份而用来执行crash恢复。数据页写入到doublewrite缓存的动作所需要的IO消耗要小于写入到数据文件的消耗，因为此写入操作会以一次大的连续块的方式写入。

在应用（apply）重做日志前，用户需要一个页的副本，当写入失效发生时，先通过页的副本来还原该页，再进行重做，这就是double write

doublewrite组成： 内存中的doublewrite buffer ,大小2M，

物理磁盘上共享表空间中连续的128个页

，即2个区（extend），大小同样为2M。

对缓冲池的脏页进行刷新时，不是直接写磁盘，而是会通过memcpy()函数将脏页先复制到内存中的doublewrite buffer，之后通过doublewrite 再分两次，每次1M顺序地写入共享表空间的物理磁盘上，在这个过程中，因为doublewrite页是连续的，因此这个过程是顺序写的，开销并不是很大。在完成doublewrite页的写入后，再将doublewrite buffer 中的页写入各个表空间文件中，此时的写入则是离散的。如果操作系统在将页写入磁盘的过程中发生了崩溃，在恢复过程中，innodb可以从共享表空间中的doublewrite中找到该页的一个副本，将其复制到表空间文件，再应用重做日志。

MySQL内核InnoDB存储引擎详解

Undo 日志

Undo日志是由一系列事务的undo日志记录组成， 每一条undo日志记录包含了事务数据回滚的相关原始信息 ，所以 当其它的事务需要查看修改前的原始数据，则会从此undo日志记录中获取 。 Undo日志存放在回滚段中的undo日志段中。默认情况下 回滚段是作为系统表空间的一部分 ，但也可以有自己独立的undo表空间，通过设置 innodb_undo_tablespaces和innodb_undo_directory两个参数。 Innodb支持最大128个回滚段，其中的32个用来服务临时表的相关事务操作，剩下的96个服务非临时表，每个回滚段可以同时支持1023个数据修改事务，也就是总共96K个数据修改事务。 Innodb_undo_logs参数用来设置回滚段的个数。

Undo Log的原理很简单，为了满足事务的原子性，在操作任何数据之前，首先将数据备份到一个地方（这个存储数据备份的地方称为Undo Log）。然后进行数据的修改。如果出现了错误或者用户执行了 ROLLBACK语句，系统可以利用Undo Log中的备份将数据恢复到事务开始之前的状态

File-per-table表空间
File-per-table表空间意味着innodb的数据表不是共享一个系统表空间，而是每个表一个独立的表空间。可以通过设置innodb_file_per_table开启此属性。开启之后每个表数据和索引数据都会默认单独存放在数据文件夹下的.ibd数据文件中。

mysql> show variables like '%per_table%';

+-----------------------+-------+

| Variable_name | Value |

+-----------------------+-------+

| innodb_file_per_table | ON |

+-----------------------+-------+

temporary表空间 temporary临时表空间用来存放临时表，默认情况下是在数据文件夹下的ibtmp1数据文件 ，此数据文件被设置为每次自动增长12MB大小，当然也可以设置innodb_temp_data_file_path来指定临时表空间文件的存放位置。 临时表空间文件在正常的shutdown之后会自动清除 ，但在crash发生时不会清除，这就需要手动去删除表空间文件或重启服务器。

mysql> show variables like '%innodb_temp%';

+----------------------------+-----------------------+

| Variable_name | Value |

+----------------------------+-----------------------+

| innodb_temp_data_file_path | ibtmp1:12M:autoextend |

如果发现临时表空间数据文件比较大，可以考虑重启MySQL来释放空间大小。

redo log

redo日志是存在于磁盘上的文件，包括ib_logfile0和ib_logfile1两个文件，

常用于在crash恢复发生时将还没来得及写入到数据文件中但已经完成提交的事务在数据库初始化时重新执行一遍

InnoDB对redo log buffer写入到redo log文件的方式提供了组提交(group commit)的方式，意味着针对一次写磁盘操作可以包含多个事务数据，用此方法提高性能。

为了IO效率，数据库修改的文件都在内存缓存中完成的 ；那么我们知道一旦断电，内存中的数据将消失，而数据库是如何保证数据的完整性？那就是数据持久化与事务日志

如果宕机了则：应用已经持久化好了的日志文件，读取日志文件中没有被持久化到数据文件里面的记录；将这些记录重新持久化到我们的数据文件中

MySQL内核InnoDB存储引擎详解

innodb日志持久化相关参数:

innodb_flush_log_at_trx_commit

0：每秒写入并持久化一次（不安全，性能高，无论mysql或服务器宕机，都会丢数据最多1秒的数据） 1：每次commit都持久化（安全，性能低， IO负担重） 2：每次commit都写入内存的内存缓存，每秒再刷新到磁盘（安全，性能折中， mysql宕机数据不会丢失，服务器宕机数据会丢失最多1秒的数据）

innodb_flush_log_at_timeout参数决定最多丢失多少秒的数据，默认是1秒

InooDB 存储引擎配置

启动配置

InnoDB合理的规划方法是在创建数据库实例之前就定义好数据文件，日志文件和数据页大小等相关属性

指定配置文件位置

MySQL实例启动需要依赖my.cnf配置文件，而配置文件可以存在于多个操作系统目录下my.cnf文件的默认查找路径， 从上到下找到的文件先读，但优先级逐级提升

MySQL内核InnoDB存储引擎详解

系统表空间数据文件配置

可以通过innodb_data_file_path和innodb_data_home_dir来配置系统表空间数据文件 Innodb_data_file_path可以包含一个或多个数据文件，中间用；号分开 innodb_data_file_path=datafile_spec1[;datafile_spec2]… datafile_spec1 = file_name:file_size[:autoextend[:max:max_file_size]]

其中 autoextend和max选项只能用作最后的这个数据文件 。 Autoextend默认情况下是一次增
加64MB，如果要修改此值可通过innodb_autoextend_increment参数。 Max用来指定可扩展数据文件的最大容量用来避免数据文件大小超过可用磁盘空间大小 。

mysql> show variables like '%innodb_data%';

+-----------------------+------------------------+

| Variable_name | Value |

+-----------------------+------------------------+

| innodb_data_file_path | ibdata1:12M:autoextend |

| innodb_data_home_dir | |

+-----------------------+------------------------+

默认是12M

举例如下：

[mysqld]

innodb_data_file_path=ibdata1:50M;ibdata2:50M:autoextend

表示指定ibdata1和ibdata2两个数据文件，其中ibdata1文件为固定的50M大小，而ibdata2文件初始化为50M并可自动扩展容量

[mysqld]

innodb_data_file_path=ibdata1:12M:autoextend:max:500M

innodb_data_home_dir参数用来显示指定数据文件的存储目录，默认是MySQL安装后的数据文件目录，举例如下：

[mysqld]

innodb_data_home_dir = /path/to/myibdata/

innodb_data_file_path=ibdata1:50M;ibdata2:50M:autoextend

当然也可以在innodb_data_file_path中指定绝对路径的数据文件

[mysqld]

innodb_data_home_dir =

innodb_data_file_path=/path/to/myibdata/ibdata1:50M;/path/to/myibdata/ibdata2:50M:autoextend

使用老版本mysql 一定要注意ibdata1 的大小，当ibdata1几十G或者几百G，要对这个ibdata1压缩的时候该怎么办了，先把所有的数据给mysqldump出来，从新在弄一份数据库把数据库导进去
5.7和5.6 是每张表都有一个表空间表名.ibd，因为5.6有个参数开启了独立表空间

5.7和5.6 是每张表都有一个表空间表名.ibd

日志文件配置

默认情况下InnoDB会在数据文件夹下创建两个48M的日志文件，分别是ib_logfile0和ib_logfile1。 Innodb_log_group_home_dir参数用来定义redo日志的文件位置

mysql> show variables like '%innodb_log_file%';

+---------------------------+----------+

| Variable_name | Value |

+---------------------------+----------+

| innodb_log_file_size | 50331648 |

| innodb_log_files_in_group | 2 |

+---------------------------+----------+

innodb_log_file_size 定义的ib_logfile的大小

innodb_log_files_in_group 定义的几个日志文件默认是两个ib_logfile0和ib_logfile1

my.cnf

[mysqld]

innodb_log_group_home_dir = /dr3/iblogs

innodb_log_files_in_group参数用来定义日志文件的个数，默认和推荐值都是2

innodb_log_file_size参数定义了每个日志文件的大小

日志文件越大意味着buffer pool进行文件间切换的操作越少，从而减少IO，一般至少要保证在高峰期的1小时内的所有日志都能存放在一个日志文件里而不发生切换，如果一小时发生了切换这时候就要改变日志文件大小 ，当然文件大小也有最大限制，就是所有日志文件的总大小不能超过512G

MySQL内核InnoDB存储引擎详解

时间间隔很大说明能支持数据库繁忙程度很小

Undo表空间配置

默认情况下， undo日志是存放在系统表空间里，但也可以选择在独立的一个或多个undo表空间中存放undo日志 Innodb_undo_directory参数决定了独立的undo表空间存放目录 Innodb_undo_logs参数决定了回滚段的个数，该变量可以动态调整 Innodb_undo_tablespaces参数决定了独立undo表空间的个数，比如设置为16时则会在undo表空间存放目录下创建16个undo文件，默认为10M

mysql> show variables like '%innodb_undo%';
+--------------------------+-------+
| Variable_name | Value |
+--------------------------+-------+
| innodb_undo_directory | ./ |
| innodb_undo_log_truncate | OFF |
| innodb_undo_logs | 128 |
| innodb_undo_tablespaces | 0 |

临时表空间配置

默认情况下， innodb会创建一个自增长的ibtmp1文件在数据文件夹下作为临时表空间数据文件。 Innodb_temp_data_file_path参数可以指定文件路径，文件名和文件大小

mysql> show variables like '%innodb_temp%';

+----------------------------+-----------------------+

| Variable_name | Value |

+----------------------------+-----------------------+

| innodb_temp_data_file_path | ibtmp1:12M:autoextend |

+----------------------------+-----------------------+

数据页配置

Innodb_page_size参数用来指定所有innodb表空间的数据页大小。默认是16K大小，也可以设置为64K、 32K、 8K和4K。一般设置为存储磁盘的block size接近的大小.

内存相关配置

Innodb_buffer_pool_size参数确定了缓存表数据和索引数据的内存区域大小，默认为128M，推荐设置为系统内存的50%~80%。在服务器有大量内存的情况下，也可以设置多个缓存以提高系统并发度。 Innodb_buffer_pool_instances参数就是用来做这个设置。 Innodb_log_buffer_size参数确定了redo log缓存的大小，默认值是16M， 其大小取决于是否有某些大的事务会大量修改数据而导致在事务执行过程中就要写日志文件。

InnoDB 只读设置

InnoDB可以通过—innodb-read-only参数设置数据表只能读取 ,默认是0

[mysqld]

mysql> show variables like '%read_only%';

+-----------------------+-------+

| Variable_name | Value |

+-----------------------+-------+

| innodb_read_only | OFF |

| read_only | OFF |

| super_read_only | OFF |

| transaction_read_only | OFF |

| tx_read_only | OFF |

+-----------------------+-------+

innodb_read_only 开启对所有的innodb的表都是只读权限。 read_only 开启只对普通用户的innodb的表是只读权限对管理员无效如果要使其普通用户生效，加上super权限。

mysql> show grants for yj@localhost;

+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Grants for yj@localhost |

| GRANT SUPER ON *.* TO 'yj'@'localhost' |

| GRANT SELECT, INSERT, DELETE, CREATE, REFERENCES, INDEX, ALTER, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, EVENT, TRIGGER ON `book`.* TO 'yj'@'localhost' |

InnoDB buffer pool 配置

InnoDB buffer pool设置

Buffer pool是内存中用来缓存数据和索引的存储区域，其是 MySQL性能调优的重要一环 。

理想情况下，设置的size越大，则缓存到内存的数据越多， InnoDB就越像是内存数据库。

Buffer pool的底层是一个列表，通过LRU算法进行数据页的换进换出操作。当空间原因导致新页的加入需要换出一页时， InnoDB取出最近最少使用的页并将这个新的数据页加入到列表的中央。从方向上看，列表的头部是最常使用的数据页，而在尾部则是最少使用的数据页。 Buffer pool中3/8的部分是保存最少使用的数据页，而中央部分其实是经常使用和最少使用的结合点。当在最少使用中保存的数据页被访问时，则数据页就会被移动到列表的头部变成最常使用的。

配置大小

InnoDB buffer pool的大小可以在启动时配置，也可以在启动之后配置。

增加和减少buffer pool的大小都是以大块的方式，块的大小由参数innodb_buffer_pool_chunk_size决定，默认为128M。

Innodb_buffer_pool_size的大小可以自行设定，但必须是 innodb_buffer_pool_chunk_size*innodb_buffer_pool_instances的整数倍，如果不是，则buffer pool会被调整成大于设定值且最接近的一个值如下列

mysql> show variables like '%innodb_buffer_pool%'

-> ;

+-------------------------------------+----------------+

| Variable_name | Value |

+-------------------------------------+----------------+

| innodb_buffer_pool_chunk_size | 134217728 |

| innodb_buffer_pool_dump_at_shutdown | ON |

| innodb_buffer_pool_dump_now | OFF |

| innodb_buffer_pool_dump_pct | 25 |

| innodb_buffer_pool_filename | ib_buffer_pool |

| innodb_buffer_pool_instances | 1 |

| innodb_buffer_pool_load_abort | OFF |

| innodb_buffer_pool_load_at_startup | ON |

| innodb_buffer_pool_load_now | OFF |

| innodb_buffer_pool_size | 134217728 |

+-------------------------------------+----------------+

mysql> select 134217728/1024/1024

-> ;

+---------------------+

| 134217728/1024/1024 |

+---------------------+

| 128.00000000 |

+---------------------+

1 row in set (0.00 sec)

#动态修改一下InnoDB_buffer_size 给加大一个1 Bytes 看看是增加为134217729还是 134217728的整数倍

mysql> set global innodb_buffer_pool_size=134217729;

Query OK, 0 rows affected, 1 warning (0.00 sec)

#是变成了整数陪

mysql> show variables like '%innodb_buffer_pool%'

-> ;

+-------------------------------------+----------------+

| Variable_name | Value |

+-------------------------------------+----------------+

| innodb_buffer_pool_chunk_size | 134217728 |

| innodb_buffer_pool_dump_at_shutdown | ON |

| innodb_buffer_pool_dump_now | OFF |

| innodb_buffer_pool_dump_pct | 25 |

| innodb_buffer_pool_filename | ib_buffer_pool |

| innodb_buffer_pool_instances | 1 |

| innodb_buffer_pool_load_abort | OFF |

| innodb_buffer_pool_load_at_startup | ON |

| innodb_buffer_pool_load_now | OFF |

| innodb_buffer_pool_size | 268435456 |

+-------------------------------------+----------------+

10 rows in set (0.00 sec)

mysql> select 268435456/1024/1024

-> ;

+---------------------+

| 268435456/1024/1024 |

+---------------------+

| 256.00000000 |

+---------------------+

1 row in set (0.00 sec)

Innodb_buffer_pool_chunk_size可以自行设定，且增加和减少都要以M为单位，并只能在启动前修改，修改后的值*innodb_buffer_pool_instances不能大于buffer pool的大小，否则修改无效。

[mysqld]

buffer pool的大小可以动态修改，用set语句直接修改，当语句发起时，会一直等到当前所有的事务结束后才执行，而一旦执行则执行过程中的其他事务如果要访问buffer pool就会等待语句执行完毕。

#动态修改

当执行online的调整大小时，可以通过error log或者innodb_buffer_pool_resize_status查看进度

mysql> SHOW STATUS WHERE Variable_name='InnoDB_buffer_pool_resize_status';

+----------------------------------+----------------------------------+

| Variable_name | Value |

+----------------------------------+----------------------------------+

| Innodb_buffer_pool_resize_status | Resizing also other hash tables. |

+----------------------------------+----------------------------------+

配置多个buffer pool实例

当buffer pool的大小是GB 级别时，将一个buffer poo分割成几个独立的实例能降低多个线程同时读写缓存页的竞争性而 提高并发性 。

通过innodb_buffer_pool_instances参数可以调整实例个数。如果有多个实例，则缓存的数据页会随机放置到任意的实例中，且每个实例都有独立的buffer pool所有的特性。

Innodb_buffer_pool_instances的默认值是1，最大可以调整成64。

mysql> SYSTEM cat /etc/my.cnf

[mysqld]

basedir=/usr/local/mysql

datadir=/usr/local/mysql/data

port=3306

character-set-server=utf8

collation-server=utf8_unicode_ci

secure-file-priv=/tmp/

innodb_buffer_pool_instances=5

innodb_buffer_pool_size=1024M

#这里我设置了实例为了 buffer_pool 为1024M

mysql> show variables like '%innodb_buffer_pool%'

-> ;

+-------------------------------------+----------------+

| Variable_name | Value |

+-------------------------------------+----------------+

| innodb_buffer_pool_chunk_size | 134217728 |

| innodb_buffer_pool_dump_at_shutdown | ON |

| innodb_buffer_pool_dump_now | OFF |

| innodb_buffer_pool_dump_pct | 25 |

| innodb_buffer_pool_filename | ib_buffer_pool |

| innodb_buffer_pool_instances | 5 |

| innodb_buffer_pool_load_abort | OFF |

| innodb_buffer_pool_load_at_startup | ON |

| innodb_buffer_pool_load_now | OFF |

| innodb_buffer_pool_size | 1342177280 |

+-------------------------------------+----------------+

实际大小是buffer_pool的1280M 实例为5

可以 show engine innodb status\G; 看看几个buffer 实例会从1280平均分给buffer pool 实例

Making the Buffer Pool Scan Resistant 新读取的数据页被插入到buffer pool的LRU列表的中间位置，默认位置是从尾部开始算起的3/8的位置。当被放入buffer pool的页被第一次访问时就开始往列表的前方移动，而这样列表的后部就是不经常访问的页甚至是从不访问的页。通过参数innodb_old_blocks_pct可以控制列表中”old” 数据页所占的百分比，默认是37%，等同于3/8，取值范围是5~95。

Innodb_old_blocks_time参数默认是1000毫秒，指定了页面读取到buffer pool后但没有移动到经常被访问列表位置的时间窗口。

InnoDB buffer pool预存取（read-ahead） Read ahead是异步地预先获取多个数据页到buffer pool的IO操作，这些数据页都是假定会随后被用到的。 InnoDB通过两种read-ahead算法提高IO性能：

线性read ahead ：预测哪些页会被顺序访问。通过innodb_read_ahead_threshold参数调整顺序数据页的数量。当从一个区中顺序读取的页数量大于等于
innodb_read_ahead_threshold时， innodb会触发异步read ahead操作将真个区都读到buffer pool中。该参数的默认值是56，取值范围是0~64。
随机read ahead ：通过已经在buffer pool中的数据页来预测哪些页会被随后访问到。如果13个连续的处于相同区的页存在于buffer pool中，则InnoDB会把同一个区的其它页都读取进来。通过设置innodb_random_read_ahead=ON来开启此方式。

通过执行show engine innodb status命令显示的三个参数判断read-ahead算法的有效性：

Innodb_buffer_pool_read_ahead

Innodb_buffer_pool_read_ahead_evicted

Innodb_buffer_pool_read_ahead_rnd

InnoDB buffer pool flushing配置

Innodb会在后台将buffer pool中的脏页(已经修改但没有写到数据文件)flush掉。当buffer pool中的脏页所占百分比达到innodb_max_dirty_pages_pct_lvm会触发flush，当所占比例达到innodb_max_dirty_pages_pct时，则innodb会“强烈” 的flush。针对数据修改操作频繁的系统， flush可能会严重滞后导致有大量的buffer pool内存占用，有一些参数专门针对修改繁忙的系统可以调整：

Innodb_adaptive_flushing_lwm：为防止redo log被填满，此参数设置一个阈值，如果redo log的容量超过此阈值，则执行adaptive flush操作。

Innodb_max_drity_pages_pct_lwm

Innodb_io_capacity_max

Innodb_flushing_avg_loops

重置buffer pool状态

InnoDB可以通过配置innodb_buffer_pool_dump_at_shutdown参数来确保在mysql正常重启时部分经常使用的数据页能直接加载到buffer pool中，通过批量加载的方式，以节省重启mysql导致的warmup时间（原先在buffer pool中的数据页要从磁盘再次加载到内存中）。

Buffer pool的状态可以在任意时刻被保存，而重置状态也可以恢复任意保存的副本。在数据库运行期间动态配置buffer pool数据页保留占比的方式是：

SET GLOBAL innodb_buffer_pool_dump_pct=40;

而在配置文件中的配置方法为：

[mysqld]

innodb_buffer_pool_dump_pct=40

配置当服务器关闭时保存buffer pool的当前状态的方法是：

SET GLOBAL innodb_buffer_pool_dump_at_shutdown=ON;

mysqld --innodb_buffer_pool_load_at_startup=ON;

默认情况下innodb_buffer_pool_dump_at_shutdown和innodb_buffer_pool_load_at_startup两个配置

是开启状态

在关闭MySQL时，会把内存中的热数据保存在磁盘里ib_buffer_pool文件中，位于数据目录下。

数据库运行期间保存和重新加载buffer pool的方法是：

SET GLOBAL innodb_buffer_pool_dump_now=ON;

查看buffer pool保存和重新加载的进度的方法是：

mysql> SHOW STATUS LIKE 'Innodb_buffer_pool_dump_status';

+--------------------------------+--------------------------------------------------+

| Variable_name | Value |

+--------------------------------+--------------------------------------------------+

| Innodb_buffer_pool_dump_status | Buffer pool(s) dump completed at 170519 0:16:28 |

+--------------------------------+--------------------------------------------------+

1 row in set (0.00 sec)

mysql> SHOW STATUS LIKE 'Innodb_buffer_pool_load_status';

+--------------------------------+--------------------------------------------------+

| Variable_name | Value |

+--------------------------------+--------------------------------------------------+

| Innodb_buffer_pool_load_status | Buffer pool(s) load completed at 170519 0:14:05 |

+--------------------------------+--------------------------------------------------+

1 row in set (0.00 sec)

监控buffer pool的状态情况

通过show engine innodb status\G;命令可以查看buffer pool的运行情况

mysql> show engine innodb status\G;

*************************** 1. row ***************************

Type: InnoDB

Name:

Status:

=====================================

2018-08-15 22:55:43 0x7f5b69b4e700 INNODB MONITOR OUTPUT

=====================================

Per second averages calculated from the last 39 seconds

-----------------

BACKGROUND THREAD

-----------------

srv_master_thread loops: 4 srv_active, 0 srv_shutdown, 18800 srv_idle

srv_master_thread log flush and writes: 18804

----------

SEMAPHORES

----------

OS WAIT ARRAY INFO: reservation count 2

OS WAIT ARRAY INFO: signal count 2

RW-shared spins 0, rounds 4, OS waits 2

RW-excl spins 0, rounds 0, OS waits 0

RW-sx spins 0, rounds 0, OS waits 0

Spin rounds per wait: 4.00 RW-shared, 0.00 RW-excl, 0.00 RW-sx

------------

TRANSACTIONS

------------

Trx id counter 35363587

Purge done for trx's n:o < 0 undo n:o < 0 state: running but idle

History list length 0

LIST OF TRANSACTIONS FOR EACH SESSION:

---TRANSACTION 421507019233104, not started

0 lock struct(s), heap size 1136, 0 row lock(s)

--------

FILE I/O

--------

I/O thread 0 state: waiting for completed aio requests (insert buffer thread)

I/O thread 1 state: waiting for completed aio requests (log thread)

I/O thread 2 state: waiting for completed aio requests (read thread)

I/O thread 3 state: waiting for completed aio requests (read thread)

I/O thread 4 state: waiting for completed aio requests (read thread)

I/O thread 5 state: waiting for completed aio requests (read thread)

I/O thread 6 state: waiting for completed aio requests (write thread)

I/O thread 7 state: waiting for completed aio requests (write thread)

I/O thread 8 state: waiting for completed aio requests (write thread)

I/O thread 9 state: waiting for completed aio requests (write thread)

Pending normal aio reads: [0, 0, 0, 0] , aio writes: [0, 0, 0, 0] ,

ibuf aio reads:, log i/o's:, sync i/o's:

Pending flushes (fsync) log: 0; buffer pool: 0

480 OS file reads, 131 OS file writes, 7 OS fsyncs

0.00 reads/s, 0 avg bytes/read, 0.00 writes/s, 0.00 fsyncs/s

-------------------------------------

INSERT BUFFER AND ADAPTIVE HASH INDEX

-------------------------------------

Ibuf: size 1, free list len 0, seg size 2, 0 merges

merged operations:

insert 0, delete mark 0, delete 0

discarded operations:

insert 0, delete mark 0, delete 0

Hash table size 332099, node heap has 2 buffer(s)

Hash table size 332099, node heap has 0 buffer(s)

Hash table size 332099, node heap has 2 buffer(s)

0.00 hash searches/s, 0.00 non-hash searches/s

---

LOG

---

Log sequence number 3964869295

Log flushed up to 3964869295

Pages flushed up to 3964869295

Last checkpoint at 3964869286

0 pending log flushes, 0 pending chkp writes

10 log i/o's done, 0.00 log i/o's/second

----------------------

BUFFER POOL AND MEMORY

----------------------

Total large memory allocated 1374289920

Dictionary memory allocated 102398

Buffer pool size 81910

Free buffers 81395

Database pages 511

Old database pages 0

Modified db pages 0

Pending reads 0

Pending writes: LRU 0, flush list 0, single page 0

Pages made young 0, not young 0

0.00 youngs/s, 0.00 non-youngs/s

Pages read 453, created 58, written 114

0.00 reads/s, 0.00 creates/s, 0.00 writes/s

No buffer pool page gets since the last printout

Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s

LRU len: 511, unzip_LRU len: 0

I/O sum[0]:cur[0], unzip sum[0]:cur[0]

----------------------

INDIVIDUAL BUFFER POOL INFO

----------------------

---BUFFER POOL 0

Buffer pool size 16382

Free buffers 16226

Database pages 155

Old database pages 0

Modified db pages 0

Pending reads 0

Pending writes: LRU 0, flush list 0, single page 0

Pages made young 0, not young 0

0.00 youngs/s, 0.00 non-youngs/s

Pages read 155, created 0, written 2

0.00 reads/s, 0.00 creates/s, 0.00 writes/s

No buffer pool page gets since the last printout

Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s

LRU len: 155, unzip_LRU len: 0

I/O sum[0]:cur[0], unzip sum[0]:cur[0]

.....

InnoDB 其他配置

InnoDB change buffer设置

change buffering是MySQL5.5加入的新特性， change buffering是insert buffer的加强， insert buffer只针对insert有效， change buffering对insert、 delete、 update(delete+insert)、 purge都有效。当修改一个索引块(secondary index)时的数据时，索引块在buffter pool中不存在，修改信息就会被cache在change buffer中，当通过索引扫描把需要的索引块读取到buffer pool时，会和change buffer中修改信息合并，再择机写回disk。

目的还是为了减少随机IO带来性能损耗

Change buffer是作为buffer pool中的一部分存在。

Innodb_change_buffering参数缓存所对应的操作： (update会被认为是delete+insert)

all: 默认值，缓存insert, delete, purges操作 none: 不缓存 inserts: 缓存insert操作 deletes: 缓存delete操作 changes: 缓存insert和delete操作 purges: 缓存后台执行的物理删除操作 innodb_change_buffer_max_size参数配置change buffer在buffer pool中所占的最大百分比，默认是25%，最大可以设置为50%。当MySQL实例中有大量的修改操作时，要考虑增大innodb_change_buffer_max_size。

InnoDB线程并发度配置

InnoDB利用操作系统的线程技术达到多线程实现。 Innodb_thread_concurrency参数限制同时执行的线程数。默认值是0代表没有限制。 Innodb_thread_sleep_delay参数确定

InnoDB后台IO线程配置

通过配置innodb_read_io_threads和innodb_write_io_threads参数来指定后台读和写数据页的线程的个数，默认值是4，容许的取值范围是1-64。

mysql> show engine innodb status\G