解读年度数据库PostgreSQL：如何巧妙地实现缓冲区管理器

图 1 缓冲区管理器的三层结构

缓冲区管理器的工作原理

当后端进程想要访问所需页面时，它会调用 ReadBufferExtended 函数。

函数 ReadBufferExtended 的行为因场景而异，在逻辑上具体可以分为三种情况。

• 访问存储在缓冲池中的页面

当从缓冲池槽中的页面里读取行时， PostgreSQL 进程获取相应缓冲区描述符的共享 content_lock ，因而缓冲池槽可以同时被多个进程读取。

当向页面插入（及更新、删除）行时，该 postgres 后端进程获取相应缓冲区描述符的独占 content_lock （注意，这里必须将相应页面的脏位置设为 "1" ）。

访问完页面后，相应缓冲区描述符的引用计数值减 1 。

图 2 是访问存储在缓冲池中的页面示意图。

图 2 访问存储在缓冲池中的页面

我们来介绍最简单的情况，即所需页面已经存储在缓冲池中。在这种情况下，缓冲区管理器会执行以下步骤：

1. 创建所需页面的 buffer_tag （在本例中 buffer_tag 是 'Tag_C' ），并使用散列函数计算与描述符相对应的散列桶槽。

2. 获取相应散列桶槽分区上的 BufMappingLock 共享锁。

3. 查找标签为 'Tag_C' 的条目，并从条目中获取 buffer_id 。本例中 buffer_id 为 2 。

4. 将 buffer_id=2 的缓冲区描述符钉住，即将描述符的 refcount 和 usage_count 增加 1 。

5. 释放 BufMappingLock 。

6. 访问 buffer_id=2 的缓冲池槽。

• 将页面从存储加载到空槽

图 3 是将页面从存储加载到空槽的示意图。

图 3 将页面从存储加载到空槽

在第二种情况下，假设所需页面不在缓冲池中，且 freelist 中有空闲元素（空描述符）。这时，缓冲区管理器将执行以下步骤：

1. （ 查找缓冲区表（本节假设页面不存在，找不到对应页面）。

   第一，创建所需页面的 buffer_tag （本例中 buffer_tag 为 'Tag_E' ）并计算其散列桶槽。

   第二，以共享模式获取相应分区上的 BufMappingLock 。

   第三，查找缓冲区表（根据假设，这里没找到）。

   第四，释放 BufMappingLock 。

2. 从 freelist 中获取空缓冲区描述符，并将其钉住。在本例中所获的描述符： buffer_id=4 。

3. 以独占模式获取相应分区的 BufMappingLock （此锁将在步骤（ 6 ）中被释放）。

4. 创建一条新的缓冲表数据项： buffer_tag='Tag_E’, buffer_id=4 ，并将其插入缓冲区表中。

5. 将页面数据从存储加载至 buffer_id=4 的缓冲池槽中，如下所示：

   第一，以排他模式获取相应描述符的 io_in_progress_lock 。

   第二，将相应描述符的 IO_IN_PROGRESS 标记位设置为 1 ，以防其他进程访问。

   第三，将所需的页面数据从存储加载到缓冲池插槽中。

   第四，更改相应描述符的状态，将 IO_IN_PROGRESS 标记位设置为 "0" ，且 VALID 标记位设置为 "1" 。

   第五，释放 io_in_progress_lock 。

6. 释放相应分区的 BufMappingLock 。

7. 访问 buffer_id=4 的缓冲池槽。

• 将页面从存储加载到受害者缓冲池槽

在这种情况下，假设所有缓冲池槽位都被页面占用，且未存储所需的页面。图 4 是将页面从存储加载到受害者缓冲池槽的示意图。

图 4 将页面从存储加载到受害者缓冲池槽

缓冲区管理器将执行以下步骤：

1. 创建所需页面的 buffer_tag 并查找缓冲表。在本例中假设 buffer_tag 是 'Tag_M' （且相应的页面在缓冲区中找不到）。

2. 使用时钟扫描算法选择一个受害者缓冲池槽位，从缓冲表中获取包含着受害者槽位 buffer_id 的旧表项，并在缓冲区描述符层将受害者槽位的缓冲区描述符钉住。本例中受害者槽的 buffer_id=5 ，旧表项为 Tag_F,id = 5 。时钟扫描将在下一节介绍。

3. 如果受害者页面是脏页，则将其刷盘（ write & fsync ），否则进入步骤 4 。

   在使用新数据覆盖脏页之前，必须将脏页写入存储中。脏页的刷盘步骤如下：

   第一，获取 buffer_id=5 描述符上的共享 content_lock 和独占 io_in_progress_lock 。

   第二，更改相应描述符的状态：相应 IO_IN_PROCESS 设置为 1 ， JUST_DIRTIED 位设置为 0 。

   第三，根据具体情况，调用 XLogFlush() 函数将 WAL 缓冲区上的 WAL 数据写入当前 WAL 段文件 。

   第四，将受害者页面的数据刷盘至存储中。

   第五，更改相应描述符的状态；将 IO_IN_PROCESS 位设置为 "0" ，将 VALID 位设置为 "1" 。

   第六，释放 io_in_progress_lock 和 content_lock 。

4. 以排他模式获取缓冲区表中旧表项所在分区上的 BufMappingLock 。

5. 获取新表项所在分区上的 BufMappingLock ，并将新表项插入缓冲表：

   第一，首先需要创建一个全新的表项：由 buffer_tag='Tag_M' 与受害者的 buffer_id 组成的新表项。

   第二，以独占模式获取新表项所在分区上的 BufMappingLock 。

   第三，将新表项插入缓冲区表中。

6. 从缓冲表中删除旧表项，并释放旧表项所在分区的 BufMappingLock 。

7. 将目标页面数据从存储加载至受害者槽位，然后用 buffer_id=5 更新描述符的标识字段，将脏位设置为 0 ，并按流程初始化其他标记位。

8. 释放新表项所在分区上的 BufMappingLock 。

9. 访问 buffer_id=5 对应的缓冲区槽位。

本文节选自博文视 点新书《PostgreSQL指南：内幕探索》。 基于发挥最大效能的先天动力， 数据库学习者对其内部运行或者实现机制有着本能的兴趣。好在， PostgreSQL 也并未设计成黑盒子。深入了解其机制后，开发人员可以进行高效的应用设计，写出高性能的 SQL 语句；运维人员可以针对性地进行性能优化，快速对问题进行分析、定位和解决。如果，举世能找到的唯一秘辛， 现在 就静静躲在 阅读原文 后面，你会不点开吗？

内容简介 ： 本书介绍PostgreSQL内部的工作原理，包括数据库对象的逻辑组织与物理实现，进程与内存的架构，并依次剖析几个重要子系统——查询处理、外部数据包装器、并发控制、清理过程、缓冲区管理、WAL、备份及流复制。本书为 DBA 与系统开发者提供一幅全景概念地图，有助于读者形成对数据库实现的整体认识，亦可作为 PostgreSQL源代码 深入学习的导读手册，对于理解数据库原理与PostgreSQL内部实现大有裨益。本书适合数据库开发人员及相关领域的研究人员、数据库DBA及高等院校相关专业的学生阅读。

新书出版

→