Linux 物理内存外碎片化浅析

本文出现的内核代码来自 Linux 4.19，如果有兴趣，读者可以配合代码阅读本文。

一、Linux物理内存外碎片化概述

什么是Linux物理内存碎片化？Linux物理内存碎片化包括两种：

1.物理内存内碎片：指分配给用户的内存空间中未被使用的部分。

例如进程需要使用3K bytes物理内存，于是向系统申请了大小等于3Kbytes的内存，但是由于Linux内核伙伴系统算法最小颗粒是4K bytes，所以分配的是4Kbytes内存，那么其中1K bytes未被使用的内存就是内存内碎片。

Linux物理内存内碎片

2.物理内存外碎片化：指系统中无法利用的小内存块。

例如系统剩余内存为16K bytes，但是这16K bytes内存是由4个4K bytes的页面组成，即16K内存物理页帧号#1不连续。在系统剩余16K bytes内存的情况下，系统却无法成功分配大于4K的连续物理内存，该情况就是内存外碎片导致，本文中阐述的就是物理内存外碎片化。

注：#1物理页帧号：Linux物理内存是通过页面进行管理，并对每个页面进行编号，称为页帧号，如果是连续的两个物理页面，其页帧号是连续的。

Linux物理内存外碎片

二、Linux物理内存管理框架

阐述物理内存外碎片化的来龙去脉前，先得明白Linux是如何管理物理内存的？Linux内核采用的是buddy system allocation，即著名的伙伴系统分配器。

1.设计思路

伙伴系统分配器的核心思路：将系统的空闲页面分为11个块链表，每个块链表分别管理着1,2,4,8,16,32,64,128,256,512和1024个物理页帧号连续的页面。每个页面大小为4K bytes，buddy管理的块大小范围从4K bytes到4M bytes，以2的倍数递增。

Linux物理内存管理框架图

2.管理逻辑

Linux对物理页面管理的框架如上图，由于本文阐述的是物理内存外碎片，所以关于伙伴系统本文只做简单分析，不涉及具体的细节并不阐述关于per cpu pageset等内容，如果读者有兴趣，可以参考内核源码。

Linux将物理内存分为不同的node和zone来管理：

• node：为了支持NUMA结构，即CPU对不同内存簇的访问速度不同，Linux设计了node结构，将物理内存分为多个内存节点管理；对于UMA结构，只有一个node节点。

• zone：为兼容不同的平台的硬件限制，例如80x86的体系结构的硬件总线访问等问题，Linux将node节点下的内存分为多个zone；目前在ARM平台，多个zone管理已非必要。

zone管理单元下的内存通过free_area数组将内存分成11个块链表进行管理：

free_area数组总共有11个索引，每个索引管理着不同大小的块链表。

• free_area[0]管理的内存单位为2^0页面，即4K byte内存；

• free_area[1]管理的内存单位为2^1的物理页帧号连续页面，即8K bytes内存；

• 以此类推；

free_area管理的内存还细分为各种类型，例如不可移动页面和可移动页面等，每种类型的页面类型对应一个free_list链表，该链表就链接着页面结构体。

当分配页面时，伙伴系统拿页面的步骤如下：（不考虑内存慢速路径）

• 根据分配页面类型，找到对应的内存节点node和内存管理单元zone；

• 根据分配页面大小，找到的对应大小的free_area结构体；

• 根据分配页面类型，找到对应的free_list链表，分配页面；

当向伙伴系统释放页面时，buddy释放页面的步骤如下：

• 根据分配页面类型，找到对应的内存节点node和内存管理单元zone；

• 判断是否有物理页帧号相连的空闲内存块，可以跟被释放的内存块合并成更大的块内存，合并的条件：

• 物理帧必须都是连续的；

• 相同的类型和相同的大小；

• 合并后块内存的第一个页面的物理地址满足”2*块大小*4K”的倍数。

• 根据释放页面的大小或者合并的大小，找到的对应大小的free_area结构体；

• 根据释放页面的类型，找到对应的free_list链表，释放页面；

三、Linux针对物理内存外碎片化的措施

从“二、Linux物理内存管理架构”，可以发现伙伴系统内存管理框架是可以有效改善物理内存外碎片的，因为伙伴系统有如下两个管理逻辑，可以减少了外碎片化的产生：

• 小块内存在小块链表分配，减少大块链表被污染的概率；

• 内存释放时会尝试整合成大块内存的逻辑，有助于大块内存的合成；

除此之外，内核还支持以下措施改善物理内存外碎片化（只列举主要的机制）：

1.memory compaction

（1）内存规整原理

Linux物理页面规整机制，类似于磁盘整理，主要是应用了内核的页面迁移机制，是一种将可移动页面进行迁移后腾出连续物理内存的方法。

假设存在一个非常小的内存域如下：

蓝色表示空闲的页面，白色表示已经被分配的页面，可以看到如上内存域的空闲页面（蓝色）非常零散，无法分配大于两页的连续物理内存。

下面演示一下内存规整的简化工作原理，内核会运行两个独立的扫描动作：第一个扫描从内存域的底部开始，一边扫描一边将已分配的可移动（MOVABLE）页面记录到一个列表中：

另外第二扫描是从内存域的顶部开始，扫描可以作为页面迁移目标的空闲页面位置，然后也记录到一个列表里面：

等两个扫描在域中间相遇，意味着扫描结束，然后将左边扫描得到的已分配的页面迁移到右边空闲的页面中，左边就形成了一段连续的物理内存，完成页面规整。

（2）使用方法

如果想打开内存规整，内核需要打开相关的配置（默认为y）

打开如上配置后，内存规整的触发是自动的，触发内存规整的途径如下：当进程尝试分配高阶内存无法满足并且完成direct_reclaim#1（暂不分析costly_order情况）后，系统会根据内存剩余判断是否触发内存规整；

注：#1direct_reclaim：进程分配内存时发现内存不足从而启动直接回收内存操作，这种模式下分配和回收是同步的关系，也就是说分配内存的进程会因为等待内存回收而被阻塞。

内核也提供了接口给用户触发规整动作，接口如下：

/proc/sys/vm/compact_memory

只要往这个节点写值即可触发对系统所有node管理的内存做内存规整。

2.kcompactd

kswapd即将进入睡眠时：

3.其他优化的思路

内核经过不断的优化，那为何Linux为何还有物理内存外碎片化呢？那是因为物理内存外碎片化虽然是可以不断优化的，但却无法得到根除。目前的内核，我觉得导致物理外碎片化还有以下两个主要原因：

• 不可移动页面污染了内存环境，导致页面规整失败；

• 随着系统不断申请和释放的页面，导致伙伴系统分配的物理内存页帧号越发随机，从而导致内存被隔断的概率越高，碎片化的程度越高，在3.2阐述。

针对以上两个原因，以下的优化措施可能达到一定的优化效果：

（1）减少UNMOVABLE页面污染内存环境

参考文献

1、内核源代码

2、http://tinylab.org/lwn-368869/

3、https://patchwork.kernel.org/patch/

Linux 内核黑科技 | 技术文章 | 精选教程