利用系统缓存提高PostgreSQL操作效率

内容简介：近期，试用pgfincore，对此做一个实验记录。pgfincore是将数据库对象提前加载到OS cache中，加快操作效率。当有一顶的物理更改时，pgfincore也会将其加载到缓存中。主要是提高查询效率的，当有频繁的缓存交换时，有可能会被挤出缓存。

环境介绍：

OS：Centos 6.4 64bit
Database：PostgreSQL9.4
Memory：2G
CPU：1核

下载安装：

在pgfoundry下载pgfincore-v1.1.1.tar.gz，，将源码解压到数据库源码下的contrib下。不要在其github上下载，目前应该有一些bug，最新版本为1.1.1，1.1.2在我试用的时候发现大部分函数无法使用。

其次在我编译时一直出现如下错误：

所以在此我修改了一下Makefile文件，内容如下：

现在进行make，即可：

实验记录：

1、安装：

2、准备工作：记录比较使用pgfincore前后的性能差，使用插件pg_stat_statments记录每条 sql 的使用时间。
其次将shared_buffer改为16mb，减少其对pgfincore的影响。

3、建立表testmem，分别在使用和不适用pgfincore情况下进行select, update, delete的操作，并对比执行时间，在这里为了更好的去作比较，建立三张表testmem1，testmem2，testmem3，分别进行三种操作进行对比。并插入相同的数据。

三种操作性能对比：

使用pgfincore前：通过查询表pg_stat_statments查看三种操作时间：

使用pgfincore后：通过查询表pg_stat_statments查看三种操作时间（重启机器后，重新建库，重新建表、插数据）：

明显看出当执行select时速度提升明显，其他的时间提升并不明显，这是因为数据还需要进行IO操作，所以在这里速度提升应该仅仅是读入的时间节省掉了。

上面这个实验验证了willneed会将小部分新加入的数据加载到cache中，能够快速的定位查找，但是当插入数据量较大时，就不会及时的写入到cache中了。

总结：pgfincore目前适用于数据量非常大、更新不频繁、更新量较小的表去加载到缓存中，有助于提高应用效率。

插件函数介绍：

这里会对函数进行介绍，并对所有函数进行操作实验。

1、pgsysconf：
这个函数输出OS block的大小（os_page_size），OS中剩余的page数(os_pages_free)和OS拥有的page总数(os_total_pages)。

2、pgsysconf_pretty：
这个函数和上面的一样，仅仅是输出更易懂些。

3、pgfadvise_willneed：

这个函数是
输出文件名（relpath），OS block大小（os_page_size），对象占用系统page数（rel_os_pages）,OS剩余的page数（os_pages_free）。

4、pgfadvise_dontneed：

这个函数对当前对象设置dontneed标记。dontneed标记的意思就是当操作系统需要释放内存时优先释放标记为dontneed的pages。输出的意义和上面一致，就不多做介绍了。

5、pgfadvise_NORMAL、pgfadvise_SEQUENTIAL、pgfadvise_RANDOM：

和pgfadvise_dontneed大同小异，分别将对象标记为normal、sequential、random，意思按照字面意思理解就可以了。

其实pgfadvise是一个单独的函数，参数是relname,fork,action,含义分别为对象名、文件分支名以及行为id，上面的3、4、5函数都是输入不同参数而设置的函数，其中willneed、dontneed、normal、sequential、random的值分别是10、20、30、40、50，且默认fork为main，即表文件。

这里的pgfadvise主要调用了 Linux 下的函数posix_fadvise，标记值也是posix_fadvise所需要的。

6、pgfincore：

这个函数是是提供对象在操作系统缓存中的信息的。

它分为三个函数，参数分别为（relname, fork, getdatabit），（relname, getdatabit），（relname），三个参数意思为对象名，进程名（这个地方默认是main），是否要显示databit（很长，注意显示），第一个函数需要全部输入，第二个函数默认fork为main，第三个函数默认fork为main，getdatabit为false。

它输出的是文件位置及名称（relpath），文件顺序（segment），OS page或block大小（os_page_size），对象占用系统缓存需要的页面个数（rel_os_pages），对象已经占用缓存页面个数（pages_mem），在缓存中连续的页面组的个数（group_mem），OS剩余的page数（os_pages_free），加载信息的位图（databit）。

7、pgfadvise_loader：

这个函数可以对页面缓存直接进行两方面的作用。因此，它能通过页面的位图在缓存中来对页面进行加载或卸载。

它分为两个函数和上边的类似，就是设置缺省值，的输入参数是（relname, fork, segment, load, unload, databit）和（relname, segment, load, unload, databit），分别是对象名，文件分支名，文件序号，是否加载，是否卸载，位图信息。第二个函数默认fork为main。

它输出的是物理文件名及path（relpath），OS page或block大小（os_page_size）, OS中剩余的page数(os_pages_free)，加载的page数（pages_load），卸载的page数（pages_unload）。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Elasticsearch 7.11.2 发布，提升缓存效率
• 剑指offer题解笔记：时间效率和空间效率的平衡
• Kubernetes云上效率方法论，10倍研发效率提升
• 领导怼程序员：效率高不是不加班的理由！程序员：那降低效率
• 浅谈 “效率” 提升
• 优化ElasticSearch写入效率

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。