PostgreSQL之analyze监控

假设A为update的tuples计数值,B 为delete的tuples计数值 ,C为insert的tuples的计数值 .那么

（A+B+C）>(0.1*tuples+50)时，将会发生自动autoanalyze。

网易的德哥有篇文章 how many tuples updated and or deleted will trigger auto vacuum or analyze 非常厉害，实验证明了这个公式。根据这个公式，可以很清楚的知道，数据表比较小的时候，auto anaylze会比较频繁，数据表越大，0.1×tuples的值就越大，就越难trigger auto analyze。当然，这个参数是可以配置的，具体配置成多少，自己根据业务需要配置。对于我们公司的产品，数据库的autovacuum_analyze_scale_factor默认配置成0.1是不合适的，具体原因是业务层面的东西，我就不多唧唧歪歪了。

如何获取某用户表的何时进行的analyze呢？pg_stat_user_tables中有个字段叫last_autoanalyze,当然还有字段叫last_analyze,记录的是上一次手动ANALYZE的时间。

当然了我这张图不是auto analyze，属于manual analyze。如何trigger auto analyze，可以看德哥的PostgreSQL daily maintenance-vacuum，触发auto analyze的例子写的非常详细，不所说。我们虽然能够获取到上一次的时间，但是很不幸无法获取到每一次的时间，尤其是根据业务模型，你修改了autovacuum_analyze_scale_factor的时候，你可能比较希望关注每一次的analyze time，判断是否满足业务需求。我写了脚本monitor这件事，每发生一次，添加一笔记录，也可以只执行1次，查看所有表的last auto analyze time。 

1. import os
2. import time
3. import commands
4. import sys
6. cmd = '/usr/bin/psql XXXXX -t -c "select relname, last_autoanalyze from pg_stat_user_tables" |sort'
7. mydict = { }
11. def check_loop ( ) :
12.         current_output = commands . getoutput ( cmd )
14.          for record in current_output . split ( '\n' ) :
15.                 tmp = record . split ( "|" )
16.                  if len ( tmp ) = = 2 :
17.                         key = tmp [ 0 ] . strip ( )
18.                         value = tmp [ 1 ] . strip ( )
19.                          if key not in mydict :
20.                                  print "%-40s|%-30s|%-30s" % ( key , "" , value )
21.                                  print "%-40s+%-30s+%-30s" % ( '-' * 40 , '-' * 30 , '-' * 30 )
22.                                 mydict [ key ] = value
23.                          if key in mydict and mydict [ key ] ! = value :
24.                                  print "%-40s|%-30s|%-30s" % ( key , mydict [ key ] , value )
25.                                  print "%-40s+%-30s+%-30s" % ( '-' * 40 , '-' * 30 , '-' * 30 )
26.                                 mydict [ key ] = value
28. def print_title ( ) :
29.          print "%-40s %-30s %-30s" % ( "tablename" , "last_autoanalyze" , "current_autoanalyze" )
30.          print "%-40s+%-30s+%-30s" % ( '-' * 40 , '-' * 30 , '-' * 30 )
32. def monitor_analyze_forever ( ) :
33.         print_title ( )
34.          while True :
35.                 check_loop ( )
36.                 time . sleep ( 30 )
38. def monitor_analyze_once ( ) :
39.         print_title ( )
40.         check_loop ( )
41.         
44. if __name__ = = "__main__" :
45.         input = sys . argv
46.          if len ( input ) > 1 and input [ 1 ] = = 'single' :
47.                 monitor_analyze_once ( )
48.          else :
49.                 monitor_analyze_forever ( )

将XXXXX改成自己DB的name就行了。带single参数，表示只查看，不monitor，否则moniotor，没发生一次analyze，就插入一条记录。这个是检查周期，默认是1分钟，每一分钟检查一次（A+B+C）>(0.1*tuples+50).可以配置:

我默认sleep 30s,是不合适的,更好的方法是获取naptime,根据naptime,确定sleep的时间,我就不改了.

输出如下: