开源了一个 Django PostgreSQL 时间分区表插件

栏目: Python · 发布时间: 7年前

内容简介:数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。

Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

链接在这 文档

我们使用分区表主要为了实现下面的需求

  • 日志一旦被归档,这些数据就不要被查询了
  • 如果查询的时候带上了时间,某些表就可以直接跳过查询
  • 如果磁盘空间不足,快速删除某些数据(被归档的表的删除和 vacuum 会比较容易,因为需要锁,一直写数据的情况下不容易操作)
  • 如果加磁盘扩容,新的子表可以单独调整 tablespace 放在新的磁盘上,先不移动已有的数据(也是锁的原因)

欢迎大家试用和提出意见~


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

PHP和MySQL Web开发

PHP和MySQL Web开发

Luke Welling、Laura Thomson / 武欣、邵煜 / 机械工业出版社 / 2005-12 / 78.00元

本书将PHP开发与MySQL应用相结合,分别对PHP和MySQL做了深入浅出的分析,不仅介绍PHP和MySQL的一般概念,而且对PHP和MySQL的Web应用做了较全面的阐述,并包括几个经典且实用的例子。一起来看看 《PHP和MySQL Web开发》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

html转js在线工具
html转js在线工具

html转js在线工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具