开源了一个 Django PostgreSQL 时间分区表插件

栏目: Python · 发布时间: 5年前

内容简介:数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。

Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

链接在这 文档

我们使用分区表主要为了实现下面的需求

  • 日志一旦被归档,这些数据就不要被查询了
  • 如果查询的时候带上了时间,某些表就可以直接跳过查询
  • 如果磁盘空间不足,快速删除某些数据(被归档的表的删除和 vacuum 会比较容易,因为需要锁,一直写数据的情况下不容易操作)
  • 如果加磁盘扩容,新的子表可以单独调整 tablespace 放在新的磁盘上,先不移动已有的数据(也是锁的原因)

欢迎大家试用和提出意见~


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Ajax开发精要

Ajax开发精要

柯自聪 / 电子工业出版社 / 2006 / 45.00

书籍目录: 概念篇 第1章 Ajax介绍 2 1.1 Ajax的由来 2 1.2 Ajax的定义 3 1.3 Web应用程序的解决方案 5 1.4 Ajax的工作方式 7 1.5 小结 8 第2章 B/S请求响应机制与Web开发模式 9 2.1 HTTP请求响应模型 9 2.2 B/S架构的请求响应机......一起来看看 《Ajax开发精要》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具