开源了一个 Django PostgreSQL 时间分区表插件

栏目: Python · 发布时间: 6年前

内容简介:数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

数据量比较大需要分表的业务场景非常多,比如商城的订单表、WAF 记录的日志等等,常见的就是按照时间去分表。最近我们开源了一个 Django 插件,目的是方便在 PostgreSQL 11 上实现按时间的分区表的管理。

Django orm 非常好用,我们通过 patch 的方式实现了修改 orm 生成的 CREATE TABLE sql 语句,然后内置了一些分区表管理逻辑。

链接在这 文档

我们使用分区表主要为了实现下面的需求

  • 日志一旦被归档,这些数据就不要被查询了
  • 如果查询的时候带上了时间,某些表就可以直接跳过查询
  • 如果磁盘空间不足,快速删除某些数据(被归档的表的删除和 vacuum 会比较容易,因为需要锁,一直写数据的情况下不容易操作)
  • 如果加磁盘扩容,新的子表可以单独调整 tablespace 放在新的磁盘上,先不移动已有的数据(也是锁的原因)

欢迎大家试用和提出意见~


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

JavaScript RIA开发实战

JavaScript RIA开发实战

(英)Dennis Odell / 张立浩 / 清华大学出版社 / 2010 / 48.00元

本书介绍如何采用最合理的方式为RIA编写可靠的、易于维护的HTML、CSS和JavaScript代码,以及如何使用Ajax技术在后台实现浏览器与Web服务器的动态通信。本书将介绍您在构建Web应用程序时可能遇到的性能限制,以及如何以最佳的方式克服这些限制。此外,本书提供的提示可以使用户界面响应更加灵敏。 本书也将介绍如何通过添加使用自定义字体的印刷标题、多媒体回放组件、自定义窗体控件和动态绘......一起来看看 《JavaScript RIA开发实战》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

随机密码生成器
随机密码生成器

多种字符组合密码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具