记一次MySql的数据拆分

栏目: 数据库 · 发布时间: 5年前

内容简介:早上上班的时候,查询数据突然发现比较慢,于是去查看数据库,结果发现表数据已经达到了千万级别,于是就准备拆分一下数据表.由于数据表 table_one 数据非常庞大,并且线上业务也在不定时的往表里写入数据,所以这里不会考虑数据迁移.这里采用的方式为数据分类: 历史冷数据 和 近期热数据 .

前言

早上上班的时候,查询数据突然发现比较慢,于是去查看数据库,结果发现表数据已经达到了千万级别,于是就准备拆分一下数据表.

思路

由于数据表 table_one 数据非常庞大,并且线上业务也在不定时的往表里写入数据,所以这里不会考虑数据迁移.

这里采用的方式为数据分类: 历史冷数据 和 近期热数据 .

通过一定的业务条件将 table_one 中的数据进行分类 ,最终形成的分类比例为 10(历史) : 1(近期) ,或者历史冷数据更大.

步骤

  1. 改表名: 修改原数据表名 table_one 改为 table_old ,即使 table_one 中的数据非常庞大,但是改表也是毫秒级的.
  2. 创建新表: 重新创建一张新表 table_one , 如果线上业务有数据处理,它也会进入到新表中.这里的 AUTO_INCREMENT 设置为 10005000 预留了 5000 容错数据 .
  3. 批量新增: 根据数据分类的条件 (这里是 type = 1) ,将 近期热数据 写入到 table_one 中 .这里值得注意的是,查询新增的数据不能大于 MySQL 的最大内存值.(数据大约为 500万条),否则会出现 Out of memory .
  4. 检测 table_old 中符合条件的最大ID,是否在 table_one 中
  5. 如果没有数据,则根据 table_old 和 table_one 中的 id 差集 ,新增没有的数据

实现

-- 1.改表名
ALTER TABLE `table_one` RENAME TO `table_old`;

-- 2.创建新表 table_one , AUTO_INCREMENT 扩大一定的范围
CREATE TABLE `table_one` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',
`type` tinyint(2) unsigned NOT NULL DEFAULT '0' COMMENT '类型',
PRIMARY KEY (`id`),
KEY `type` (`type`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=10005000 DEFAULT CHARSET=utf8 COMMENT='原始表';

-- 3.批量新增
INSERT INTO `talbe_one` (`id`,`name`,`type`)
SELECT * FROM `table_old` WHERE type = 1 ;

-- 4.检测 table_old 中符合条件的最大ID,是否在 table_one 中
SELECT * FROM `table_one` WHERE id = (
SELECT MAX(id)  FROM `table_old` WHERE type = 1
)

-- 5.如果没有数据,则根据 table_old 和 table_one 中的 id 差集 ,新增没有的数据

Tips : 数据拆分的方式有很多,具体还是要看自己的业务数据和业务场景 !


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

程序员之禅

程序员之禅

[德] Christian Grobmeier / 荣耀、朱艳 / 人民邮电出版社 / 2015-8 / 39.00元

禅是一种生活态度和生活方式。程序员是一份特别辛苦的职业,也是一个承受各种压力的群体。在物欲横流的今天,禅对于程序员有着特殊的意义和价值。 本书的作者是一名德国程序员老兵,深谙程序员的喜怒哀乐。他曾经发表了一篇题为“程序员之禅的十条法则”的博客文章,引发众多程序员热烈的讨论和强烈的共鸣。本书共10章,结合程序员日常生活和工作的方方面面,作者通过对禅的知识、理解、体验、思考和感悟,提出很多中肯的......一起来看看 《程序员之禅》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具