MySQL 进行 Replace 操作时造成数据丢失——那些坑你踩了吗?

栏目: 数据库 · Mysql · 发布时间: 6年前

内容简介:公司开发人员在更新数据时使用了 replace into 语句,由于使用不当导致了数据的大量丢失,到底是如何导致的数据丢失?

一、问题说明

公司开发人员在更新数据时使用了 replace into 语句,由于使用不当导致了数据的大量丢失,到底是如何导致的数据丢失?现分析如下。

二、问题分析

a. REPLACE 原理

REPLACE INTO 原理的官方解释为:

REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.

如果新插入行的主键或唯一键在表中已经存在,则会删除原有记录并插入新行;如果在表中不存在,则直接插入

地址:https://dev.mysql.com/doc/refman/5.6/en/replace.html

b. 问题现象

丢失数据的表结构如下:

执行的replace语句如下(多条):

通过查询binlog找到执行记录,部分如下:

  • 操作的ad_id已经存在,因此先删除后插入,可以看到除了指定的 ad_id,score,其他字段都变为默认值,导致原有数据丢失(虽然在日志中转为了update)

c. 对比测试

接下来我进行了如下测试:

MySQL 进行 Replace 操作时造成数据丢失——那些坑你踩了吗?

  • 左侧使用 REPLACE 语句,右侧使用 DELETE + INSERT 语句,最后结果完全相同
  • 原主键id为1的行被删除,新插入行主键id更新为4,没有指定内容的字段c则插入了默认值
  • 使用 REPLACE 更新了一行数据,MySQL提示受影响行数为2行
  • 综上所述,说明确实是删除一行,插入一行

三、数据恢复

数据丢失或数据错误后,可以有如下几种方式恢复:

  1. 业务方自己写脚本恢复
  2. 通过 MySQL 的binlog查出误操作sql,生成反向 sql 进行数据恢复(适合sql数据量较小的情况)
  3. 通过历史备份文件+增量binlog将数据状态恢复到误操作的前一刻

四、问题扩展

通过上述分析可以发现,REPLACE 会删除旧行并插入新行,但是binlog中是以update形式记录,这样就带来另一个问题:

从库自增长值小于主库

1. 测试

a. 主从一致:

b. 主库REPLACE:

  • 注意此时主从两个表的AUTO_INCREMENT值已经不同了

c. 模拟从升主,在从库进行INSERT:

  • 从库插入时会报错,主键重复,报错后AUTO_INCREMENT会 +1,因此再次执行就可以成功插入

2. 结论

这个问题在平时不会有丝毫影响,但是:

如果主库平时大量使用 REPLACE 语句,造成从库 AUTO_INCREMENT 值落后主库太大,当主从发生切换后,再次插入数据时新的主库就会出现大量主键重复报错,导致数据无法插入。

3. 参考文章

http://www.cnblogs.com/monian/archive/2014/10/09/4013784.html


以上所述就是小编给大家介绍的《MySQL 进行 Replace 操作时造成数据丢失——那些坑你踩了吗?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

图解服务器端网络架构

图解服务器端网络架构

[日] 宫田宽士 / 曾薇薇 / 人民邮电出版社 / 2015-4 / 79.00元

本书以图配文,详细说明了服务器端网络架构的基础技术和设计要点。基础设计是服务器端网络架构最重要的一个阶段。本书就立足于基础设计的设计细分项目,详细介绍各细分项目的相关技术和设计要点。全书共分为5章,分别讲述进行物理设计、逻辑设计、安全设计和负载均衡设计、高可用性设计以及管理设计时所必需的技术和设计要点。一起来看看 《图解服务器端网络架构》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

SHA 加密
SHA 加密

SHA 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器