您的位置：首页 > 数据库 > mysql  >  MySQL 线上数据库清理数据的方法

MySQL 线上数据库清理数据的方法

 更新时间：2021年3月30日 15:00  点击：1650

01 场景分析

 今天下午，开发的同事提来一个需求，需要在线上要删除一些数据记录，简单看了看数据的分布，大概是要删除数据表中的两千七百多万条记录，数据表的总记录是两千八百多万，也就是说，要删除的记录占了总记录的绝大部分比重，两千七百多万的数据记录，要是删除的话，使用的时间是相当长的，对线上的业务肯定会造成影响。这里将实际的应用案例简单重构为以下方法：

mysql> select date,count(*) from test.tbl_a  group by date;
+----------+----------+
|   date | count(*) |
+----------+----------+
| |  63103 |
| 20190118 | |
| |  125916 |
| 20190120 |   |
| |  129198 |
| 20190122 |  |
| | 5191247 |
+----------+----------+
 rows in set (13.21 sec)

上面就是重构之后的表的结构，我们可以看到，test数据库中的表tbl_b按照date分组之后，每个组的数据量都不小，而我们的需求是将date为20190118和20190123的记录删除，可以看到这两种记录总计有两千多万条，占了表中数据的绝大部分，如果直接删除的话，线上的业务肯定会受到阻塞。

以下是操作方法，需要注意的是，应用下面的操作方法的前提是：

要删除的数据占了数据表中的绝大部分。

02 操作办法

 通过分析，知道剩余的表数据对于全表来说是很小的一部分，这个操作我们分为4步：

1.我们先把剩余的数据存入到另外一个数据库test1中：

create table test1.tbl_b_new as 
select * from test.tbl_b 
where date in(,,,,);

这个操作的时间只有3s左右；

2.我们在test1数据库中创建一个同名的表tbl_b,它的结构和test数据库中的tbl_b数据结构一致：

create table test1.tbl_b like test.tbl_b;

3.紧接着，我们使用数据库中的rename操作将表test中的表tbl_b和test1中的表tbl_b进行交换，等价于将test数据库中的表所有数据清除。

RENAME TABLE test.tbl_b  TO test1.tbl_b_bak,
         test1.tbl_b  TO test.tbl_b,
         test1.tbl_b_bak TO test1.tbl_b;

4.再讲第一步保存的剩余数据填充到新表中来，如下：

insert into test.tbl_b select * from  test1.tbl_b_new;

03 结果分析

 看上去我们好像把问题搞复杂了，直接删除的事情，被我们搞的多了好几个步骤，但是实际上不是这样的，这一套操作可以帮我们节省好几分钟时间，对线上业务的影响也更小，原因如下：

  1. 我们使用create table as的方法创建剩余的数据表，这种方法使我们仅对数据表中的少部分数据进行了操作。避免了我们对过多的数据进行扫描。
  2. mysql中对大表进行rename的操作，rename命令会直接修改底层的.frm文件，所以它的速度是相当之快的。

   第二个特点给我们提供了一种思路，在一个很着急的业务中，要使用一个表的时候，往往不给我们留充足的时间备份表，如果我们想要删除一个大表里面的数据，而且需要进行相关备份，我们可以通过rename操作迅速处理，然后再想办法去备份rename之后的表。

    上面的例子中使用create table as 和create table like两种克隆表的方式，有几点需要注意：

create table like方式会完整地克隆表结构，但不会插入数据，需要单独使用insert into或load data方式加载数据
create table as  方式会部分克隆表结构，完整保留数据

    如果有兴趣，可以做做试验进行验证。

以上就是MySQL 线上数据库清理数据的方法的详细内容，更多关于MySQL 线上数据库清理数据的资料请关注猪先飞其它相关文章！

[!--infotagslink--]

相关文章

  • PHP 数据库缓存Memcache操作类

    操作类就是把一些常用的一系列的数据库或相关操作写在一个类中，这样调用时我们只要调用类文件，如果要执行相关操作就直接调用类文件中的方法函数就可以实现了，下面整理了...2016-11-25

  • C#连接SQL数据库和查询数据功能的操作技巧

    本文给大家分享C#连接SQL数据库和查询数据功能的操作技巧，本文通过图文并茂的形式给大家介绍的非常详细，需要的朋友参考下吧...2021-05-17

  • MySQL性能监控软件Nagios的安装及配置教程

    这篇文章主要介绍了MySQL性能监控软件Nagios的安装及配置教程,这里以CentOS操作系统为环境进行演示,需要的朋友可以参考下...2015-12-14

  • C#从数据库读取图片并保存的两种方法

    这篇文章主要介绍了C#从数据库读取图片并保存的方法，帮助大家更好的理解和使用c#，感兴趣的朋友可以了解下...2021-01-16

  • 详解如何清理redis集群的所有数据

    这篇文章主要介绍了详解如何清理redis集群的所有数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-18

  • Intellij IDEA连接Navicat数据库的方法

    这篇文章主要介绍了Intellij IDEA连接Navicat数据库的方法,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借价值，需要的朋友可以参考下...2021-03-25

  • 在数据库里将毫秒转换成date格式的方法

    在开发过程中，我们经常会将日期时间的毫秒数存放到数据库，但是它对应的时间看起来就十分不方便，我们可以使用一些函数将毫秒转换成date格式。 一、 在MySQL中，有内置的函数from_unixtime()来做相应的转换，使用如下： 复制...2014-05-31

  • 详解Mysql中的JSON系列操作函数

    新版 Mysql 中加入了对 JSON Document 的支持，可以创建 JSON 类型的字段，并有一套函数支持对JSON的查询、修改等操作，下面就实际体验一下...2016-08-23

  • C#操作本地文件及保存文件到数据库的基本方法总结

    C#使用System.IO中的文件操作方法在Windows系统中处理本地文件相当顺手,这里我们还总结了在Oracle中保存文件的方法,嗯,接下来就来看看整理的C#操作本地文件及保存文件到数据库的基本方法总结...2020-06-25

  • 如何解决局域网内mysql数据库连接慢

    通过内网连另外一台机器的mysql服务， 确发现速度N慢！ 等了大约几十秒才等到提示输入密码。 但是ping mysql所在服务器却很快！ 想到很久之前有过类似的经验， telnet等一些服务在连接请求的时候，会做一些反向域名解析（如果...2015-10-21

  • MySQL快速复制数据库数据表的方法

    某些时候，例如为了搭建一个测试环境，或者克隆一个网站，需要复制一个已存在的mysql数据库。使用以下方法，可以非常简单地实现。假设已经存在的数据库名字叫db1，想要复制一份，命名为newdb。步骤如下：1. 首先创建新的数据库newd...2015-10-21

  • mysqldump命令导入导出数据库方法与实例汇总

    mysqldump命令的用法1、导出所有库系统命令行mysqldump -uusername -ppassword --all-databases > all.sql 2、导入所有库mysql命令行mysql>source all.sql; 3、导出某些库系统命令行mysqldump -uusername -ppassword...2015-10-21

  • 深入研究mysql中的varchar和limit(容易被忽略的知识)

    为什么标题要起这个名字呢？commen sence指的是那些大家都应该知道的事情，但往往大家又会会略这些东西，或者对这些东西一知半解，今天我总结下自己在mysql中遇到的一些commen sense类型的问题。　...2015-03-15

  • Mysql数据库错误代码中文详细说明

    1005：创建表失败1006：创建数据库失败1007：数据库已存在，创建数据库失败1008：数据库不存在，删除数据库失败1009：不能删除数据库文件导致删除数据库失败1010：不能删除数据目录导致删除数据库失败1011：删除数据库...2013-09-23

  • MySQL 字符串拆分操作(含分隔符的字符串截取)

    这篇文章主要介绍了MySQL 字符串拆分操作(含分隔符的字符串截取)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-22

  • mysql的3种分表方案

    一、先说一下为什么要分表：当一张的数据达到几百万时，你查询一次所花的时间会变多，如果有联合查询的话，有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。根据个人经验，mysql执行一个sql的过程如下：1...2014-05-31

  • c#异步读取数据库与异步更新ui的代码实现

    这篇文章主要介绍了c#从数据库里取得数据并异步更新ui的方法，大家参考使用吧...2020-06-25

  • Windows服务器MySQL中文乱码的解决方法

    我们自己鼓捣mysql时，总免不了会遇到这个问题：插入中文字符出现乱码，虽然这是运维先给配好的环境，但是在自己机子上玩的时候咧，总得知道个一二吧，不然以后如何优雅的吹牛B。...2015-03-15

  • Yii2.0高级框架数据库增删改查的一些操作

    yii2.0框架是PHP开发的一个比较高效率的框架，集合了作者的大量心血，下面通过用户为例给大家详解yii2使用中的一些基本的增删改查操作。 User::find()->all(); //返回所有用户数据； User::findOne($id); //返回 主键...2015-11-24

  • 用VirtualBox构建MySQL测试环境

    宿主机使用网线的时候，客户机在Bridged Adapter模式下，使用Atheros AR8131 PCI-E Gigabit Ethernet Controller上网没问题。 宿主机使用无线的时候，客户机在Bridged Adapter模式下，使用可选项里唯一一个WIFI选项，Microsoft Virtual Wifi Miniport Adapter也无法上网，故弃之。...2013-09-19