MySQL数据清理的需求分析和改进
我要评论
昨天帮一个朋友看了MySQL数据清理的据清进问题，感觉比较有意思，需求具体的分析实施这位朋友还在做，已经差不多了，和改我就发出来大家一起参考借鉴下。据清进
为了保证信息的需求敏感，里面的分析问题描述可能和真实情况不符，但是和改问题的处理方式是真实的。
首先这位朋友在昨天下午反馈说他有一个表大小是据清进近600G,现在需要清理数据，只保留近几个月的需求数据。按照这个量级，分析我发现这个问题应该不是和改很好解决，得非常谨慎才对。据清进如果是需求通用的思路和方法，我建议是分析使用冷热数据分离的方式。大体有下面的几类玩法：
exchange partition，这是亮点的IT技术网特性，可以把分区数据和表数据交换，效率还不错。
rename table，这是MySQL归档数据的一大利器，在其他商业数据库里很难实现。
但是为了保险起见，我说还是得看看表结构再说。结果看到表结构，我发现这个问题和我预想的完全不一样。
这个表的ibd文件大概是600G,不是分区表，InnoDB存储引擎。字段看起来也不多。需要根据时间字段update_time抽取时间字段来删除数据。
我看了下这个表结构，字段不多，除了索引的设计上有些冗余外，直接看不到其他的问题，但是根据数据的存储情况来看，我发现这个问题有些奇怪。不知道大家发现问题没有。b2b信息网
这个表的主键是基于字段id，而且是主键自增，这样来看，如果要存储600G的数据，表里的数据量至少得是亿级别。但是大家再仔细看看自增列的值，会发现只有150万左右。这个差别也实在太大了。
为了进一步验证，我让朋友查询一下这个表的数据量，早上的时候他发给了我***的数据，一看更加验证了我的猜想。
mysql> select max(Id) from test_data; +---------+ | max(Id) | +---------+ | 1603474 | +---------+ 1 row in set (0.00 sec)现在的问题很明确，表里的数据不到200万，但是占用的空间近600G，这个存储比例也实在太高了，或者说碎片也实在太多了吧。企商汇
按照这个思路来想，自己还有些成就感，发现这么大的一个问题症结，如果数据没有特别的存储，200万的数据其实也不算大，清理起来还是很容易的。
朋友听了下觉得也有道理，从安全的角度来说，只是需要注意一些技巧而已，但是没过多久，他给我反馈，说表里的数据除过碎片，大概也有100多G，可能还有更多。这个问题和我之前的分析还是有一些冲突的。至少差别没有这么大。200万的数据量，基本就在1G以内。但是这里却是100多个G,远远超出我的预期。
mysql> select round(sum(data_length+index_length)/1024/1024) as total_mb, -> round(sum(data_length)/1024/1024) as data_mb, -> round(sum(index_length)/1024/1024) as index_mb -> from information_schema.tables where table_name=hl_base_data; +----------+---------+----------+ | total_mb | data_mb | index_mb | +----------+---------+----------+ | 139202 | 139156 | 47 | +----------+---------+----------+ 1 row in set (0.00 sec)这个问题接下来该怎么解释呢。我给这位朋友说，作为DBA，不光要对物理的操作要熟练，还要对数据需要保持敏感。
怎么理解呢，update_time没有索引，id是主键，我们完全可以估算数据的变化情况。
怎么估算呢，如果大家观察仔细，会发现两次提供的信息相差近半天，自增利的值相差是大概4000左右。一天的数据变化基本是1万。
现在距离10月1日已经有24天了，就可以直接估算出数据大概是在1363474附近。
mysql> select current_date-20171001; +-------------------------+ | current_date-20171001 | +-------------------------+ | 24 | +-------------------------+ 1 row in set (0.00 sec)按照这个思路，我提供了语句给朋友，他一检查,和我初步的估算值差不了太多。
mysql> select id , create_time ,update_time from test_data where id=1363474; +---------+---------------------+---------------------+ | id | create_time | update_time | +---------+---------------------+---------------------+ | 1363474 | 2017-09-29 10:37:29 | 2017-09-29 10:37:29 | +---------+---------------------+---------------------+ 1 row in set (0.07 sec)简单调整一下，就可以完全按照id来过滤数据来删除数据了，这个过程还是建议做到批量的删除，小步快进 。
前提还是做好备份，然后慢慢自动化完成。
相关文章
掌握uptool教程，轻松应对工具操作（提升效率的关键工具，uptool简易教程）
摘要：在数字化时代，我们离不开各种工具来提高工作效率和解决问题。其中，uptool是一款功能强大且易于使用的工具，能够帮助我们快速处理各种任务。本文将为您介绍uptool的基本操作和使用...2025-11-05
本文转载自微信公众号「JeffckyShare」，作者Jeffcky 。转载本文请联系JeffckyShare公众号。下面我们结合如下两个异常信息进行大致排查分析，到底什么时候会抛出这两个异常信息呢?2025-11-05
线上发生事故了前天晚上上线一波，发生了一个挺有意思的事，昨天复盘了一下，今天分享一下。晚上的时候，我负责的系统和收银系统同时上线一波(用的是Dubbo)。然后很神奇的事情发生了，收银系统用@Refer2025-11-05
想了解更多内容，请访问：和华为官方合作共建的鸿蒙技术社区https://harmonyos.51cto.com软件定时器(Software Timer)是基于系统Tick时钟中断且由软件来模拟的定时器2025-11-05电脑驱动重装教程（轻松学会电脑驱动重装，解决设备冲突和性能问题）
摘要：现如今，电脑已经成为人们生活和工作中必不可少的工具。但是，随着时间的推移，电脑的驱动程序可能会出现问题，导致设备冲突和性能下降。为了解决这些问题，我们需要学会如何重新安装电脑驱动。...2025-11-05
想了解更多内容，请访问：和华为官方战略合作共建的鸿蒙技术社区https://harmonyos.51cto.com5月25日，EMUI官博正式更名HarmonyOS，分享了鸿蒙开机画面。随后华为终端官2025-11-05
最新评论