大数据量删除算法

Posted on 2010-11-20 11:02  刚说  阅读(676)  评论()    收藏  举报

开门见山，直接进入主题，数据量在百万级已下，可以不看下边内容。

起因：

　　某客户今年上了U9不久，随着业务量的增加，每日业务达2000多单据。由于客户操作业务有误，把业务做到了2018年底，之后才发现输入有误。在U9系统中，为了报表或是查询数据方便，随着业务的增减会按期间自动产生一些统计数据（至少18*12个期间的数据）两千万条数据，经过分析，客户不存在提前做业务场景，这些数据在系统中也就成了冗余数据，这数据占正常业务数据的90%。而随着业务的发生，自动按期间往后去更新各期间数据，每次更新的时候，数据库会自动优化锁，由行锁升级成页锁，再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作，系统无法运行。这样就引出了，要删除这90%多的数据问题。

抽象：

　　删除数据本应该是一个再简单不过的操作，在SQL中，我们可以用如下脚本：

Delete From AA Where Period>100

 　其实，应该区分应用场景

• 　　如果需要删除的数据占全部数据的80%以上，而且数据量在百万级以上，那么就得考虑删除效率问题了。
  • 先把可用数据迁移到其它地方，如：

    代码

    If OBJECT_ID('InvTrans_AccountPeriodLine_Temp') is not null
        Drop Table InvTrans_AccountPeriodLine_Temp
    Select * into InvTrans_AccountPeriodLine_Temp  From InvTrans_AccountPeriodLine  Where AccountPeriod<=@AccountPeriod

  • 然后，删除原表所有数据：

    Truncate table InvTrans_AccountPeriodLine

  • 最后，把刚才迁移的数据迁移回来：

    Insert Into InvTrans_AccountPeriodLineBin Select * From InvTrans_AccountPeriodLineBin_Temp

• 如果数据量小的话，那么直接用Delete 脚本就可以搞定。

以上，是一点点建议，是否还有更合理的算法。