一种实现生命周期表垃圾数据免维护的方法技术

本发明专利技术提供了一种实现生命周期表垃圾数据免维护的方法，将数据存入预先建立的生命周期表，生命周期表由远到近期划分多个连续的时间段，依次为P1、P2、P3，每存入新数据，表内历史数据进行一次流转，流转步骤为：对生命周期表加锁；清除P2分区中垃圾数据，将P3中最先存入的部分数据向P2中拷贝，并作为P2中最新数据存放；清除P1分区中垃圾数据，将P2中最先存入的部分数据向P1中拷贝,并作为P1中最新数据存放；更新生命周期表的内部系统时间；删除P3中已被拷贝到P2的数据；删除P2中已被拷贝到P1的数据；解锁。本发明专利技术所述的生命周期表用分区边界来控制数据可见性和可查询性，采用先拷贝再删除的方式，即不产生任何额外的成本，效率高，流转可靠。流转可靠。流转可靠。

【技术实现步骤摘要】
一种实现生命周期表垃圾数据免维护的方法


[0001]本专利技术属于数据库领域，尤其是涉及一种实现生命周期表垃圾数据免维护的方法。

技术介绍

[0002]生命周期表，顾名思义就是在时间轴的方向通过分区技术拆分并管理数据的一种方法。主要是为了使具有相同或相似属性的数据存放于一处（同一分区），这样在数据处理的时候操作会比较方便和独立。同时，为每个分区赋予时间生命，并有条件地允许不同分区间生命周期的转换，从而实现完整数据生命周期的管理和使用。但是，在数据在分区间单向流转（从新到旧的方向）的时候，由于使用中各种因素的叠加所造成的复杂性（如网络，业务繁忙程度等等），让系统设计者将会面临需要决定某些数据在当前分区有效性的问题，即是否为垃圾数据。如果对垃圾数据处理不好，后果就会或影响性能或造成结果错误的严重问题。因此，针对这种背景衍生出本专利技术的内容。

技术实现思路

[0003]有鉴于此，本专利技术旨在提出一种实现生命周期表垃圾数据免维护的方法，以解决传统方法中在使用数据或者插入数据的时候对数据进行有效性判断，造成对性能影响较大的问题，以及数据流转的过程中因数据繁忙出错，垃圾数据没有及时处理造成的数据对应分区失效的问题。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：一种实现生命周期表垃圾数据免维护的方法，将数据存入预先建立的生命周期表，所述生命周期表由远期到近期依次划分M个连续的时间段，生命周期表中每存入一次新数据时进行一次流转；流转方法为将第N个时间段中历史留存的垃圾数据清除后，将第N个时间段中的历史数据向第N
‑
1个时间段中进行拷贝，然后待生命周期表中内部系统时间更新后，将被拷贝的数据从第N个时间段中删除,其中，M≥N≥2；除最远期端和最近期端，每个时间段两端的时刻值均由内部系统时间控制更新；在所有需要拷贝的时间段均向前一个时间段拷贝完成后,生命周期表的内部系统时间进行更新。
[0005]进一步的，所述生命周期表由远期到近期依次划分M个连续的时间段为三个连续的时间段，依次为冷数据段P1、温数据段P2、热数据段P3，每当向生命周期表中存入新数据，生命周期表内历史数据进行一次流转，所述流转具体步骤为：S1、对生命周期表加锁；S2、清除P2分区中历史留存的垃圾数据；S3、将热数据段P3中最先存入的部分数据向温数据段P2中拷贝，并作为温数据段
P2中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；S4、清除P1分区中历史留存的垃圾数据；S5、将温数据段P2中最先存入的部分数据向冷数据段P1中拷贝,并作为冷数据段P1中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；S6、更新生命周期表的内部系统时间，所述内部系统时间为记录了生命周期表在上一次成功进行数据流转的时间；S7、删除热数据段P3中已被拷贝到温数据段P2的数据；S8、删除温数据段P2中已被拷贝到冷数据段P1的数据；S9、对生命周期表进行解锁。
[0006]进一步的，预先建立的生命周期表中，所述生命周期表建立具体步骤：定义生命周期表内容，生命周期表内容包括标识段id，姓名段name, 日期段d；指定日期段d为分区字段，对于任意一行数据将会按照日期段d来进行分区存储；定义每个分区的范围,采用“当前日期”为基准线,采用时间差函数date_sub(curdate(), interval n month)进行时间段划分，其中，curdate()为获取生命周期表建表的日期函数，interval n month表示n个月的时间跨度；所述当前日期是建表时的系统时间，采用“当前日期”为基准线是给生命周期表内部时间赋予一个初始值。
[0007]进一步的，定义每个分区的范围分为：热数据段P3定义区间：当前内部系统时间X个月内至无穷新；温数据段P2定义区间：当前内部系统时间Y个月内至当前内部系统时间X个月前；冷数据段P1定义区间：过去无穷远至当前内部系统时间Y个月前；X小于Y。
[0008]进一步的，所述X取值为1，所述Y取值为5。
[0009]进一步的，步骤S3中，热数据段P3中最先存入的部分数据为：P3左边界到当前内部系统时间之间的时间段内记录的数据。
[0010]进一步的，步骤S5中，温数据段P2中最先存入的部分数据为：P2左边界到P2右边界之间的时间段内记录的数据。
[0011]进一步的，步骤S3及步骤S5中所述的准备新一次流转的方法，包括手动流转、自动流转，所述手动流转为手动执行流转指令重新进行一次流转，所述自动流转是将本次需要流转的数据随下一次流转数据一同进行流转。
[0012]进一步的，步骤S6中，更新生命周期表的内部系统时间是将之前的内部系统时间更新为当前操作系统时间。
[0013]进一步的，步骤S1中，对生命周期表加锁，以确保不能进行建表语句DDL操作，不能进行数据操作语句DML操作，能进行查询工作。
[0014]相对于现有技术，本专利技术所述的一种实现生命周期表垃圾数据免维护的方法具有以下有益效果：
（1）本专利技术所述的生命周期表使用内部系统的更新和分区边界来控制数据的访问和强制失效，高效流转数据，同时为保证数据不丢失，采用先拷贝再删除的方式，即不产生任何额外的成本，也保证数据的可靠流转，高效稳定。
[0015]（2）本专利技术所述的一种实现生命周期表垃圾数据免维护的方法增加清除垃圾数据的步骤，若上一次流转出现异常退出，步骤S2、S4对上一次流转异常留下的垃圾数据进行清除，步骤S7、S8对正常流转后出现的垃圾数据进行清理，全流程减少垃圾数据，保证流转过程顺畅整洁。
附图说明
[0016]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例所述一种实现生命周期表垃圾数据免维护的方法的流程图；图2为本专利技术实施例所述的未发生数据流转时间分界图；图3为本专利技术实施例所述的数据流转成功后时间分界图。
具体实施方式
[0017]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0018]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0019]在本专利技术的描述中，需要说明的是，除非另本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现生命周期表垃圾数据免维护的方法，其特征在于：将数据存入预先建立的生命周期表，所述生命周期表由远期到近期依次划分M个连续的时间段，生命周期表中每存入一次新数据时进行一次流转；流转方法为将第N个时间段中历史留存的垃圾数据清除后，将第N个时间段中的历史数据向第N
‑
1个时间段中进行拷贝，然后待生命周期表中内部系统时间更新后，将被拷贝的数据从第N个时间段中删除,其中，M≥N≥2；除最远期端和最近期端，每个时间段两端的时刻值均由内部系统时间控制更新；在所有需要拷贝的时间段均向前一个时间段拷贝完成后,生命周期表的内部系统时间进行更新。2.根据权利要求1所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：所述生命周期表由远期到近期依次划分M个连续的时间段为三个连续的时间段，依次为冷数据段P1、温数据段P2、热数据段P3，每当向生命周期表中存入新数据，生命周期表内历史数据进行一次流转，所述流转具体步骤为：S1、对生命周期表加锁；S2、清除P2分区中历史留存的垃圾数据；S3、将热数据段P3中最先存入的部分数据向温数据段P2中拷贝，并作为温数据段P2中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；S4、清除P1分区中历史留存的垃圾数据；S5、将温数据段P2中最先存入的部分数据向冷数据段P1中拷贝,并作为冷数据段P1中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；S6、更新生命周期表的内部系统时间，所述内部系统时间为记录了生命周期表在上一次成功进行数据流转的时间；S7、删除热数据段P3中已被拷贝到温数据段P2的数据；S8、删除温数据段P2中已被拷贝到冷数据段P1的数据；S9、对生命周期表进行解锁。3.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：预先建立的生命周期表中，所述生命周期表建立具体步骤：定义生命周期表内容，生命周期表内容包括标识段id，姓名段name, 日期段d；指定日期段d为分区字段，对于任意一行数据将会按照日期...

【专利技术属性】
技术研发人员：赵伟，崔杰，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：