历史数据清理方法及装置制造方法及图纸

本发明专利技术公开了一种历史数据清理方法及装置，其中，该历史数据清理方法包括：根据预设系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据清理策略配置文件生成至少一个清理任务；根据历史任务处理时间计算每个清理任务的预计处理时间；按照预计处理时间，将待分配任务队列中的至少一个清理任务分配给空闲的清理单元，其中，清理单元对清理任务进行处理，并在每个清理任务处理完毕后输出处理状态；根据处理状态判断处理是否成功，若失败，将处理失败的清理任务的状态改为待分配，放入待分配任务队列，等待重新进行分配。利用配置文件，可以在各系统中复用，降低系统开发和维护成本；支持多进程并发处理，提高数据清理的效率。

【技术实现步骤摘要】
历史数据清理方法及装置
本专利技术涉及数据清理
，尤其涉及一种历史数据清理方法及装置。
技术介绍
在很多领域的应用系统数据库中，每日都会新增大量数据，数据库的存量数据呈现持续增长的状态。随着数据量的上升，如果不能有效地控制在线数据规模，将影响生产数据访问效率、及应用系统运行的整体效率。因此，需定期扫描应用数据，将超过一定保存时间、不再具有使用价值的数据进行删除。对于历史数据的清理，目前主要方法如下：建配置文件，逐一扫描配置文件中的记录，对相应的数据库中的表的数据进行删除。该方法存在以下弊端：(1)这种方式仅适用于最简单的数据迁移清理场景，可扩展性差、无法在各系统中直接复用；(2)对于表结构等环境的要求较高，无法自动调整迁移清理策略；(3)不支持并发处理，在多表大数据量的情况下效率无法满足。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术提供了一种历史数据清理方法及装置，以至少解决现有技术中的历史数据清理方法无法在各系统中直接复用、不支持并发处理的问题。根据本专利技术的一个方面，提供了一种历史数据清理方法，包括：根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；根据历史任务处理时间，计算每个清理任务的预计处理时间；按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，其中，所述清理单元依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；根据所述任务处理状态判断处理是否成功，如果失败，则将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配。在一个实施例中，在根据预设的系统启动时间自动启动历史数据清理流程之前，所述方法还包括：根据用户输入的信息生成系统配置文件和所述清理策略配置文件，并存储所述系统配置文件和所述清理策略配置文件；其中，所述系统配置文件包括：系统启动时间和重复清理次数；所述清理策略配置文件包括：数据库用户名、表名、清理频率、字段名、清理条件、是否需要备份和备份模式。在一个实施例中，按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，包括：检测所述待分配任务队列中是否存在待分配的清理任务；如果存在待分配的清理任务，检测是否存在空闲的清理单元，如果存在空闲的清理单元，则按照所述待分配的清理任务对应的预计处理时间，将所述待分配的清理任务分配给空闲的清理单元；如果不存在空闲的清理单元，则继续检测是否存在空闲的清理单元，直到所述待分配任务队列中所有清理任务的状态都是已分配；如果不存在待分配的清理任务，则继续检测所述待分配任务队列中是否存在待分配的清理任务，直到所述待分配任务队列中所有清理任务的状态都是已完成。在一个实施例中，在按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元之前，所述方法还包括：判断待分配的清理任务是否需要备份；如果需要备份，则生成与所述待分配的清理任务对应的备份任务，并按照所述待分配的清理任务对应的预计处理时间，将所述备份任务分配给空闲的备份单元；如果不需要备份或者备份完毕，则按照所述待分配的清理任务对应的预计处理时间，将所述待分配的清理任务分配给空闲的清理单元。在一个实施例中，在将所述备份任务分配给空闲的备份单元之前，所述方法还包括：检测是否存在空闲的备份单元；如果存在空闲的备份单元，则按照所述待分配的清理任务对应的预计处理时间，将所述备份任务分配给空闲的备份单元；如果不存在空闲的备份单元，则继续检测是否存在空闲的备份单元，直到所述待分配任务队列中所有备份任务的状态都是已分配。在一个实施例中，在将所述备份任务分配给空闲的备份单元之后，所述方法还包括：所述备份单元从所述备份任务中获取备份参数信息，其中，所述备份参数信息包括：数据库用户名、表名、字段名、清理条件和备份模式；所述备份单元根据所述清理条件确定需要备份的数据范围；所述备份单元根据所述数据范围和所述备份模式生成备份文件。在一个实施例中，所述清理单元依次对分配给自身的清理任务进行处理，包括：所述清理单元从所述清理任务中获取清理参数信息，其中，所述清理参数信息包括：数据库用户名、表名、清理频率、字段名、清理条件；所述清理单元结合清理数据量、全量数据量、预计处理时间和表结构，确定清理模式以及是否需要对表结构进行分区处理，其中，所述清理模式包括以下至少之一：删除模式、截断模式；所述清理单元根据所述清理模式和分区处理结果对所述清理任务进行清理。在一个实施例中，将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配，包括：按照所述系统配置文件中的重复清理次数对处理失败的清理任务进行重新分配，如果在所述重复清理次数内仍处理失败，则输出告警信息。根据本专利技术的另一个方面，提供了一种历史数据清理装置，包括：任务生成单元，用于根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；计算单元，用于根据历史任务处理时间，计算每个清理任务的预计处理时间；清理任务分配单元，用于按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元；清理单元，用于依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；判断单元，用于根据所述任务处理状态判断处理是否成功；处理单元，用于在处理失败的情况下，将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配。在一个实施例中，所述装置还包括：配置文件生成单元，用于根据用户输入的信息生成系统配置文件和所述清理策略配置文件；存储单元，用于存储所述系统配置文件和所述清理策略配置文件；其中，所述系统配置文件包括：系统启动时间和重复清理次数；所述清理策略配置文件包括：数据库用户名、表名、清理频率、字段名、清理条件、是否需要备份和备份模式。通过本专利技术的历史数据清理方法及装置，采用配置文件的形式，可根据各系统不同的需求定制合适的清理方案，从而可以在各系统中复用，降低系统开发和维护成本；支持多进程并发处理，按照预估的处理时间进行任务的平均分配，可以平衡各处理单元的资源利用，提高数据清理的效率；支持自动定时、定频进行数据清理，避免了人工干预带来的风险；实时监控任务处理状态，以保证数据不被少删。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的限定。在附图中：图1是本专利技术实施例的历史数据清理方法的流程图；图2是本专利技术实施例的历史数据清理装置的结构框图一；图3是本专利技术实施例的历史数据清理装置的结构框图二；图4是本专利技术实施例的历史数据清理装置的结构示意图；图5是本专利技术实施例的启动及任务生成单元的结构示意图；图6是本专利技术实施例的清理策略配置及存储单元的结构示意图；图7是本专利技术实施例的任务分配单元的结构示意图；图8是本专利技术实施例的任务分配的流程图；图9是本专利技术实施例的备份任务处理单元的结构示意图；图10是本专利技术实施例的清理任务处理单元的结构示意图；图11是本专利技术实本文档来自技高网...

【技术保护点】
一种历史数据清理方法，其特征在于，包括：根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；根据历史任务处理时间，计算每个清理任务的预计处理时间；按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，其中，所述清理单元依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；根据所述任务处理状态判断处理是否成功，如果失败，则将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配。

【技术特征摘要】
1.一种历史数据清理方法，其特征在于，包括：根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；根据历史任务处理时间，计算每个清理任务的预计处理时间；按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，其中，所述清理单元依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；根据所述任务处理状态判断处理是否成功，如果失败，则将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配；在根据预设的系统启动时间自动启动历史数据清理流程之前，所述方法还包括：根据用户输入的信息生成系统配置文件和所述清理策略配置文件，并存储所述系统配置文件和所述清理策略配置文件；其中，所述系统配置文件包括：系统启动时间和重复清理次数；所述清理策略配置文件包括：数据库用户名、表名、清理频率、字段名、清理条件、是否需要备份和备份模式；所述清理单元依次对分配给自身的清理任务进行处理，包括：所述清理单元从所述清理任务中获取清理参数信息，其中，所述清理参数信息包括：数据库用户名、表名、清理频率、字段名、清理条件；所述清理单元结合清理数据量、全量数据量、预计处理时间和表结构，确定清理模式以及是否需要对表结构进行分区处理，其中，所述清理模式包括以下至少之一：删除模式、截断模式；所述清理单元根据所述清理模式和分区处理结果对所述清理任务进行清理。2.根据权利要求1所述的方法，其特征在于，按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，包括：检测所述待分配任务队列中是否存在待分配的清理任务；如果存在待分配的清理任务，检测是否存在空闲的清理单元，如果存在空闲的清理单元，则按照所述待分配的清理任务对应的预计处理时间，将所述待分配的清理任务分配给空闲的清理单元；如果不存在空闲的清理单元，则继续检测是否存在空闲的清理单元，直到所述待分配任务队列中所有清理任务的状态都是已分配；如果不存在待分配的清理任务，则继续检测所述待分配任务队列中是否存在待分配的清理任务，直到所述待分配任务队列中所有清理任务的状态都是已完成。3.根据权利要求1至2中任一项所述的方法，其特征在于，在按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元之前，所述方法还包括：判断待分配的清理任务是否需要备份；如果需要备份，则生成与所述待分配的清理任务对应的备份任务，并按照所述待分配的清理任务对应的预计处理时间，将所述备份任务分配给空闲的备份单元；如果不需要备份或者备份完毕，则按照所述待分配的清理任务...

【专利技术属性】
技术研发人员：陈霞，陆登，刘姗姗，王斑，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11