银行系统历史数据清理方法及装置制造方法及图纸

本发明专利技术提出了一种银行系统历史数据清理方法及装置，用于清理数据库的数据表的历史数据，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的清理数据索引；根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间，支持需要时从文件恢复文件。通过本发明专利技术的银行系统历史数据清理方法及装置，可实现清理历史数据且保证生产环境系统的高效安全运行，最大程序避免了历史数据清理过程对正常业务应用的影响，降低了数据清理后影响正常生产环境的正常应用的概率。

【技术实现步骤摘要】
银行系统历史数据清理方法及装置
本专利技术涉及银行数据库存储领域，具体涉及一种银行系统历史数据清理方法及装置。
技术介绍
核心银行系统每日都有大量的业务和交易进行，随着时间推移后台数据库业务和交易数据不断增多，在银行系统中各类数据实体生命周期结束后，与之相关的数据不再被处理，但仍保留在系统数据库中，经过长时间的积累占据了大量的存储空间，增加了系统数据处理的压力，影响系统的执行效率，对系统安全运行有隐患。目前常用的历史数据处理方式，包括：不处理，保留在数据库中；直接清理，直接在生产环境上运行批量程序，通过清理条件定位数据表并直接清理；对各表单独建立清理索引文件，分为筛选-清理两阶段清理，但是对于有关联关系的表也单独清理。但是，上述方案都存在以下问题或一部分：不清理历史数据，对于交易量大，数据库数据量增加快的系统，增加数据库的压力，影响系统的运行效率；直接清理方案清理效率低，与联机交易争抢资源(CPU、数据库)较为严重，影响系统的正常应用；各表单独清理，由于不同数据表尤其是关联数据表的清理速度、进度存在差异，会对系统带来数据不一致现象。
技术实现思路
针对现有技术方案中存在的问题，本专利技术提出了一种银行系统历史数据清理方法及装置。目的在于，实现对银行系统的历史数据清理，在保证不影响系统的任何正常应用的前提下，减轻系统压力，保障银行系统执行效率和安全运行。为了达到上述目的，本专利技术提出的银行系统历史数据清理方法，用于清理数据库的数据表的历史数据，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的清理数据索引；根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。进一步的，包括：根据数据库的数据表类型、生命周期和关联关系，分级筛选不同数据表类型的待清理数据，数据表类型包括：主表、关系表、子表、单表；根据不同数据表类型的待清理数据，分别制定数据清理规则。进一步的，包括：根据数据清理规则、关系表，筛选关系表的全部组内关联表中符合数据清理规则的数据与键值；根据数据清理规则、主表、子表、单表，筛选主表、子表、单表的符合数据清理规则的数据与键值；对筛选出的数据与键值合并、去重、打包，确定为待清理的数据表的清理数据索引。进一步的，包括：将当前的数据清理索引与之前的数据清理索引去重并合并，形成更新的数据清理索引；根据更新的数据清理索引记录的键值，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件。进一步的，还包括：当需要恢复已清理数据时，根据备份索引文件、记录在文件中的被清理数据，筛选出待恢复数据并将其恢复至正常生产环境的数据表中。为了达到上述目的，本专利技术提出的银行系统历史数据清理装置，包括：清理规则制定模块，用于根据数据库的数据表的生命周期和关联关系，制定数据清理规则；数据筛选模块，用于根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的清理数据索引；数据清理模块，用于根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；数据备份模块，用于根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。进一步的，包括：数据分级单元，用于根据数据库的数据表类型、生命周期和关联关系，分级筛选不同数据表类型的待清理数据，数据表类型包括：主表、关系表、子表、单表；清理规则制定单元，用于根据不同数据表类型的待清理数据，分别制定数据清理规则。进一步的，包括：关系表筛选单元，用于根据数据清理规则、关系表，筛选关系表的全部组内关联表中符合数据清理规则的数据与键值；非关系表筛选单元，用于根据数据清理规则、主表、子表、单表，筛选主表、子表、单表的符合数据清理规则的数据与键值；清理数据索引确定单元，用于对筛选出的数据与键值合并、去重、打包，确定为待清理的数据表的清理数据索引。进一步的，包括：数据清理索引更新单元，用于将当前的数据清理索引与之前的数据清理索引去重并合并，形成更新的数据清理索引；根据更新的数据清理索引记录的键值，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件。进一步的，还包括：数据恢复模块，用于当需要恢复已清理数据时，根据备份索引文件、记录在文件中的被清理数据，筛选出待恢复数据并将其恢复至正常生产环境的数据表中。本专利技术的有益效果在于，通过本专利技术的银行系统历史数据清理方法及装置，可实现清理历史数据且保证生产环境系统的高效安全运行，最大程序避免了历史数据清理过程对正常业务应用的影响，降低了数据清理后影响正常生产环境的正常应用的概率。并且其复用性好，能极大的降低成本。并保证开发效率和程序的执行效率，且具有错误处理机制，增加COMMTI笔数，并记录断点信息，在进行数据清理时，若出现错误，便于分析数据处理问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的银行系统历史数据清理方法的步骤流程图。图2为本专利技术实施例的银行系统历史数据清理装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域相关技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护的范围。本领域技术技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。根据本专利技术的实施方式，提出了一种银行系统历史数据清理方法及装置，以解决现有技术中历史数据清理方法影响系统运行效率、数据不一致的问题。在本文中，需要理解的是，所涉及的术语中：历史数据：是指在核心银行系统数据库存储的业务数据，当数据实体生命周期已经结束，且不再支持相关业务信息功能时，需要把这部分数据进行清理，这部分被清理的数据称为历史数据。核心银行系统正常生产环境：是指执行系统的所有业务处理环境，包括联机交易环境和批量处理环境。为了方便描述，下文中将该环境称为P1环境。核心银行系统数据同步环境：是指从核心银行系统正常生产环境同步，且对系统的业务数据进行筛选、采集、下传等处理的环境。为了方便描述，下文中将该环境称为P2环境。历史数据清理：对数据库中的历史数据进行删除，并备份删除数据的操作。本专利技术的银行系统历史数据清理方法及装置，通过分析银行系统各数据实体的生命周期和关联关系，明确筛选和清理规则，通过灵活的参数配置，实现对核心银行系统的历史数据清理，并支持被清理数据的恢复，在保证不影响系统的任何正常应用的前提下，减轻系统压力，保障系统执行效率和安全运行。图1为本专利技术实施例的银行系统历史数据清理方法的步骤流程图，如图1所示本文档来自技高网...

【技术保护点】
1.一种银行系统历史数据清理方法，用于清理数据库的数据表的历史数据，其特征在于，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据所述数据清理规则筛选待清理的数据表的数据与键值，确定所述待清理的数据表的清理数据索引；根据所述数据清理索引，清理所述数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据所述备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。

【技术特征摘要】
1.一种银行系统历史数据清理方法，用于清理数据库的数据表的历史数据，其特征在于，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据所述数据清理规则筛选待清理的数据表的数据与键值，确定所述待清理的数据表的清理数据索引；根据所述数据清理索引，清理所述数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据所述备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。2.根据权利要求1所述的银行系统历史数据清理方法，其特征在于，所述根据数据库的数据表的生命周期和关联关系，制定数据清理规则的步骤，包括：根据所述数据库的数据表类型、生命周期和关联关系，分级筛选不同数据表类型的待清理数据，所述数据表类型包括：主表、关系表、子表、单表；根据所述不同数据表类型的待清理数据，分别制定所述数据清理规则。3.根据权利要求1所述的银行系统历史数据清理方法，其特征在于，所述根据所述数据清理规则筛选待清理的数据表的数据与键值，确定所述待清理的数据表的清理数据索引的步骤，包括：根据所述数据清理规则、关系表，筛选所述关系表的全部组内关联表中符合所述数据清理规则的数据与键值；根据所述数据清理规则、主表、子表、单表，筛选所述主表、子表、单表的符合所述数据清理规则的数据与键值；对筛选出的所述数据与键值合并、去重、打包，确定为所述待清理的数据表的清理数据索引。4.根据权利要求1所述的银行系统历史数据清理方法，其特征在于，所述根据所述数据清理索引，清理所述数据库的数据表的数据，并将被清理数据的键值写入备份索引文件的步骤，包括：将当前的所述数据清理索引与之前的数据清理索引去重并合并，形成更新的数据清理索引；根据所述更新的数据清理索引记录的键值，清理所述数据库的数据表的数据，并将被清理数据的键值写入备份索引文件。5.根据权利要求1所述的银行系统历史数据清理方法，其特征在于，所述根据所述备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间的步骤之后，还包括：当需要恢复已清理数据时，根据所述备份索引文件、记录在文件中的被清理数据，筛选出待恢复数...

【专利技术属性】
技术研发人员：周畅，王和燕，张阳，孙凯，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11