基于数据表轮换的不间断数据处理装置及方法制造方法及图纸

本发明专利技术提出了基于数据表轮换的不间断数据处理装置及方法。其中，所述方法包括：定时基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段；基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务；基于所述配置表并通过至少一个备份历史数据表而周期性地执行数据备份和清理操作。本发明专利技术所公开的基于数据表轮换的不间断数据处理装置及方法能够消除数据碎片对数据处理性能的影响并可以保持稳定的资源消耗。

【技术实现步骤摘要】
基于数据表轮换的不间断数据处理装置及方法
本专利技术涉及数据处理装置及方法，更具体地，涉及基于数据表轮换的不间断数据处理装置及方法。
技术介绍
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，不间断数据处理（例如金融领域中的交易处理服务器）装置及方法变得越来越重要。现有的不间断数据处理装置及方法通常使用一个数据表存取数据.然而,其存在如下问题:随着数据处理装置的长期运行以及数据量的不断增大,将导致数据库读写性能的不断降低以及系统资源消耗的不断增大。为了解决上述问题，现有的不间断数据处理装置及方法通常采用清理历史信息的方式。然而，由于使用一个数据表，故一般只能使用删除特定时间前的数据的方式执行清理操作。这种形式的清理操作会导致在数据存储器中留下大量的数据碎片，并且随着数据碎片的不断增多，数据存取操作对系统资源的消耗仍会持续增大。因此，存在如下需求：提供能够消除数据碎片对数据处理性能的影响并可以保持稳定的资源消耗的不间断数据处理装置及方法。
技术实现思路
为了解决上述现有技术方案所存在的问题，本专利技术提出了能够消除数据碎片对数据处理性能的影响并可以保持稳定的资源消耗的不间断数据处理装置及方法。本专利技术的目的是通过以下技术方案实现的：一种基于数据表轮换的不间断数据处理装置，所述基于数据表轮换的不间断数据处理装置包括：配置模块，所述配置模块定时基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段；数据处理模块，所述数据处理模块基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务；备份清理模块，所述备份清理模块基于所述配置表并通过至少一个备份历史数据表而周期性地执行数据备份和清理操作；存储模块，所述存储模块存储所述配置表、所述两个正式任务数据表和所述至少一个备份历史数据表。在上面所公开的方案中，优选地，所述至少一个备份历史数据表包括多个备份历史数据表（示例性地，所述至少一个备份历史数据表包括4个备份历史数据表，并且第一个备份历史数据表用于第一、五和九月的历史数据，第二个备份历史数据表用于第二、六和十月的历史数据，第三个备份历史数据表用于第三、七和十一月的历史数据以及第四个备份历史数据表用于第四、八和十二月的历史数据）。在上面所公开的方案中，优选地，所述配置表中的数据处理日期字段的值指示当前的数据处理实际日期，所述配置表中的当前正式任务数据表编号字段的值指示当前周期应使用的正式任务数据表的编号，所述配置表中的切换状态字段的值指示切换状态。在上面所公开的方案中，优选地，当定时基于用户的配置指令修改配置表时，所述配置模块将所述配置表中的切换状态字段的值设置为“切换中”。在上面所公开的方案中，优选地，所述数据处理模块以如下方式执行数据处理任务：从所述配置表获取当前周期应使用的正式任务数据表的编号和切换状态，并将所述当前周期应使用的正式任务数据表的编号指示的正式任务数据表作为当前周期使用的新的正式任务数据表；如果切换状态为“非切换中”，则所述数据处理模块直接针对所述新的正式任务数据表执行所述数据处理任务，其中，所述数据处理任务包括搜索、更新和/或插入操作；如果切换状态为“切换中”，则根据数据处理任务的类型以如下方式执行数据处理任务：如果数据处理任务是插入操作，则直接针对所述新的正式任务数据表执行所述插入操作，而如果数据处理任务是搜索或更新操作，则分别在新的正式任务数据表和旧的正式任务数据表中执行该搜索或更新操作；如果数据处理任务是针对备份历史数据表的操作，则根据历史数据处理日期确定对应的备份历史数据表，并直接针对所述对应的备份历史数据表执行所述数据处理任务。在上面所公开的方案中，优选地，所述备份清理模块以如下方式周期性检查并执行备份和清理操作：（1）从所述配置表获取当前周期应使用的正式任务数据表的编号、切换状态和当前的数据处理实际日期；（2）如果所述切换状态为“切换中”，则判断“切换中”状态的持续时间是否超过预定的阈值，并且如果“切换中”状态的持续时间超过预定的阈值，则将所述配置表中的切换状态字段的值修改为“非切换中”以及将备份清理标记设置为“未备份清理”；如果所述切换状态为“非切换中”，则判断备份清理标记的值，并且如果所述备份清理标记的值为“未备份清理”，则执行数据表备份和清理操作，而如果所述备份清理标记的值为“已备份清理”，则进入休眠状态并在预定的时间段（该预定的时间段可以通过配置操作而被预先设置）之后返回步骤（1）。在上面所公开的方案中，优选地，所述数据表备份和清理操作包括：以如下方式执行数据备份操作：以文件的方式导出非所述配置表中的“当前正式任务数据表编号”字段的值指示的正式任务数据表的数据，并将包含导出的数据的文件导入所述配置表中的“数据处理日期”字段的值指示的当前数据处理实际日期对应的备份历史数据表；在数据备份操作完成后，对非所述配置表中的“当前正式任务数据表编号”字段的值指示的正式任务数据表和下个月将使用的备份历史数据表以无碎片的方式执行全表清理操作，并且清理成功后将所述备份清理标记的值设置为“已备份清理”。本专利技术的目的也可以通过以下技术方案实现：一种基于数据表轮换的不间断数据处理方法，所述方法包括下列步骤：（A1）定时基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段；（A2）基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务；（A3）基于所述配置表并通过至少一个备份历史数据表而周期性地执行数据备份和清理操作。本专利技术所公开的基于数据表轮换的不间断数据处理装置及方法具有以下优点：针对不间断数据处理应用，能够消除数据碎片对数据处理性能的影响并可以保持稳定的资源消耗。附图说明结合附图，本专利技术的技术特征以及优点将会被本领域技术人员更好地理解，其中：图1是根据本专利技术的实施例的基于数据表轮换的不间断数据处理装置的示意性结构图；图2是根据本专利技术的实施例的基于数据表轮换的不间断数据处理方法的流程图。具体实施方式图1是根据本专利技术的实施例的基于数据表轮换的不间断数据处理装置的示意性结构图。如图1所示，本专利技术所公开的基于数据表轮换的不间断数据处理装置包括配置模块1、数据处理模块2、备份清理模块3和存储模块4。其中，所述配置模块1定时（例如，每日）基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段。所述数据处理模块2基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务。所述备份清理模块3基于所述配置表并通过至少一个备份历史数据表而周期性地（例如，每日）执行数据备份和清理操作。所述存储模块4存储所述配置表、所述两个正式任务数据表和所述至少一个备份历史数据表。优选地，在本专利技术所公开的基于数据表轮换的不间断数据处理装置中，所述至少一个备份历史数据表包括多个备份历史数据表（示例性地，所述至少一个备份历史数据表包括4个备份历史数据表，并且第一个备份历史数据表用于第一、五和九月的历史数据，第二个备份历史数据表用于第二、六和十月的历史数据，第三个备份历史数据表本文档来自技高网...

【技术保护点】
一种基于数据表轮换的不间断数据处理装置，所述基于数据表轮换的不间断数据处理装置包括：配置模块，所述配置模块定时基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段；数据处理模块，所述数据处理模块基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务；备份清理模块，所述备份清理模块基于所述配置表并通过至少一个备份历史数据表而周期性地执行数据备份和清理操作；存储模块，所述存储模块存储所述配置表、所述两个正式任务数据表和所述至少一个备份历史数据表；其中，所述数据处理模块以如下方式执行数据处理任务：从所述配置表获取当前周期应使用的正式任务数据表的编号和切换状态，并将所述当前周期应使用的正式任务数据表的编号指示的正式任务数据表作为当前周期使用的新的正式任务数据表；如果切换状态为“非切换中”，则所述数据处理模块直接针对所述新的正式任务数据表执行所述数据处理任务，其中，所述数据处理任务包括搜索、更新和/或插入操作；如果切换状态为“切换中”，则根据数据处理任务的类型以如下方式执行数据处理任务：如果数据处理任务是插入操作，则直接针对所述新的正式任务数据表执行所述插入操作，而如果数据处理任务是搜索或更新操作，则分别在新的正式任务数据表和旧的正式任务数据表中执行该搜索或更新操作；如果数据处理任务是针对备份历史数据表的操作，则根据历史数据处理日期确定对应的备份历史数据表，并直接针对所述对应的备份历史数据表执行所述数据处理任务。...

【技术特征摘要】
1.一种基于数据表轮换的不间断数据处理装置，所述基于数据表轮换的不间断数据处理装置包括：配置模块，所述配置模块定时基于用户的配置指令修改配置表，其中，所述配置表包括数据处理日期字段、当前正式任务数据表编号字段和切换状态字段；数据处理模块，所述数据处理模块基于所述配置表使用两个正式任务数据表中的一个而实时地处理来自外部系统的数据处理任务；备份清理模块，所述备份清理模块基于所述配置表并通过至少一个备份历史数据表而周期性地执行数据备份和清理操作；存储模块，所述存储模块存储所述配置表、所述两个正式任务数据表和所述至少一个备份历史数据表；其中，所述数据处理模块以如下方式执行数据处理任务：从所述配置表获取当前周期应使用的正式任务数据表的编号和切换状态，并将所述当前周期应使用的正式任务数据表的编号指示的正式任务数据表作为当前周期使用的新的正式任务数据表；如果切换状态为“非切换中”，则所述数据处理模块直接针对所述新的正式任务数据表执行所述数据处理任务，其中，所述数据处理任务包括搜索、更新和/或插入操作；如果切换状态为“切换中”，则根据数据处理任务的类型以如下方式执行数据处理任务：如果数据处理任务是插入操作，则直接针对所述新的正式任务数据表执行所述插入操作，而如果数据处理任务是搜索或更新操作，则分别在新的正式任务数据表和旧的正式任务数据表中执行该搜索或更新操作；如果数据处理任务是针对备份历史数据表的操作，则根据历史数据处理日期确定对应的备份历史数据表，并直接针对所述对应的备份历史数据表执行所述数据处理任务。2.根据权利要求1所述的基于数据表轮换的不间断数据处理装置，其特征在于，所述至少一个备份历史数据表包括多个备份历史数据表。3.根据权利要求2所述的基于数据表轮换的不间断数据处理装置，其特征在于，所述配置表中的数据处理日期字段的值指示当前的数据处理实际日期，所述配置表中的当前正式任务数据表编号字段的值指示当前周期应使用的正式任务数据表的编号，所述配置表中的切换状态字段的值指示切换状态。4.根据权利要求3所述的基于数据表轮换的不间断数据处理装置，其特征在于，当定时基于用户的配置指令修改配置表时，所述配置模块将所述配置表中的切换状态字段的值设置为“切换中”。5.根据权利要求4所述的基于数据表轮换的不间断数据处理装置，其特征在于，所述备份清理模块以如下方式周期性检查并执行备份和清理操作：(1)从所述配置表获取当前周期应使用的正式任务数据表的编号、切换状态和当前的数据处理实际日期；(2)如...

【专利技术属性】
技术研发人员：杨森，陈林，华锦芝，杨燕明，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海,31