一种数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，其中该数据处理方法包括：对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；根据基础全量数据与预设时间段内的总增量数据生成截面增全量；保存截面增全量与归档数据，并生成配置文件。以此实现提高数据处理的效率。据处理的效率。据处理的效率。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及大数据领域，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]随着科技的快速发展，业务系统通常每日都为用户提供当日全量时点类数据，为提高存储的使用率，通常保留一段时间后进行拉链表归档。但在某些情况下，比如监管监察等，又需要使用已归档的某日全量数据。这就需要从数据产生日开始，重新合并生成所需数据。由于时点类全量数据比较大，每日都以全量数据作为基础合并需要耗费大量的时间和资源。因此，如何提高数据处理的效率是一个亟需解决的问题。

技术实现思路

[0003]有鉴于此，本申请的主要目的在于提供一种数据处理方法及装置，实现了提高数据处理的效率。
[0004]本申请第一方面提供了一种数据处理方法，该方法包括：
[0005]对拉链表中的历史数据进行归档，并生成归档数据；
[0006]将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；
[0007]根据基础全量数据与预设时间段内的总增量数据生成截面增全量；
[0008]保存截面增全量与归档数据，并生成配置文件。
[0009]在本申请第一方面的一些实现方式中，该方法还可以包括：
[0010]根据每日全量表查询每日全量数据的有效期配置，每日全量表内包括截面增全量的时间参数；
[0011]将有效期配置的时间段内的每日全量数据合并以生成合并数据，并将合并数据存储至拉链表；
[0012]删除每日全量表中对应的合并数据。
[0013]在本申请第一方面的一些实现方式中，该方法还可以包括：
[0014]获取用户的第N日的生效时间以及失效时间；
[0015]根据第N日的生效时间以及失效时间查询第N日的全量数据。
[0016]在本申请第一方面的一些实现方式中，该方法还包括：
[0017]获取第N日的全量数据以及第N+1日的全量数据；
[0018]将第N日的全量数据和第N+1日的全量数据进行对比，以获取第N日的增量数据。
[0019]在本申请第一方面的一些实现方式中，将预设时间段内的多个变化数据进行结合，包括：
[0020]根据时间顺序将预设时间段内的多个变化数据进行结合。
[0021]本申请第二方面提供了一种数据处理装置，该数据处理装置包括：
[0022]归档单元，用于对拉链表中的历史数据进行归档，并生成归档数据；
[0023]总增量数据生成单元，用于将预设时间段内的多个变化数据进行结合，并生成预
设时间段内的总增量数据；
[0024]截面增全量生成单元，用于根据基础全量数据与预设时间段内的总增量数据生成截面增全量；
[0025]存储单元，用于保存截面增全量与归档数据，并生成配置文件。
[0026]在本申请第二方面的一些实现方式中，该数据处理装置还包括：
[0027]查询单元，用于根据每日全量表查询每日全量数据的有效期配置，每日全量表内包括截面增全量的时间参数；
[0028]合并单元，用于将有效期配置的时间段内的每日全量数据合并以生成合并数据，并将合并数据存储至拉链表；
[0029]删除单元，用于删除每日全量表中对应的合并数据。
[0030]在本申请的第二方面的一些实现方式中，该数据处理装置还包括：
[0031]获取单元，用于获取用户的第N日的生效时间以及失效时间；
[0032]所述查询单元，还用于根据第N日的生效时间以及失效时间查询第N日的全量数据。
[0033]在本申请的第二方面的一些实现方式中，该总增量数据生成单元具体用于：根据时间顺序将预设时间段内的多个变化数据进行结合。
[0034]相对于现有技术，本申请所提供的技术方案具有如下有益效果：
[0035]在本申请中通过对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；根据基础全量数据与预设时间段内的总增量数据生成截面增全量；保存截面增全量与归档数据，并生成配置文件。相对现有技术而言，将大数据量的全量数据参与计算次数降到最低，以提升效率。
附图说明
[0036]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[0037]图2为本申请实施例提供的另一种数据处理方法的流程示意图；
[0038]图3为本申请实施例提供的另一种数据处理方法的流程示意图；
[0039]图4为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
[0040]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产
品或设备固有的其它步骤或单元。
[0042]相关术语解释：
[0043]时点类数据：也可以称为状态类数据，比如账户、客户类信息。是指在某一个时间点上的数据内容，不同的时间点，数据内容可能不一样，比如：客户类信息，在2020年1月1日，该客户的手机号为：138XXXXXXXX；在2022年1月1日，该客户的手机号变更为：181XXXXXXXX。
[0044]增量数据：相对于全量数据，即为当日发生变化的数据。
[0045]拉链表：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。拉链粒度一般是指按天为粒度进行处理数据。
[0046]在实际生产过程中，业务系统通常每日需要为用户提供当日的全量时点类数据，通常需要保留一段时间后再对拉链表进行归档，以提高存储的使用率。其中时点类数据具体可以包括：账户信息，全量数据等，并且时点类数据的数据量较大但每日的变动较小。在一些情况下，比如监管、监察等，此种情况需要使用已归档的某日全量数据，具体需要从数据产生日开始，重新合并生成所需的数据。传统算法以大数据的全量数据为基础，小数据的增量数据循环合并，假如100天的数据，全量数据参与计算99次；或者以小数据的增量数据同时作为基础数据和增量数据进行循环合并，大数据的全量数据只参与计算1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成所述预设时间段内的总增量数据；根据基础全量数据与所述预设时间段内的总增量数据生成截面增全量；保存所述截面增全量与所述归档数据，并生成配置文件。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据每日全量表查询每日全量数据的有效期配置，所述每日全量表内包括所述截面增全量的时间参数；将所述有效期配置的时间段内的每日全量数据合并以生成合并数据，并将所述合并数据存储至所述拉链表；删除所述每日全量表中对应的所述合并数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取用户的第N日的生效时间以及失效时间；根据所述第N日的生效时间以及失效时间查询所述第N日的全量数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取所述第N日的全量数据以及第N+1日的全量数据；将所述第N日的全量数据和所述第N+1日的全量数据进行对比，以获取所述第N日的增量数据。5.根据权利要求1所述的方法，其特征在于，所述将预设时间段内的多个变化数据进行结合，包括：根据时间顺序将所述预设时间段内的多个变化数据进行结合。6.一种数据处理装置，其特征在于，所述数据处理装置包括：归档单元，用于对拉链表中的历史数据进行...

【专利技术属性】
技术研发人员：陈国杰，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：