一种数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，其中该数据处理方法包括：对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；根据基础全量数据与预设时间段内的总增量数据生成截面增全量；保存截面增全量与归档数据，并生成配置文件。以此实现提高数据处理的效率。据处理的效率。据处理的效率。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及大数据领域，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]随着科技的快速发展，业务系统通常每日都为用户提供当日全量时点类数据，为提高存储的使用率，通常保留一段时间后进行拉链表归档。但在某些情况下，比如监管监察等，又需要使用已归档的某日全量数据。这就需要从数据产生日开始，重新合并生成所需数据。由于时点类全量数据比较大，每日都以全量数据作为基础合并需要耗费大量的时间和资源。因此，如何提高数据处理的效率是一个亟需解决的问题。

技术实现思路

[0003]有鉴于此，本申请的主要目的在于提供一种数据处理方法及装置，实现了提高数据处理的效率。
[0004]本申请第一方面提供了一种数据处理方法，该方法包括：
[0005]对拉链表中的历史数据进行归档，并生成归档数据；
[0006]将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；
[0007]根据基础全量数据与预设时间段内的总增量数据生成截面增全量；
[0008]保存截面增全量与归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成所述预设时间段内的总增量数据；根据基础全量数据与所述预设时间段内的总增量数据生成截面增全量；保存所述截面增全量与所述归档数据，并生成配置文件。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据每日全量表查询每日全量数据的有效期配置，所述每日全量表内包括所述截面增全量的时间参数；将所述有效期配置的时间段内的每日全量数据合并以生成合并数据，并将所述合并数据存储至所述拉链表；删除所述每日全量表中对应的所述合并数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取用户的第N日的生效时间以及失效时间；根据所述第N日的生效时间以及失效时间查询所述第N日的全量数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取所述第N日的全量数据以及第N+1日的全量数据；将所述第N日的全量数据和所述第N+1日的全量数据进行对比，以获取所述第N日的增量数据。5.根据权利要求1所述的方法，其特征在于，所述将预设时间段内的多个变化数据进行结合，包括：根据时间顺序将所述预设时间段内的多个变化数据进行结合。6.一种数据处理装置，其特征在于，所述数据处理装置包括：归档单元，用于对拉链表中的历史数据进行...

【专利技术属性】
技术研发人员：陈国杰，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：