一种数据处理方法、装置、存储介质和设备制造方法及图纸

本申请公开了一种数据处理方法、装置、存储介质和设备，获取主档表中预存的各个全量数据，对各个全量数据进行分类，得到多个全量数据分组。从每个全量数据分组所示的各个全量数据中，选取数据日期最早的全量数据，作为有效数据。对各个有效数据进行分类，得到多个有效数据分组。对于每个有效数据分组，按照数据日期由早到晚的顺序，对各个有效数据进行排序，得到有效数据序列。对于每个有效数据序列，为有效数据序列所示的每个有效数据增加属性。基于各个有效数据，及每个有效数据的生效日期和失效日期，构建数据拉链表。利用本申请所示方案，利用数据拉链表实现数据的存储，基于数据拉链表自身的特性，能有效减少数据存储对应硬件资源的消耗。件资源的消耗。件资源的消耗。

【技术实现步骤摘要】
一种数据处理方法、装置、存储介质和设备


[0001]本申请涉及大数据领域，尤其涉及一种数据处理方法、装置、存储介质和设备。

技术介绍

[0002]随着大数据技术的广泛应用，大型应用程序的业务数据量快速增长。在某些场景下，例如金融交易数据，客户数据等，需要实现对历史数据的分析，提取数据变化的趋势，进行业务发展的预测或风险预警。为此，如何在有限的存储空间和计算能力下实现历史数据的存储和查询，成为本领域的研究热点。
[0003]目前，常用的数据存储方式为：按照某时间粒度(通常为每天)全量保存切片数据。然而，基于现有的数据存储方式，会有生成较多的冗余数据，海量的冗余数据则会占用大量的存储空间，从而消耗大量硬件资源，使得硬件成本增加。

技术实现思路

[0004]本申请提供了一种数据处理方法、装置、存储介质和设备，目的在于减少硬件资源的消耗。
[0005]为了实现上述目的，本申请提供了以下技术方案：
[0006]一种数据处理方法，包括：
[0007]获取主档表中预存的各个全量数据；所述全量数据包括主键、字段和本文档来自技高网...

【技术保护点】

【技术特征摘要】
位的目标数据的失效日期设为第二日期；s＝1,2,3,...,k
‑
1；k代表所述目标数据序列中所包含目标数据的数量；所述第二日期比排在所述目标数据序列中第s位的目标数据的生效日期晚一天；将各个所述目标数据写入至所述数据拉链表中。4.根据权利要求1所述的方法，其特征在于，还包括：在接收到用户发送的数据读取指令的情况下，从所述数据拉链表所示的各个数据中，抽取有效期限涵盖所述数据读取指令所示时间节点的数据，作为答复数据，并将所述答复数据发送给所述用户；其中，所述有效期限用于指示从所述数据的生效日期起始，直至所述数据的失效日期结束的时间段。5.一种数据处理装置，其特征在于，包括：获取单元，用于获取主档表中预存的各个全量数据；所述全量数据包括主键、字段和数据日期；第一分类单元，用于对各个所述全量数据进行分类，得到多个全量数据分组；主键相同、且字段相同的多个所述全量数据均划分到同一全量数据分组中；选取单元，用于从每个所述全量数据分组所示的各个全量数据中，选取数据日期最早的全量数据，作为每个所述全量数据分组的有效数据；第二分类单元，用于对各个所述有效数据进行分类，得到多个有效数据分组；主键相同的多个有效数据均划分到同一有效数据分组中；排序单元，用于对于每个所述有效数据分组，按照数据日期由早到晚的顺序，对所述有效数据分组所示的各个有效数据进行排序，得到与所述有效数据分组对应的有效数据序列；增加单元，用于对于每个所述有效数据序列，为所述有效数据序列所示的每个有效数据增加属性；其中，所述属性包括生效日期和失效日期；所述生效日期与所述有效数据所示的数据日期相同；排在所述有效数据序列中最后一位的有效数据的失效日期设为预设日期；排在所述有效数据序列中第n
‑
1位的有效数据的失效日期设为第一日期；n＝1,2,3,...,m
‑
1；m代表所述有效数据序列中所包含有效数据的数量；所述第一日期比排在所述有效数据序列中第n位的有效数据的生效日期晚一天；构建单元，用于基于各个所述有效数据，以及每个有效数据的生效日期和失效日期，构建数据拉链表。6.根据权利要求5所述的装置，其特征在于，所述选取单元具体用于：对于每个所述全量数据分组，按照数据日期由早到晚的顺序，对所述全量数据分组所示的各个全量数据进行排序，得到与每个所述全量数据分组对应的全量数据序列；对于每个所述全量数据序列，选取排在所述全量数据序列中首位的全量...

【专利技术属性】
技术研发人员：仪明锋，赵玮，李亮，李聪依，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：