一种数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，属于数据处理技术领域。该方法包括：基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至所述目标时间拉链表。通过上述技术方案，可以实时数据仓库和批量数据仓库的统一管理。仓库的统一管理。仓库的统一管理。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]数据仓库时间拉链保存历史数据，但当前数据仓库时间拉链的处理频率通常默认是日，并且固化在程序中的。由于大数据实时处理技术的成熟，出现了比一天更短的时间周期的实时数据仓库，用于响应实时业务分析需求。短周期拉链表数据经过长时间的累积，就会产生大量的无用短周期的历史数据，另一方面传统的按日处理的批量数据仓库与实时数据仓库在企业内并行，有重复计算的缺点。

技术实现思路

[0003]本专利技术提供了一种数据处理方法、装置、设备及存储介质，以实现实时数据仓库和批量数据仓库的统一管理。
[0004]根据本专利技术的一方面，提供了一种数据处理方法，该方法包括：
[0005]基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；
[0006]在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至所述目标时间拉链表。2.根据权利要求1所述的方法，其特征在于，所述基于拉链表配置规则，对数据仓库中的时间拉链表的表结构进行配置，得到至少一个初始时间拉链表，包括：基于所述拉链表配置规则，确定数据仓库中时间拉链表的日执行周期数；根据日总时长和所述日执行周期数，确定时间拉链表的周期持续时长；根据所述日执行周期数和所述周期持续时长，确定至少一个初始时间拉链表。3.根据权利要求1所述的方法，其特征在于，在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，包括：根据所述当前时刻和所述周期持续时长，确定当前周期数；根据所述当前周期数，从所述至少一个初始时间拉链表中确定目标时间拉链表。4.根据权利要求3所述的方法，其特征在于，还包括：根据所述当前周期数和所述周期持续时长，确定当前周期开始时刻。5.根据权利要求1所述的方法，其特征在于，还包括：基于拉链表合并规则，对所述目标时间拉链表进行合并，得到合并时间拉链表。6.根据权利要求5所述的方法，其特征在于，所述基于拉链表合并规则，对所述目标时间拉链表进行合并，得到合并时间拉链表，...

【专利技术属性】
技术研发人员：吕虎，薛羽，杨红强，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：