一种针对数据仓库缓慢变化的维度数据处理方法技术

本发明专利技术涉及一种针对数据仓库缓慢变化的维度数据处理方法，通过改进数据变化识别方法、优化数据存储结构，将变化数据处理过程标准化，简化数据的处理过程，提高数据仓库的建设效率，能够有效克服现有技术的缺点，且效率高，准确率高。

A method of dimension data processing for slow change of data warehouse

【技术实现步骤摘要】
一种针对数据仓库缓慢变化的维度数据处理方法
本专利技术涉及一种针对数据仓库缓慢变化的维度数据处理方法，属于数据仓库

技术介绍
在构建数据仓库的过程中，维度数据会根据数据变化情况来记录历史，传统的数据处理方式是针对源数据与数据仓库的数据之间使用关键字段去匹配,然后通过每个字段对比、去识别实际的变化情况，这种处理方式会导致ETL任务的开发效率很低、容易出错，且数据模型变化后ETL调整工作量大。
技术实现思路
本专利技术所要解决的技术问题是提供一种针对数据仓库缓慢变化的维度数据处理方法，能够有效克服现有技术的缺点，且效率高，准确率高。本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种针对数据仓库缓慢变化的维度数据处理方法，针对数据仓库中预设数据模型的目标表，实现数据仓库中新增数据记录的插入；其中，预设数据模型包括主键、维度主键、记录识别码、记录创建时间、记录失效时间、最新记录标记、以及至少一个维度属性；主键表示目标表中的代理主键，是目标表中各记录的唯一标识；维度主键是目标表中各记录在其源表中的唯本文档来自技高网...

【技术保护点】
1.一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：针对数据仓库中预设数据模型的目标表，实现数据仓库中新增数据记录的插入；其中，预设数据模型包括主键、维度主键、记录识别码、记录创建时间、记录失效时间、最新记录标记、以及至少一个维度属性；主键表示目标表中的代理主键，是目标表中各记录的唯一标识；维度主键是目标表中各记录在其源表中的唯一标识；最新记录标记用于记录当前行维度信息是否是最新内容，1为最新记录、0为历史记录；所述新增数据记录的插入，按如下步骤A至步骤B进行执行：/n步骤A. 针对新增数据记录，先将新增数据记录转换为其所对应的Json数据，再应用预设加密算法、针对该Json数据进行加...

【技术特征摘要】
1.一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：针对数据仓库中预设数据模型的目标表，实现数据仓库中新增数据记录的插入；其中，预设数据模型包括主键、维度主键、记录识别码、记录创建时间、记录失效时间、最新记录标记、以及至少一个维度属性；主键表示目标表中的代理主键，是目标表中各记录的唯一标识；维度主键是目标表中各记录在其源表中的唯一标识；最新记录标记用于记录当前行维度信息是否是最新内容，1为最新记录、0为历史记录；所述新增数据记录的插入，按如下步骤A至步骤B进行执行：
步骤A.针对新增数据记录，先将新增数据记录转换为其所对应的Json数据，再应用预设加密算法、针对该Json数据进行加密，所获加密结果作为新增数据记录所对应的记录识别码，然后进入步骤B；
步骤B.根据新增数据记录的维度主键、以及新增数据记录所对应的记录识别码，在目标表中最新记录标记为1的各条记录中、查找新增数据记录，并根据不同查找结果，分别做出相应处理，实现新增数据记录向目标表的插入。


2.根据权利要求1所述一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于，在一个实施方式中，所述步骤B包括如下步骤：
步骤B1.在目标表中最新记录标记为1的各条记录中，查找是否存在维度主键与新增数据记录维度主键相同的记录，是则获得目标表中的该记录，作为待处理记录，并进入步骤B3；否则进入步骤B2；
步骤B2.按目标表的数据模型，将新增数据记录插入到目标表中，且该插入记录的主键基于目标表原各记录主键的最大值加1，以及该插入记录的记录创建时间为新增数据记录插入处理时的当前时间戳；
步骤B3.判断待处理记录中的记录识别码与新增数据记录所对应的记...

【专利技术属性】
技术研发人员：陈旋，王冲，郝大松，
申请(专利权)人：江苏艾佳家居用品有限公司，
类型：发明
国别省市：江苏;32