一种数据计算流程中的数据核对方法、系统及存储介质技术方案

本发明专利技术公开了一种数据计算流程中的数据核对方法、系统及存储介质，涉及数据仓库领域，包括以下步骤：获取指定层级的数仓数据；从数仓数据中识别出若干重要表，确定出存在异常波动的重要表，基于预设的字段属性、表属性与异常级别之间的对应关系，确定每个存在异常波动的重要表的异常级别；根据每个异常级别以及对应的重要表分别生成异常通知并发送；判断所有异常级别的权重是否均低于预设权重，若是，则执行当前指定层级的数据运算；若不是，则暂停当前指定层级的数据运算。在发现具有异常波动且对于后续数据计算存在较大影响的数据时，会暂停数据运算并通知工作人员，有利于提高数据计算结果的准确性以及数据计算过程中的稳定性。性。性。

【技术实现步骤摘要】
一种数据计算流程中的数据核对方法、系统及存储介质


[0001]本专利技术涉及数据仓库的
，尤其是涉及一种数据计算流程中的数据核对方法、系统及存储介质。

技术介绍

[0002]数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库包括原始数据层（ODS）、数据明细层（DWD）、数据汇总层（DWS）和数据应用层（ADS）。且这些层级是按照ODS
‑
DWD
‑
DWS
‑
ADS的顺序依次形成的，除了原始数据层是直接接入原始数据且基本不会对原始数据进行处理外，其余层都是在前一层的基础上对数据做了一定的处理后生成的。
[0003]数据仓库一般是通过数据应用层（ADS）的宽表来与其他数据库进行导入对接，以满足查询、检索等业务需求。而由于大数据数仓计算具有数据量大、计算节点多、计算流程长、数据处理逻辑复杂等特点，因此在数据计算过程中不可避免的会偶尔出现各种各样的异常情况导致ads应用层级据不准确对业务系统造成影响，导致数据质量不高，从而影响业务流程或者用户体验。...

【技术保护点】

【技术特征摘要】
1.一种数据计算流程中的数据核对方法，其特征在于，包括以下步骤：获取指定层级的数仓数据；从数仓数据中识别出若干重要表，分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，基于预设的字段属性、表属性与异常级别之间的对应关系，确定每个存在异常波动的重要表的异常级别；根据每个异常级别以及对应的重要表分别生成异常通知并发送；判断所有异常级别的权重是否均低于预设权重，若是，则执行当前指定层级的数据运算；若不是，则暂停当前指定层级的数据运算。2.根据权利要求1所述的一种数据计算流程中的数据核对方法，其特征在于，所述字段属性包括非空字段，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，包括以下步骤：获取重要表中的非空字段，并分别判断每个非空字段是否为空值，任意一个非空字段为空值，则确定对应的重要表存在异常波动。3.根据权利要求1所述的一种数据计算流程中的数据核对方法，其特征在于，所述表属性包括可空字段，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，包括以下步骤：获取重要表中的可空字段，计算每类可空字段的当前空值率，并从预设数据库中匹配出可空字段所对应的历史空值率；根据历史空值率和预设的允许波动值确定阈值；判断当前空值率是否超过对应的阈值，若是，则确定对应的重要表存在异常波动。4.根据权利要求3所述的一种数据计算流程中的数据核对方法，其特征在于，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，还包括以下步骤：若当前空值率低于或等于对应的阈值，则将当前空值率作为历史空值率并更新到数据库中。5.根据权利要求1所述的一种数据计算流程中的数据核对方法，其特征在于，所述表属性包括枚举校验字段，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，包括以下步骤：获取重要表的枚举校验字段，判断枚举校验字段的内容是否均可从预设集合中匹配到对应的预设值，若不是，则确认对应的重要表存在...

【专利技术属性】
技术研发人员：卢春辉，臧智涛，张敏，李建雨，
申请(专利权)人：企知道网络技术有限公司，
类型：发明
国别省市：