【技术实现步骤摘要】
本专利技术属于数据稽核,具体涉及一种基于动态规则库的数据质量智能稽核系统及方法。
技术介绍
1、目前,数据质量稽核是对数据生命周期中的数据计算过程进行数据质量校验控制。在无线网络端到端数据可视化呈现过程中,从话单层到中间层最终到达应用层的过程中,需要经过多个阶段的计算才能得到最终结果。对每一阶段的网络数据进行数据质量稽核,都是为下一阶段计算的保障,也是最终数据呈现的保障。传统的系统是用固定规则库,就像让所有病人吃同一种药——金融数据要时效性,医疗数据重隐私,电商数据看一致性,传统的系统做不到差异化。多源异构数据更是头疼,sql和nosql的校验逻辑根本不同,硬要统一处理,效率很低。传统稽核系统使用静态规则模板(如预定义sql脚本),无法适配多变的业务场景,动态的数据类型(结构化/半结构化/流数据),存在规则僵化的问题。异构数据源(关系型数据库、nosql、api接口)需独立开发稽核规则,导致重复开发工作量大,跨源数据一致性校验难以实现,多源数据治理低效。依赖人工分析报告→手动调整规则,导致新型数据异常检测延迟(平均响应周期>72小
...【技术保护点】
1.一种基于动态规则库的数据质量智能稽核系统,其特征在于,包括:
2.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述场景分析单元通过以下方式生成规则配置指令:抽取业务场景中的关键实体属性及约束条件,通过逻辑运算符组合生成规则判定树。
3.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述多源监测引擎包括:数据适配器,支持关系型数据库、NoSQL数据库及API流数据的统一接入;规则加载器,根据数据源类型自动匹配规则库中的核查规则集。
4.根据权利要求1所述的基于动态规则库的数据质量智
...【技术特征摘要】
1.一种基于动态规则库的数据质量智能稽核系统,其特征在于,包括:
2.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述场景分析单元通过以下方式生成规则配置指令:抽取业务场景中的关键实体属性及约束条件,通过逻辑运算符组合生成规则判定树。
3.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述多源监测引擎包括:数据适配器,支持关系型数据库、nosql数据库及api流数据的统一接入;规则加载器,根据数据源类型自动匹配规则库中的核查规则集。
4.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述自动校验执行模块的工作逻辑为:按预设周期或事件触发机制启动校验任务,输出包含数据异常标记、错误分布统计的稽核报告。
5.根据权利要求1-4任一项所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述规则...
【专利技术属性】
技术研发人员:张磊,王瑞琦,李卫军,薛洁,范玮玮,宋志勇,赵毅,胡碧波,郑秒,黑聪,郭鹏,王艺超,王强强,赵一博,王玉娟,贾艺漩,张祺,雷坤,孙睿贞,马鑫,张一杰,李宏,赖程成,党雅静,
申请(专利权)人:国网河南省电力公司驻马店供电公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。