一种基于动态规则库的数据质量智能稽核系统及方法技术方案

技术编号:46596098 阅读:0 留言:0更新日期:2025-10-10 21:28
本发明专利技术创造公开了一种基于动态规则库的数据质量智能稽核系统及方法,属于数据稽核技术领域,其包括规则库构建模块,用于根据业务场景需求和数据类型特征,通过场景分析单元解析业务场景参数生成规则配置指令;多源监测引擎模块,连接至所述规则库构建模块,用于实时采集多源数据并加载对应的核查规则;自动校验执行模块,基于所述核查规则库对多源数据执行常态化的质量校验;反馈优化模块,通过强化学习算法分析校验结果中的规则命中率和误报率,动态迭代更新规则库中的规则阈值与逻辑组合。通过构建“规则生成、执行、反馈、更新”全自动化流程,解决传统系统依赖人工干预导致的响应慢,行业平均规则更新周期3‑7天,本方案实时更新。

【技术实现步骤摘要】

本专利技术属于数据稽核,具体涉及一种基于动态规则库的数据质量智能稽核系统及方法


技术介绍

1、目前,数据质量稽核是对数据生命周期中的数据计算过程进行数据质量校验控制。在无线网络端到端数据可视化呈现过程中,从话单层到中间层最终到达应用层的过程中,需要经过多个阶段的计算才能得到最终结果。对每一阶段的网络数据进行数据质量稽核,都是为下一阶段计算的保障,也是最终数据呈现的保障。传统的系统是用固定规则库,就像让所有病人吃同一种药——金融数据要时效性,医疗数据重隐私,电商数据看一致性,传统的系统做不到差异化。多源异构数据更是头疼,sql和nosql的校验逻辑根本不同,硬要统一处理,效率很低。传统稽核系统使用静态规则模板(如预定义sql脚本),无法适配多变的业务场景,动态的数据类型(结构化/半结构化/流数据),存在规则僵化的问题。异构数据源(关系型数据库、nosql、api接口)需独立开发稽核规则,导致重复开发工作量大,跨源数据一致性校验难以实现,多源数据治理低效。依赖人工分析报告→手动调整规则,导致新型数据异常检测延迟(平均响应周期>72小时)误报率居高不下(本文档来自技高网...

【技术保护点】

1.一种基于动态规则库的数据质量智能稽核系统,其特征在于,包括:

2.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述场景分析单元通过以下方式生成规则配置指令:抽取业务场景中的关键实体属性及约束条件,通过逻辑运算符组合生成规则判定树。

3.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述多源监测引擎包括:数据适配器,支持关系型数据库、NoSQL数据库及API流数据的统一接入;规则加载器,根据数据源类型自动匹配规则库中的核查规则集。

4.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在...

【技术特征摘要】

1.一种基于动态规则库的数据质量智能稽核系统,其特征在于,包括:

2.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述场景分析单元通过以下方式生成规则配置指令:抽取业务场景中的关键实体属性及约束条件,通过逻辑运算符组合生成规则判定树。

3.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述多源监测引擎包括:数据适配器,支持关系型数据库、nosql数据库及api流数据的统一接入;规则加载器,根据数据源类型自动匹配规则库中的核查规则集。

4.根据权利要求1所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述自动校验执行模块的工作逻辑为:按预设周期或事件触发机制启动校验任务,输出包含数据异常标记、错误分布统计的稽核报告。

5.根据权利要求1-4任一项所述的基于动态规则库的数据质量智能稽核系统,其特征在于:所述规则...

【专利技术属性】
技术研发人员:张磊王瑞琦李卫军薛洁范玮玮宋志勇赵毅胡碧波郑秒黑聪郭鹏王艺超王强强赵一博王玉娟贾艺漩张祺雷坤孙睿贞马鑫张一杰李宏赖程成党雅静
申请(专利权)人:国网河南省电力公司驻马店供电公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1