基于智能算法的数据质量规则推荐方法、系统、电子设备及介质技术方案

技术编号:46224764 阅读:7 留言:0更新日期:2025-08-26 19:26
本发明专利技术实施例公开了基于智能算法的数据质量规则推荐方法、系统、电子设备及介质;方法包括步骤:S1、对数据资产的元数据信息进行扫描,收集元数据信息、质量规则和样例数据,提取元数据特征信息,形成字段特征库数据元标准;其中,提取元数据特征信息包括:从表模型中抽取字段的基本属性特征,从实例数据中抽取数据格式特征,从存量的数据质量规则中抽取已经配置的质量规则;提取元数据特征信息的规则包括相似度规则、字段重复规则和字段排除规则;S2、利用机器学习算法对字段特征库数据元标准和样例数据进行训练,建立数据质量规则推荐模型;S3、构建数据质量规则推荐引擎;S4、基于数据质量规则推荐引擎推荐数据质量规则。

【技术实现步骤摘要】

本专利技术属于数据处理,特别属于数据质量管理,具体涉及基于智能算法的数据质量规则推荐方法、系统、电子设备及介质


技术介绍

1、传统的数据质量管理工具,依赖大量的人力进行手工配置,不仅耗时耗力,而且在数据质量规则的配置过程中,容易出现遗漏、配置错误和滞后。


技术实现思路

1、有鉴于此,一方面,一些实施例公开了基于智能算法的数据质量规则推荐方法,包括步骤:

2、s1、对数据资产的元数据信息进行扫描,收集元数据信息、质量规则和样例数据,提取元数据特征信息,形成字段特征库数据元标准;其中,提取元数据特征信息包括:从表模型中抽取字段的基本属性特征,从实例数据中抽取数据格式特征,从存量的数据质量规则中抽取已经配置的质量规则;提取元数据特征信息的规则包括相似度规则、字段重复规则和字段排除规则;其中,相似度规则是指当两个字段的相似度达到预设的相似度阈值后,被认为是同一个字段;字段重复规则是指当字段重复出现次数达到预设的字段重复阈值后,将被提取到字段特征库数据元标准;字段排除规则是指符合预设的字段排除格式的字段不本文档来自技高网...

【技术保护点】

1.基于智能算法的数据质量规则推荐方法,其特征在于,包括步骤:

2.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于相似度的质量规则推荐模型,构建方法包括:

3.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于血缘关系的质量规则推荐模型,构建方法包括:

4.根据权利要求3所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤S2021中,构建AOE图包括:

5.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤S3中,构...

【技术特征摘要】

1.基于智能算法的数据质量规则推荐方法,其特征在于,包括步骤:

2.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于相似度的质量规则推荐模型,构建方法包括:

3.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于血缘关系的质量规则推荐模型,构建方法包括:

4.根据权利要求3所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤s2021中,构建aoe图包括:

5.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤s3中,构建数据质量规则推荐引擎包括,根据请求推荐的规则类型,调用相应的推荐算法接口,获取推荐内容后,按照...

【专利技术属性】
技术研发人员:吴晓锋孙哲魏明明叶小林张辉李浩宁刘文文
申请(专利权)人:中远海运科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1