【技术实现步骤摘要】
本专利技术属于数据处理,特别属于数据质量管理,具体涉及基于智能算法的数据质量规则推荐方法、系统、电子设备及介质。
技术介绍
1、传统的数据质量管理工具,依赖大量的人力进行手工配置,不仅耗时耗力,而且在数据质量规则的配置过程中,容易出现遗漏、配置错误和滞后。
技术实现思路
1、有鉴于此,一方面,一些实施例公开了基于智能算法的数据质量规则推荐方法,包括步骤:
2、s1、对数据资产的元数据信息进行扫描,收集元数据信息、质量规则和样例数据,提取元数据特征信息,形成字段特征库数据元标准;其中,提取元数据特征信息包括:从表模型中抽取字段的基本属性特征,从实例数据中抽取数据格式特征,从存量的数据质量规则中抽取已经配置的质量规则;提取元数据特征信息的规则包括相似度规则、字段重复规则和字段排除规则;其中,相似度规则是指当两个字段的相似度达到预设的相似度阈值后,被认为是同一个字段;字段重复规则是指当字段重复出现次数达到预设的字段重复阈值后,将被提取到字段特征库数据元标准;字段排除规则是指符合预设的
...【技术保护点】
1.基于智能算法的数据质量规则推荐方法,其特征在于,包括步骤:
2.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于相似度的质量规则推荐模型,构建方法包括:
3.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于血缘关系的质量规则推荐模型,构建方法包括:
4.根据权利要求3所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤S2021中,构建AOE图包括:
5.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征
...【技术特征摘要】
1.基于智能算法的数据质量规则推荐方法,其特征在于,包括步骤:
2.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于相似度的质量规则推荐模型,构建方法包括:
3.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,数据质量规则推荐模型包括基于血缘关系的质量规则推荐模型,构建方法包括:
4.根据权利要求3所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤s2021中,构建aoe图包括:
5.根据权利要求1所述的基于智能算法的数据质量规则推荐方法,其特征在于,步骤s3中,构建数据质量规则推荐引擎包括,根据请求推荐的规则类型,调用相应的推荐算法接口,获取推荐内容后,按照...
【专利技术属性】
技术研发人员:吴晓锋,孙哲,魏明明,叶小林,张辉,李浩宁,刘文文,
申请(专利权)人:中远海运科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。