【技术实现步骤摘要】
本专利技术涉及数据质量管理领域，具体涉及一种基于可配置规则的多源数据库数据质量监测方法及系统。
技术介绍
1、在大数据时代，为了确保业务系统的准确性与效率，需要对来自多个异构数据源的数据质量进行实时监测与评估，以便及时发现并修正数据问题。然而，现有的数据质量管理体系存在一定局限性：规则配置的灵活性不足，且往往依赖于定期的人工审查，这种滞后性导致了问题发现与解决的周期较长。特别是在处理大量数据时，人工参与的数据质量管理不仅成本高昂，效率也相对低下，难以实现对全部数据的全面检查。为此，迫切需要一套基于可配置的规则，对多源数据库数据质量监测的系统及其实现方法，以克服上述问题，提高数据治理的效率和效果。
技术实现思路
1、专利技术目的：本专利技术提供了一种基于可配置规则的多源数据库数据质量监测方法及系统，以有效克服现有问题，显著提升数据治理工作的效率。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、第一方面，一种基于可配置规则的多源数据库数据质量监测方法，所述方...
【技术保护点】
1.一种基于可配置规则的多源数据库数据质量监测方法，其特征在于，所述方法基于多源数据库数据质量监测系统，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，根据来自不同数据源的数据库连接信息，在所述多源数据库质量监测系统进行注册包括：
3.根据权利要求1所述的方法，其特征在于，通过SQL查询语句自定义规则时，根据规则类型和规则维度来定义SQL查询语句；所述规则类型包括表级规则、字段级规则；所述表级规则关注整个表的数据质量，所述字段级规则关注指定字段的数据质量；所述规则维度包括唯一性、完整性、及时性、有效性、准确性、一致性中的一项或多项；所...
【技术特征摘要】
1.一种基于可配置规则的多源数据库数据质量监测方法，其特征在于，所述方法基于多源数据库数据质量监测系统，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，根据来自不同数据源的数据库连接信息，在所述多源数据库质量监测系统进行注册包括：
3.根据权利要求1所述的方法，其特征在于，通过sql查询语句自定义规则时，根据规则类型和规则维度来定义sql查询语句；所述规则类型包括表级规则、字段级规则；所述表级规则关注整个表的数据质量，所述字段级规则关注指定字段的数据质量；所述规则维度包括唯一性、完整性、及时性、有效性、准确性、一致性中的一项或多项；所述唯一性是指数据集中每个记录在某个特定字段上都是唯一的，没有重复的值；所述完整性是指数据集中所有必要的字段都有值，没有缺失或未定义的数据；所述及时性是指对于有时间限制的数据，数据是最新的，没有被旧数据覆盖；所述有效性是指根据业务规则或逻辑，数据是合法且有效的；所述准确性是指数据的值与实际情况相符，没有错误；所述一致性是指数据在不同系统、数据库或数据源之间是一致的。
4.根据权利要求1所述的方法，其特征在于，基于指定的规则模板或自定义规则确定数据质量评估机制，包括：
5.根据权利...
【专利技术属性】
技术研发人员：脱晓彤，王鹏，赵裕啸，曹健，彭光锐，黄伟，高振宇，张见豪，邵天峰，吴佳佳，
申请(专利权)人：南京南瑞瑞中数据股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。