一种基于元数据的数据质量管理方法及系统技术方案

本发明专利技术提出一种基于元数据的数据质量管理方法，包括步骤：根据数据库内数据建立统一数据模型；根据建立的数据模型配置元数据；生成校验规则；配置执行策略，每一执行策略绑定一个或多个校验规则；按计划自动执行策略，在数据库中查找并存储目标数据；生成报告并分发。根据本发明专利技术的企业数据质量管理基于元数据进行，通过解析元数据设置的业务特征和管理特征结果，实现了数据完整性校验规则和数据合规性校验规则的自动生成，并以自动化手段全面支撑数据质量管理的事前防范事中检查以及事后评价。

【技术实现步骤摘要】
一种基于元数据的数据质量管理方法及系统
本专利技术涉及一种数据处理方法，尤其是一种基于元数据的数据质量管理方法及系统。
技术介绍
随着信息化技术的发展，产生了越来越多的数据信息，数据从计划、获取、存储、共享、维护、应用、消亡整个生命周期里可能会引发各类数据质量问题。错误的数据将会对企业的运营、决策造成严重的不良后果，因此数据质量管理已成为企业信息化建设中至关重要的环节。目前业界缺少一种完整的数据质量管理解决方案，通常都要数据库管理员编写程序脚本来识别存在问题的数据。这种方法的优点是简单、不需部署额外的系统，缺点是不规范、可维护性差、容易出错、不能监控问题数据整改情况。还有种做法是使用规章制度来规范数据录入数据工作，这种规章制度在一定程度上能防止缺陷数据进入数据库，但操作人员的技能水平、责任感、操作失误等都会产生数据质量问题。无论是使用程序脚本还是规章制度都不能自动地对问题数据进行识别、度量和报警。当有成千上万条数据质量规则需要校验时，这种依靠人工干预才能完成的方式已不能满足需求。举例来说，大型企业在数据管理工作方面往往存在以下问题:1.缺乏统一管理，各业务系统或各分子公司的数据管理方式和方法差异较大，水平参差不齐；2.数据源不唯一，按系统边界进行数据管理，系统间数据冗余导致数据多头管理，数据一致性较差；3.责任不明确，数据的管理、录入、使用责任没有落实到具体部门和岗位；4.缺乏企业资源统一建模，人、财、物等企业资源数据模型不统一，导致数据整合和集成的难度较大；5.数据标准执行不到位，已有业务系统没有全面固化和遵守数据规范，存在信息分类编码不一致、业务含义不统一的现象。
技术实现思路
针对以上现有技术的缺陷，本专利技术的目的在于提供一种完整的数据质量管理解决方案，本专利技术的技术方案为:一种基于元数据的数据质量管理方法，包括以下步骤:I)根据数据库内数据建立统一数据模型；2)根据建立的数据模型配置元数据；3)通过解析元数据设置的业务特征和管理特征结果生成校验规则；4)配置执行策略，每一执行策略绑定一个或多个校验规则；5)按计划自动执行策略，在目标数据库中查找并存储目标数据；6)生成报告并分发。作为以上技术方案的一种改进，步骤3)还包括导出含有校验规则的离线包，其中的校验规则包括数据完整性校验规则和数据合规性校验规则。作为以上技术方案的一种改进，还包括以下步骤:与上次执行策略查找到目标数据进行对比，分析并标记出本次查找到的目标数据中已经整改的数据。本专利技术还提出一种基于以上方法的系统，包括:数据模型模块，根据数据库内数据建立统一数据模型；元数据配置模块，根据建立的数据模型配置元数据；校验规则生成模块，通过解析元数据设置的业务特征和管理特征结果生成校验规则；策略配置模块，配置执行策略，每一执行策略绑定一个或多个校验规则；执行引擎，按计划自动执行策略，在目标数据库中查找并存储目标数据；报告生模块,生成报告并分发。作为以上技术方案的一种改进，校验规则生成模块导出含有校验规则的离线包，其中的校验规则包括数据完整性校验规则和数据合规性校验规则。作为以上技术方案的一种改进，还包括比较标记模块，将本次查找到的目标数据与上次执行策略查找到目标数据进行对比，分析并标记出本次查找到的目标数据中已经整改的数据。本专利技术的有益效果在于:数据质量管理基于元数据进行，通过解析元数据设置的业务特征和管理特征结果，实现了数据完整性校验规则和数据合规性校验规则的自动生成。同时，系统能把校验规则导出离线包功能，支撑业务系统或主数据管理系统的数据质量管理需求；此外，系统支持数据质量校验规则的自动以及校验报告的自动生成，以自动化手段全面支撑数据质量管理的事前防范事中检查以及事后评价。【附图说明】以下结合附图和实施例对本专利技术作进一步说明，其中:图1为本专利技术的流程示意图。【具体实施方式】在此作为示范的优选实施例中，以电网营销系统为例说明整个流程。为了简化业务逻辑，该例子只选取“合同”对象做说明。如图1所示，本专利技术所提出的基于元数据的数据质量管理方法可以在现有的办公系统中实现，即可以在常见的网络结构上部署。在根据本专利技术的方法实施的系统里，首先，在步骤1，系统的数据模型模块根据数据库里的数据类型生成统一的数据模型。在步骤2，系统的元数据配置模块根据数据模型里配置元数据提供便利，在一些可选的实施方案中，系统的元数据配置模块可根据已有的元数据库或者数据库自动分析生成所需的元数据，即系统可根据现有的数据库中数据进行数据挖掘，自动生成数据的定义及数据之间的关系，系统管理员可对自动生成的元数据进行修改。在此实施例中，统一数据模型由承建营销系统的厂商提供，数据模型的内容主要包括业务系统中存在哪些对象、对象包含哪些属性以及对象之间的关系等。系统管理员根据该数据模型在系统中录入对应的元数据，对象的元数据包括业务特征和管理特征，限于篇幅下表只列出“合同”的部分元数据:本文档来自技高网...

【技术保护点】
一种基于元数据的数据质量管理方法，其特征在于，包括以下步骤：1）根据数据库内数据建立统一数据模型；2）根据建立的数据模型配置元数据；3）通过解析元数据设置的业务特征和管理特征结果生成校验规则；4）配置执行策略，每一执行策略绑定一个或多个校验规则；5）按计划自动执行策略，在目标数据库中查找并存储目标数据；6）生成报告并分发。

【技术特征摘要】
1.一种基于元数据的数据质量管理方法，其特征在于，包括以下步骤: 1)根据数据库内数据建立统一数据模型； 2)根据建立的数据模型配置元数据； 3)通过解析元数据设置的业务特征和管理特征结果生成校验规则； 4)配置执行策略，每一执行策略绑定一个或多个校验规则； 5)按计划自动执行策略，在目标数据库中查找并存储目标数据； 6)生成报告并分发。2.根据权利要求1所述的基于元数据的数据质量管理方法，其特征在于，步骤3)还包括导出含有校验规则的离线包。3.根据权利要求1所述的基于元数据的数据质量管理方法，其特征在于，所述校验规则包括数据完整性校验规则和数据合规性校验规则。4.根据权利要求1所述的基于元数据的数据质量管理方法，其特征在于，还包括以下步骤:与上次执行策略查找到目标数据进行对比，分析并标记出本次查找到的目标数据中已经整改的数据。5.一种基于元数据的数据质量管理系统，其...

【专利技术属性】
技术研发人员：张诗军，王志英，吕华辉，邹庆，罗四夕，罗念华，朱州，刘学仪，曹军，葛松，袁捷，关志伟，陈健欣，
申请(专利权)人：中国南方电网有限责任公司， 贵州电网公司信息通信分公司， 广东卓维网络有限公司， 贵州广思信息网络有限公司，
类型：发明
国别省市：广东;44