企业级数据中心的元数据质量稽核系统、方法及平台技术方案

本发明专利技术公开了一种企业级数据中心元数据质量稽核系统、稽核方法以及稽核平台，稽核系统包括：任务定义模块，配置稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；运行监控模块，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果；质量分析模块，查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种企业级数据中心元数据质量稽核系统、稽核方法以及稽核平台，稽核系统包括：任务定义模块，配置稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；运行监控模块，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果；质量分析模块，查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。【专利说明】企业级数据中心的元数据质量稽核系统、方法及平台
本专利技术属于数据校验应用领域，涉及对稽核的数据资源统一管理，具体涉及一种企业级数据中心的元数据质量稽核系统、稽核方法及稽核平台。
技术介绍
为提高数据资产的管理应用水平，发挥数据资产的潜在价值，在数据中心建设和企业数据模型建设的基础上，必须通过制定一套元数据管理控制规范，并进行不断优化，从初步构建元数据管理控制规范和平台开始，向元数据管理自动化推进，最终实现数据资产管理和使用标准化，最大限度的发挥数据资产的价值。由于国内信息化起步晚，加之数据质量管控也是近些年才越来越多地得到企业的关注，总体上看产品的成熟度不足，国内案例较少。但拥有数据质量管控的强大优势却是不容忽视的。
技术实现思路
本专利技术公开了一种企业级数据中心元数据质量稽核系统，包括: 任务定义模块，配置稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则； 运行监控模块，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果； 质量分析模块，查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。其中，任务定义模块对数据对象来源数据库的连接进行配置和管理，实现手工文件的导入和数据读取，支持浏览并选择数据库中的数据表及导入的手工数据表作为稽核对象，提供各种类型的稽核模板，通过选择已有模板实现某类型稽核任务的建立，根据配置的规则将规则应用于稽核任务中设置的稽核对象，通过在界面定义一系列新的稽核任务流程实现任务的生成。其中，运行监控模块能够按照使用者的视角对已有稽核任务进行分类管理和集中浏览，以实时或定时的方式执行数据质量稽核任务，汇总查看稽核任务的执行结果，并查看执行结果的明细信息，能够查看稽核任务执行的日志信息，辅助确定数据质量问题产生的原因。其中，质量分析模块实现多种总体数据质量报告，洞察信息中心的全局性数据质量，实现所有稽核任务的结果详细报告和分类汇总报告，了解该类问题的质量状况，实现质量报告按照时间维度、校验对象等进行筛选及查看。本专利技术还公开了采用上述企业级数据中心元数据质量稽核系统进行元数据质量稽核的方法，包括如下步骤:I)从任务定义模块配置好稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则； 2)从运行监控模块启动稽核，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果； 3)质量分析模块查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。其中，步骤I)中任务定义模块实现连接管理、稽核模板、新建稽核、修改稽核四个功能，为运行监控模块提供任务定义、修改的功能；运行监控模块提供稽核时间配置、运行任务和查看结果功能；质量分析模块提供查看稽核实例报告、稽核维度汇总报告、质量健康状况总体报告和数据对象汇总报告这四种质量分析报告。本专利技术还公开了一种基于企业级数据中心元数据质量稽核平台，包括展现层、应用层、数据层和源系统层，其中展现层主要描述各类用户访问数据质量稽核平台的方式方法；应用层主要描述各类用户使用数据质量稽核平台的功能界面和输入输出；数据层涵盖了平台所涉及的所有数据；源系统层对应纳入平台管理的各类数据源。其中，应用层功能涵盖任务定义、运行监控和质量分析三大核心模块，以及平台基础辅助功能(用户管理、搜索功能)；稽核的基本流程贯通了三大核心模块的功能:先从任务定义模块配置好稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；从运行监控模块启动稽核，最后查看稽核结果；质量分析模块可查看各类汇总报告。其中，数据层涵盖了平台所涉及的所有数据，包括元数据库、对源系统进行数据质量稽核时的数据缓存区、系统配置信息库、平台的校验规则库、质量稽核执行脚本库、各类质量稽核结果数据以及平台稽核能力所对应的质量报告模板库。其中，源系统层对应纳入平台管理的各类数据源，主要包括:业务操作系统，如交易系统、营销系统等；数据中心相关系统，如数据抽取平台、数据仓库等；分析应用系统，如三大分析体系等的基础数据或者业务指标数据。本专利技术的应用对于提升数据中心在企业中的作用有着重要的意义。【专利附图】【附图说明】图1为数据质量稽核平台功能架构图。【具体实施方式】企业级数据中心元数据质量稽核方法，其核心是元数据质量稽核规则体系，包括以下两方面共11项。一、基础数据质量方面 1、数据完整性:实体的每个属性都有明确的值，不存在“空”或“未知”的属性； 2、数据相关性:对于数据库中的某些实体，它们的存在可能要依赖于其它的实体，对这样的实体要满足外键参照完整性； 3、数据唯一性:满足主键唯一性约束，即一个表中的一组属性的值是唯一的； 4、数据有效性:数据要满足值域和数据有效范围定义，或满足数据格式及相关约束，即保证实体属性的值要在用户定义的有效范围之内； 5、数据及时性:数据的提交或获取满足业务应用对数据的时间要求； 6、非重复记录:是否存在多个记录表现同一个实体的现象。 二、业务指标质量方面 7、指标逻辑合规性:业务指标的计算规则或结果符合业务校验规则； 8、指标计算逻辑准确性:指标的计算逻辑正确，在数据的计算和转换过程中没有存在偏差; 9、指标口径一致性:在分析体系之间或内部指标的口径保持一致； 10、指标交叉验证:通过抽象数据与汇总数据的交叉验证，或者现有数据与引用数据的交叉验证，评判数据质量的状况； 11、指标的异常及波动性检查。稽核的基本流程贯通了三大核心模块的功能: 1)先从任务定义模块配置好稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则； 2)从运行监控模块启动稽核，设置实时或者定时的调度方式，任务执行后可以在稽核结果视图中查看不同层面的稽核结果； 3)质量分析模块可查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。其中任务定义模块实现连接管理、稽核模板、新建稽核、修改稽核四个功能，为运行监控模块提供了任务定义、修改的功能。运行监控模块提供了稽核时间配置、运行任务和查看结果的功能。质量分析模块提供查看稽核实例报告、稽核维度汇总报告、质量健康状况总体报告和数据对象汇总报告这四种质量分析报告。下面根据附图及具体实施案例对本专利技术再作进一步详细说明。附图1为基于企业级数据中心元数据质量稽核方法所开发的数据质量稽核平台的功能架构，包括了展现层、应用层、数据层、源系统层。1、展现层:主要描述各类用户访问数据质量稽核平台的方式方法。根据华北电网信息化建设要求，各类用户将通过华北电网门户提供的单点登录功能进入数据质量稽核平台，访问平台提供给用户的富客户端应用模块。2、应用层:主要描述各类用户使用数据质量稽核平台的功能界面和输入输出。本本文档来自技高网...

【技术保护点】
一种企业级数据中心元数据质量稽核系统，其特征在于，包括：任务定义模块，配置稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；运行监控模块，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果；质量分析模块，查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。

【技术特征摘要】

【专利技术属性】
技术研发人员：李坤，吴舜，吴佳，苏丹，高崧，聂正璞，许大卫，杜剑雯，刘昀，来骥，李贤，李晓东，李超，刘志伟，杨帆，李雪梅，那琼澜，
申请(专利权)人：国家电网公司，国网冀北电力有限公司信通分公司，北京博望华科科技有限公司，
类型：发明
国别省市：