基于业务元数据驱动的企业数据治理方法和系统技术方案

本发明专利技术公开了基于业务元数据驱动的企业数据治理方法和系统，属于企业领域，用于解决企业数据治理平台与企业业务运作分离的问题，包括数据治理管理界面、数据模型解析子系统和数据治理执行子系统，包括数据管理工作流，数据清理平台，数据交换平台，和数据质量分析的调度和监控系统，本发明专利技术引入业务元数据驱动的企业数据治理，将企业业务管理产生的业务元数据，通过分类分层的业务解析模型，自动生成与业务模型相适配的企业数据模型，再由数据模型解析到企业数据治理平台的数据标准模型、数据集成模型、数据质量模型和数据监控模型，实现企业数据治理平台对企业业务的智能适配，提高企业数据管理质量，降低管理负担。降低管理负担。降低管理负担。

【技术实现步骤摘要】
基于业务元数据驱动的企业数据治理方法和系统


[0001]本专利技术属于企业领域，涉及数据治理技术，具体是基于业务元数据驱动的企业数据治理方法和系统。

技术介绍

[0002]目前，几乎所有企业都安装或建设有自己的信息化系统，比如财务系统，客户关系管理系统，供应链管理系统等。随着企业信息化程度的不断提高，企业部署越来越多的业务应用，并沉积越来越多的数据，随之而来的问题就是如何将各个业务系统的数据做有效统一的管理，从而，1)打通不同业务系统的数据孤岛，使业务间更好的协同，2)在跨系统业务作业时，由于业务数据在不同业务部门存在不一致的解释，业务部门不得不维护线下表格，以支撑跨业务应用的协作，3)综合各业务系统的数据，建立企业全局的数据视图，从全局角度对各个业务线进行跨业务、多角度、多层次的综合分析，4)应用系统无法及时跟上企业发展中的业务规则和管理规则的变化，规则变化后，业务部门通常也采用线下表格的方式维护企业数据，这些零散数据也无法得到及时的管理和规范。
[0003]当前主流的数据治理大多是以项目制运作，一般项目分为数据管理咨询和数据管理平台实施两部分。
[0004]数据管理咨询项目主要对企业进行数据治理理论培训，调研企业业务现状、数据现状和一定时间内业务需求，根据企业业务模型为企业制定数据模型和数据标准，并建设数据管理组织、管理流程和管理制度，给出企业数据治理规划方案。
[0005]企业数据管理平台实施项目主要是按企业数据模型和数据标准对历史数据进行清洗，对企业当前应用系统间的数据交换进行规范和整理，建立数据映射关系，并部署数据质量监控系统，按企业当前数据模型和标准对企业数据质量进行监控和跟踪。
[0006]当前项目制的数据治理方案只能保证项目实施完成时解决企业当下的数据治理问题，由于企业业务的持续发展和变化，无法为保障企业数据的持续治理，也同时带来额外的管理负担。主要表现在：
[0007]1.没有解决企业业务管理和数据管理“两层皮”的问题。企业运行核心是业务管理，数据治理项目建立的数据管理组织脱离业务管理流程，随着时间推移，逐渐流于形式。
[0008]2.项目制定的数据标准，只是从数据治理角度制定，脱离业务场景。在不同业务场景下，有不同的业务流程和业务规则，因此也是不同的数据标准。从数据标准角度，如果无法支撑业务场景数据，就无法形成对现有和未来业务的有效支持。
[0009]3.项目制定的数据集成方案，只是面向当前业务应用系统的集成方案，无法支撑企业后续新增应用系统的实施和集成。
[0010]4.项目制定的数据治理没有为企业沉淀数据管理能力，在业务模式和业务流程发生变更，企业缺乏有效的工具对现有数据治理系统进行配置更新。

技术实现思路

[0011]针对现有技术存在的不足，本专利技术目的是提供基于业务元数据驱动的企业数据治理方法和系统。
[0012]本专利技术解决的技术问题是企业数据治理平台与企业业务运作分离的问题，引入业务元数据驱动的企业数据治理，将企业业务管理产生的业务元数据，通过分类分层的业务解析模型，自动生成与业务模型相适配的企业数据模型，再由数据模型解析到企业数据治理平台的数据标准模型、数据集成模型、数据质量模型和数据监控模型，实现企业数据治理平台对企业业务的智能适配，提高企业数据管理质量，降低管理负担。
[0013]本专利技术的目的可以通过以下技术方案实现：
[0014]基于业务元数据驱动的企业数据治理系统，包括数据治理管理界面、数据模型解析子系统和数据治理执行子系统；
[0015]数据治理管理界面，用于为业务架构师、数据治理工程师和系统集成工程师提供相应的操作界面，为业务架构师提供用户登录、业务模型调入、业务模型规则配置等功能，为数据治理工程师提供数据模型管理、数据标准审核与发布、数据质量管理与分析结果跟踪等功能，为系统集成工程师提供业务与应用系统关系配置、应用系统数据分布查看功能；
[0016]数据模型解析子系统，用于提供基于业务元数据的业务模型到数据模型的解析，生成企业数据模型，然后通过业务模型与数据模型，生成面向企业数据治理的数据标准、数据集成模型和数据质量模型，包括系统集成中数据集成的API和数据质量分析任务，进而控制数据治理执行系统执行具体的数据治理任务；
[0017]数据治理执行子系统，包括数据管理工作流，数据清理平台，数据交换平台，和数据质量分析的调度和监控系统。
[0018]进一步地，数据治理系统管理界面单元包括：
[0019]用户登录模块：用于验证用户身份，确保授权用户才能登录系统，并登录系统后执行被授权的执行界面的相应操作；
[0020]业务模型导入模块：用于以可视化界面支持业务架构师将按照指定格式输出的业务架构模型导入到系统中；
[0021]业务规则配置模块：用于以可视化界面支持业务架构师对各个业务流程段的业务场景配置业务规则；
[0022]数据模型管理模块：用于以可视化界面支持数据治理工程师对系统生成的数据模型进行管理；
[0023]数据标准审核与发布：用于以可视化界面支持对数据治理工程师的指定的数据标准进行审核与发布，以及数据标准参考库的管理；
[0024]数据质量管理与分析结果跟踪模块：用于以可视化界面支持数据治理工程师对数据质量分析任务进行配置和调度，查看系统数据质量分析结果，跟踪数据质量改进任务；
[0025]业务与应用系统关系配置模块：用于以可视化界面支持系统集成工程师与业务架构师的协作，配置业务模块与应用系统的对应关系，应用系统间交互接口；
[0026]应用系统数据分布查看模块：用于以可视化界面支持系统集成工程师查看各应用系统中数据的生命周期，和各应用系统间数据交互情况。
[0027]进一步地，数据模型解析子系统包括：
[0028]业务模型解析算法单元：包括业务模型解析算法程序和数据模型生成算法程序，以及支撑算法运行的规则和存储模块；
[0029]数据标准生成算法单元：包括数据标准生成算法程序，以及支撑算法运行的规则和数据标准参考库；
[0030]数据集成解析算法单元：包括面向应用系统集成的集成API生成算法程序，以及支撑算法运行的应用系统接口配置库，API测试及存储模块；
[0031]数据质量解析算法单元：包括面向不同数据类型的数据质量模型生成算法，以及支撑算法运行的质量判定规则配置。
[0032]进一步地，数据治理执行子系统包括：
[0033]数据管理工作流单元：包括数据治理执行过程中申请、审核、变更等流程的任务流转；
[0034]数据清洗平台：包括数据治理执行过程中历史数据清洗需要的工具包；
[0035]数据交换平台：包括数据治理执行过程中各应用系统间的数据交换，包括数据采集和分发；
[0036]数据质量监控任务调度：包括数据治理执行过程中数据质量监控和任务调度；
[0037]数据质量分析平台：包括数据治理执行过程中数据质量分析任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于业务元数据驱动的企业数据治理系统，其特征在于，包括数据治理管理界面、数据模型解析子系统和数据治理执行子系统；数据治理管理界面，用于为业务架构师、数据治理工程师和系统集成工程师提供相应的操作界面，为业务架构师提供用户登录、业务模型调入、业务模型规则配置等功能，为数据治理工程师提供数据模型管理、数据标准审核与发布、数据质量管理与分析结果跟踪等功能，为系统集成工程师提供业务与应用系统关系配置、应用系统数据分布查看功能；数据模型解析子系统，用于提供基于业务元数据的业务模型到数据模型的解析，生成企业数据模型，然后通过业务模型与数据模型，生成面向企业数据治理的数据标准、数据集成模型和数据质量模型，包括系统集成中数据集成的API和数据质量分析任务，进而控制数据治理执行系统执行具体的数据治理任务；数据治理执行子系统，包括数据管理工作流，数据清理平台，数据交换平台，和数据质量分析的调度和监控系统。2.根据权利要求1所述的基于业务元数据驱动的企业数据治理系统，其特征在于，数据治理系统管理界面单元包括：用户登录模块：用于验证用户身份，确保授权用户才能登录系统，并登录系统后执行被授权的执行界面的相应操作；业务模型导入模块：用于以可视化界面支持业务架构师将按照指定格式输出的业务架构模型导入到系统中；业务规则配置模块：用于以可视化界面支持业务架构师对各个业务流程段的业务场景配置业务规则；数据模型管理模块：用于以可视化界面支持数据治理工程师对系统生成的数据模型进行管理；数据标准审核与发布：用于以可视化界面支持对数据治理工程师的指定的数据标准进行审核与发布，以及数据标准参考库的管理；数据质量管理与分析结果跟踪模块：用于以可视化界面支持数据治理工程师对数据质量分析任务进行配置和调度，查看系统数据质量分析结果，跟踪数据质量改进任务；业务与应用系统关系配置模块：用于以可视化界面支持系统集成工程师与业务架构师的协作，配置业务模块与应用系统的对应关系，应用系统间交互接口；应用系统数据分布查看模块：用于以可视化界面支持系统集成工程师查看各应用系统中数据的生命周期，和各应用系统间数据交互情况。3.根据权利要求1所述的基于业务元数据驱动的企业数据治理系统，其特征在于，数据模型解析子系统包括：业务模型解析算法单元：包括业务模型解析算法程序和数据模型生成算法程序，以及支撑算法运行的规则和存储模块；数据标准生成算法单元：包括数据标准生成算法程序，以及支撑算法运行的规则和数据标准参考库；数据集成解析算法单元：包括面向应用系统集成的集成API生成算法程序，以及支撑算法运行的应用系统接口配置库，API测试及存储模块；数据质量解析算法单元：包括面向不同数据类型的数据质量模型生成算法，以及支撑
算法运行的质量判定规则配置。4.根据权利要求1所述的基于业务元数据驱动的企业数据治理系统，其特征在于，数据治理执行子系统包括：数据管理工作流单元：包括数据治理执行过程中申请、审核、变更的任务流转；数据清洗平台：包括数据治理执行过程中历史数据清洗需要的工具包；数据交换平台：包括数据治理执行过程中各应用系统间的数据交换，包括数据采集和分发；数据质量监控任务调度：包括数据治理执行过程中数据质量监控和任务调度；数据质量分析平台：包括数据治理执行过程中数据质量分析任务的自动化执行。5.基于业务元数据驱动的企业数据治理方法，其特征在于，企业数据治理方法具体如下：步骤S101，系统配置子流程；步骤S102，业务模型解析子流程；步骤S103，数据模型解析子流程；步骤S104，数据模型应用子流程。6.根据权利要求5所述的基于业务元数据驱动的企业数据治理方法，其特征在于，在步骤S101中，系统配置子流程具体如下：用户登录：用户通过用户名和密码登录到本系统；导入业务模型：业务架构师在界面上将业务模型导入系统，系统将业务模型存储到系统数据库，供业务模型解析算法使用；配置业务规则：业务架构师在界面上进行业务规则配置，系统将业务规则保存到系统数据库；业务规则配置在分层业务模型的节点上，分为流程规则和数据规则；配置业务模型解析规则；导入主数据模型：数据治理工程师在界面上将主数据和基础数据模型导入系统中，系统将主数据和基础数据模型保存到系统数据库，供业务模型解析算法单元使用；配置数据标准模型规则：数据治理工程师在界面上配置数据标准模型，系统将数据标准模型及其匹配规则保存到系统数据库，供数据标准生成算法单元使用；审核与发布数据标准：数据治理工程师在界面上发起数据标准的审核和发布流程，对应管理人员在界面上进行审核和发布；配置数据质量模型规则：数据治理工程师在界面上配置数据质量模型，系统将数据质量模型及其匹配规则保存到系统数据库，供数据质量判定算法单元使用；配置数据质量分析与调度：数据质量工程师在界面上配置数据质量分析任务的参数或通过界面直接启动数据质量分析任务或者设定任务启动时间；配置业务与应用系统关系：系统集成工程师在界面上配置业务分层模型与应用系统的对应关系，系统对输入信息进行分析，形成业务应用系统关系模型，供数据集成解析算法使用；配置应用系统数据交换接口：系统集成工程师在界面上配置应用系统支持的数据交换接口，包括HTTP API、数据库连接和第三方定义接口，对于每种接口方式配置对应的参数，并将应用系统接口能力保存到数据库，供数据集成解析算法使用。
7.根据权利要求6所述的基...

【专利技术属性】
技术研发人员：丛宏雷，黄晋竹，李柯，
申请(专利权)人：杭州硕磐智能科技有限公司，
类型：发明
国别省市：