一种基于模型驱动的数据资产管理方法及系统技术方案

本发明专利技术公开一种基于模型驱动的数据资产管理方法及系统，涉及数据治理技术领域，包括：基于数据资产的存储目的或ETL流程编排目的，确定模型管理工具；对于新业务场景，利用模型管理工具定义模型；对于已经拥有的数据对象或数据处理流程，利用模型管理工具的反射功能反向生成模型；在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号；定义模型发生变更时的检测处理流程；发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。本发明专利技术可以串联数据治理的所有主题环节，解决元数据描述的不同步问题。述的不同步问题。述的不同步问题。

【技术实现步骤摘要】
一种基于模型驱动的数据资产管理方法及系统


[0001]本专利技术涉及数据治理
，具体的说是一种基于模型驱动的数据资产管理方法及系统。

技术介绍

[0002]数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据广泛共享，并能够将数据作为宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。
[0003]数据治理涉及的IT技术主题包括元数据、数据标准、数据质量、数据集成、数据资产、数据交换、数据安全等多环节组成的一整套解决方案。现有数据治理平台虽然每个数据处理环节的产品可以单独应用，但作为一个整套数据治理产品，其缺乏将所有技术主题环节串联起来的媒介通道。

技术实现思路

[0004]本专利技术针对目前技术发展的需求和不足之处，提供一种基于模型驱动的数据资产管理方法及系统，解决数据库表等数据资产结构发生变化后，元数据描述与现实不一致、数据处理流程及数据安全分类分级等后续数据治理措施无法及时更新的相关问题。
[0005]首先，本专利技术提供一种基于模型驱动的数据资产管理方法，解决上述技术问题采用的技术方案如下：
[0006]一种基于模型驱动的数据资产管理方法，包括如下步骤：
[0007]步骤S1、基于数据资产的存储目的或ETL流程编排目的，确定模型管理工具；
[0008]步骤S2、对于没有物理数据对象或数据ETL处理流程的场景，利用模型管理工具定义数据模型或数据ETL处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据ETL处理流程模型；
[0009]步骤S3、在当前环境运行数据库的元数据中写入步骤S2所定义或生成模型的唯一标识和版本号；
[0010]步骤S4、定义模型发生变更时的检测处理流程；
[0011]步骤S5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；
[0012]步骤S6、定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。
[0013]可选的，执行步骤S1时，
[0014]基于数据资产的存储目的，采用开源的CHINER元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；
[0015]基于数据资产的ETL流程编排目的，采用开源的Nifi作为模型管理工具，实现数据拉取、处理和分发。
[0016]可选的，执行步骤S4，定义模型发生变更时的检测处理流程，具体操作为：
[0017]基于Nifi的Schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；
[0018]通过使用Nifi的MQ消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。
[0019]进一步可选的，执行步骤S5，发布发生变更的模型过程中，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入MQ消息中间件；
[0020]基于步骤S4定义的检测处理流程，读取MQ消息中间中的模型变更信息，执行模型变更影响流程。
[0021]可选的，执行步骤S6，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。
[0022]其次，本专利技术提供一种基于模型驱动的数据资产管理系统，解决上述技术问题采用的技术方案如下：
[0023]一种基于模型驱动的数据资产管理系统，其实现模块包括：
[0024]工具确定模块，基于数据资产的存储目的或ETL流程编排目的，用于手动筛选确定模型管理工具；
[0025]模型生成模块，用于利用模型管理工具定义新业务场景下的数据模型或数据ETL处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据ETL处理流程模型；
[0026]写入标记模块，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号，具体体现为在基于模型生成的建表SQL语句中自动在注释语句中添加模型唯一标识和版本号信息；
[0027]变更定义模块，用于定义模型发生变更时的检测处理流程；
[0028]比对发布模块，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；
[0029]统一管理模块，用于定义统一的操作接口，通过该操作接口对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。
[0030]可选的，所涉及工具确定模块基于数据资产的存储目的，筛选采用开源的CHINER元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；
[0031]工具确定模块基于数据资产的ETL流程编排目的，筛选采用开源的Nifi作为模型管理工具，实现数据拉取、处理和分发。
[0032]可选的，所涉及变更定义模块首先基于Nifi的Schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于Nifi的MQ消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。
[0033]进一步可选的，所涉及比对发布模块发布发生变更的模型过程中，
[0034]首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入MQ消息中间件；
[0035]随后，基于变更定义模块定义的检测处理流程，读取MQ消息中间中的模型变更信
息，执行模型变更影响流程。
[0036]可选的，所涉及统一管理模块通过统一的操作接口，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。
[0037]本专利技术的一种基于模型驱动的数据资产管理方法及系统，与现有技术相比具有的有益效果是：
[0038]本专利技术定义统一的操作接口，对模型管理工具进行统一管理，实现了模型的集中管理和发布运行，借助基于模型发生变更时定义的检测处理流程，将数据治理的所有技术主题环节串联起来，可以解决不同操作入口导致元数据描述不同步问题和变更影响操作流程不及时或者遗漏执行等问题。
附图说明
[0039]附图1是本专利技术实施例一的方法流程图；
[0040]附图2是本专利技术实施例二的连接框图。
[0041]附图中各标号信息表示：
[0042]1、工具确定模块，2、模型生成模块，3、写入标记模块，
[0043]4、变更定义模块，5、比对发布模块，6、统一管理模块。
具体实施方式
[0044]为使本专利技术的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本专利技术的技术方案进行清楚、完整的描述。
...

【技术保护点】

【技术特征摘要】
1.一种基于模型驱动的数据资产管理方法，其特征在于,包括如下步骤：步骤S1、基于数据资产的存储目的或ETL流程编排目的，确定模型管理工具；步骤S2、对于没有物理数据对象或数据ETL处理流程的场景，利用模型管理工具定义数据模型或数据ETL处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据ETL处理流程模型；步骤S3、在当前环境运行数据库的元数据中写入步骤S2所定义或生成模型的唯一标识和版本号；步骤S4、定义模型发生变更时的检测处理流程；步骤S5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；步骤S6、定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。2.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤S1时，基于数据资产的存储目的，采用开源的CHINER元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；基于数据资产的ETL流程编排目的，采用开源的Nifi作为模型管理工具，实现数据拉取、处理和分发。3.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤S4，定义模型发生变更时的检测处理流程，具体操作为：基于Nifi的Schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；通过使用Nifi的MQ消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。4.根据权利要求3所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤S5，发布发生变更的模型过程中，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入MQ消息中间件；基于步骤S4定义的检测处理流程，读取MQ消息中间中的模型变更信息，执行模型变更影响流程。5.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤S6，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。6.一种基于模型驱动的数据资产管理系统，其特...

【专利技术属性】
技术研发人员：石园，路国隋，李存冰，王方，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：