一种应用于企业级数据治理的元数据管理方法及平台技术

本发明专利技术的技术方案是提供了一种应用于企业级数据治理的元数据管理方法

【技术实现步骤摘要】
一种应用于企业级数据治理的元数据管理方法及平台


[0001]本专利技术涉及一种支持自定义元模型的元数据管理方法以及平台，属于数据资产管理方法及平台

。

技术介绍

[0002]在数据资产管理领域，企业通过元数据描述企业数据本身及数据在使用过程中的信息，并通过元数据关系进行血缘分析
、
影响分析
、
关联度分析等，实现数据关键信息的追踪与记录，快速掌握数据变更可能造成的影响，有效评估数据变化可能带来的风险，直观识别数据的重要程度
。
[0003]现有的元数据管理办法主要面向特定系统，进一步包括元数据采集模块
、
元数据识别模块
、
元数据分类模块
、
元数据查看模块以及元数据应用模块
。
实际企业在数据资产管理中，需要打通各个不同的业务系统，构建全局的数据视图，但各个业务系统的数据类型和数据来源都是多样化的，面向单系统的元数据管理工具显然是不能支持的
。

技术实现思路

[0004]本专利技术的目的是：提供一种支持多系统的统一元数据管理的技术方案
。
[0005]为了达到上述目的，本专利技术的技术方案是提供了一种应用于企业级数据治理的元数据管理方法，其特征在于，包括以下步骤：
[0006]步骤
1、
定义企业级元数据，通过定义企业级元数据将元数据定义结构化为特定信息，使得不同系统的元数据都能够被结构化的表述和记录，包括以下步骤：/>[0007]步骤
101、
第一用户设定第一系统的第一元模型，通过定义属性字段和主键成员字段来构成完整的元模型，每个元模型都定义了业务主键，业务主键由多个属性字段构成，并根据属性字段生成第一个数据结构，同时解析字段类型生成多场景的
JSON
格式模板，用作第一组数据接口；
[0008]步骤
102、
不同于第一用户的第二用户设定第二系统的第二元模型，并以外键关联的方式设定第一元模型与第二元模型的关系，其中，第二系统不同于第一系统，第二元模型的外键保存第一元模型的模型
ID
，同时生成第一元模型与第二元模型的关系定义，其中，关系定义上至少保留关联字段，关联字段通过元模型关系树把第一元模型的元模型
ID
替换为第一元模型的
JSON
结构，关联的元模型构成元模型关系树；
[0009]步骤
103、
根据第二用户设定的第二系统的第二元模型生成第二个数据结构，并生成第二组数据接口，第二用户关注第一元模型的业务定义，通过第一元模型的业务主键定位第一元模型数据；
[0010]步骤
2、
元数据管理，包括元模型的数据采集
、
元数据关联与替换
、
元数据关系维护以及元数据查询；
[0011]元模型的数据采集：采集方通过增删改数据接口的
JSON
格式录入元数据，其中，
JSON
定义的是元模型关系树，将模型关系树中的叶子元模型数据定义为第一目标元模型数
据，根节点元模型数据定义为第二目标元模型数据，则采集方通过业务主键确定第一目标主键和第二目标主键，并将第二目标元模型数据中关联的第一目标元模型
JSON
格式替换为第一目标主键，所有的第一目标元模型数据替换完成后，将第二目标元模型数据保存；
[0012]元数据关联与替换：第一目标元模型和第二目标元模型构成元模型关联树，则包括以下步骤：
[0013]从叶子节点的第一元模型为起点加载第一目标元模型数据，通过业务主键从存储中获取第一目标元模型数据的元模型
ID
：若获取失败将提示元数据关联错误；若获取成功后，将第二目标元模型数据中的第一目标元模型数据替换为元模型
ID
，直到所有第一目标元模型数据替换完成；
[0014]处理当前录入的根节点元模型：对比当前元数据与历史元数据业务主键，判断是否已存在，从而采取进一步增
、
删
、
改操作：新增时，自动生成第二目标元模型数据主键；删改时，通过元模型关系定义校验元数据上下游关联情况，防止数据错误关联或被关联数据删除导致关系链断裂
。
[0015]元数据关系维护：元数据关系独立于元数据字段，单独存储在分布式图数据库中，其中，通过元模型中定义的关系及方向，分布式图数据库中以元模型
ID
为点，元模型关系为边，将所有元模型数据构建成图；当采集第一元模型数据时，向分布式图数据库中写入第一元模型数据的元模型
ID
为第一目标元数据点；当采集第二目标元模型数据时，向分布式图数据库中写入第二元模型数据的元模型
ID
为第二目标元数据点，第二元数据点指向第一元数据点的边；
[0016]元数据查询：包括元数据关系查询和元数据信息查询，其中：
[0017]采用元数据关系模块通过元模型关系将所有元模型数据构建成图结构，用于查找特定元数据类型或元数据关系类型，也能够用于查询一个或一类元数据影响范围，或对一类元数据或一类元数据关系进行统计；
[0018]在元数据信息模块中保存元数据具体信息后，实时构建元模型关系树，查询元数据信息时，通过元模型关系树装配上游完整元数据信息
。
[0019]优选地，步骤
101
中，生成所述第一个数据结构时采用关系型数据库建表的方法
。
[0020]优选地，步骤
102
中，所述关系定义上保留元模型
、
元模型关联字段以及元模型关联方向
。
[0021]优选地，步骤
101
中的第一组数据接口以及步骤
103
中的第二组数据接口包括查询接口
、
全量更新接口
、
选择更新接口
、
删除接口，其中，查询接口用于各个场景查询元数据信息，全量更新接口
、
选择更新接口
、
删除接口用于元数据采集程序进行插入
、
更新
、
删除元数据信息
。
[0022]优选地，使用方能够通过一个元模型的属性字段定位其上下游的元模型
。
[0023]优选地，步骤1中，结构化后的企业级元数据包括元数据基本信息和元数据属性，其中，元数据基本信息包括元模型
ID、
元模型分类
、
元模型名称
、
元模型说明
、
元模型负责人，元数据属性包括属性英文名
、
属性中文名
、
字段类型
、
是否业务主键
、
是否关联元模型
、
关联元模型信息
。
[0024]本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种应用于企业级数据治理的元数据管理方法，其特征在于，包括以下步骤：步骤
1、
定义企业级元数据，通过定义企业级元数据将元数据定义结构化为特定信息，使得不同系统的元数据都能够被结构化的表述和记录，包括以下步骤：步骤
101、
第一用户设定第一系统的第一元模型，通过定义属性字段和主键成员字段来构成完整的元模型，每个元模型都定义了业务主键，业务主键由多个属性字段构成，并根据属性字段生成第一个数据结构，同时解析字段类型生成多场景的
JSON
格式模板，用作第一组数据接口；步骤
102、
不同于第一用户的第二用户设定第二系统的第二元模型，并以外键关联的方式设定第一元模型与第二元模型的关系，其中，第二系统不同于第一系统，第二元模型的外键保存第一元模型的模型
ID
，同时生成第一元模型与第二元模型的关系定义，其中，关系定义上至少保留关联字段，关联字段通过元模型关系树把第一元模型的元模型
ID
替换为第一元模型的
JSON
结构，关联的元模型构成元模型关系树；步骤
103、
根据第二用户设定的第二系统的第二元模型生成第二个数据结构，并生成第二组数据接口，第二用户关注第一元模型的业务定义，通过第一元模型的业务主键定位第一元模型数据；步骤
2、
元数据管理，包括元模型的数据采集
、
元数据关联与替换
、
元数据关系维护以及元数据查询；元模型的数据采集：采集方通过增删改数据接口的
JSON
格式录入元数据，其中，
JSON
定义的是元模型关系树，将模型关系树中的叶子元模型数据定义为第一目标元模型数据，根节点元模型数据定义为第二目标元模型数据，则采集方通过业务主键确定第一目标主键和第二目标主键，并将第二目标元模型数据中关联的第一目标元模型
JSON
格式替换为第一目标主键，所有的第一目标元模型数据替换完成后，将第二目标元模型数据保存；元数据关联与替换：第一目标元模型和第二目标元模型构成元模型关联树，则包括以下步骤：从叶子节点的第一元模型为起点加载第一目标元模型数据，通过业务主键从存储中获取第一目标元模型数据的元模型
ID
：若获取失败将提示元数据关联错误；若获取成功后，将第二目标元模型数据中的第一目标元模型数据替换为元模型
ID
，直到所有第一目标元模型数据替换完成；处理当前录入的根节点元模型：对比当前元数据与历史元数据业务主键，判断是否已存在，从而采取进一步增
、
删
、
改操作：新增时，自动生成第二目标元模型数据主键；删改时，通过元模型关系定义校验元数据上下游关联情况，防止数据错误关联或被关联数据删除导致关系链断裂
。
元数据关系维护：元数据关系独立于元数据字段，单独存储在分布式图数据库中，其中，通过元模型中定义的关系及方向，分布式图数据库中以元模型
ID
为点，元模型关系为边，将所有元模型数据构建成图；当采集第一元模型数据时，向分布式图数据库中写入第一元模型数据的元模型
ID
为第一目标元数据点；当采集第二目标元模型数据时，向分布式图数据库中写入第二元模型数据的元模型
ID
为第二目标元数据点，第二元数据点指向第一元数据点的边；元数据查询：包括元数据关系查询和元数据信息查询，其中：
采用元数据关系模块通过元...

【专利技术属性】
技术研发人员：何思佳，李晟，万心悦，
申请(专利权)人：东方财富信息股份有限公司，
类型：发明
国别省市：