一种基于元数据管理分析系统技术方案

本发明专利技术提供一种基于元数据管理分析系统，包括元模型管理模块配置含有源系统业务数据表的业务单元和映射管理单元，源系统业务数据表存储有若干增量字段，映射管理单元用于创建元数据的映射关系和代码匹配规则；元数据采集模块用于采集元数据并将采集到的元数据传输至元数据处理模块，元数据采集模块包括模板管理单元、元数据库以及入库审核单元；模板管理单元用于提供导入导出元数据的模板，元数据库配置有若干元数据，入库审核单元用于对产生变动的元数据提供入库审核功能；元数据处理模块用于将源系统业务数据表进行处理并整合到元数据库。本发明专利技术能够为企业建立元数据管理体系提供了可靠、便捷的支持。便捷的支持。便捷的支持。

【技术实现步骤摘要】
一种基于元数据管理分析系统


[0001]本专利技术涉及元数据管理
，具体涉及一种基于元数据管理分析系统。

技术介绍

[0002]元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般通过元数据资料库来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同一致。元数据是数据仓库管理的重要组成部分，元数据管理是企业级数据仓库中的核心部分，贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使得数据仓库自动化、可视化。
[0003]元数据的基本特点主要有：
[0004]a)元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要；
[0005]b)元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。
[0006]数据仓库需要借助元数据管理，这是因为数据仓库的数据加工复杂，用户访问方式复杂，以某银行的DW数据为例：上游系统60个，下游系统20多个，仓库内部的表多达12000多个，运行的ETL任务6000多，每个月都有新版本上线，需要维护的数据信息量众多，上下游系统多，变更频繁；维护周期长。此外，现有技术往往采用三范式建模，因此LDM的核心表会有大量的来源与目标，一旦做影响分析，结果就会扩散放大。最终导致分析结果无法使用。

技术实现思路

[0007]有鉴于此，本专利技术要解决的问题是提供一种基于元数据管理分析系统。
[0008]为解决上述技术问题，本专利技术采用的技术方案是：一种基于元数据管理分析系统，包括元模型管理模块，所述元模型管理模块配置含有源系统业务数据表的业务单元和映射管理单元，所述源系统业务数据表存储有若干增量字段，所述映射管理单元用于创建元数据的映射关系和代码匹配规则；
[0009]元数据采集模块，所述元数据采集模块用于采集元数据并将采集到的元数据传输至元数据处理模块，所述元数据采集模块包括模板管理单元、元数据库以及入库审核单元；所述模板管理单元用于提供导入导出元数据的模板，所述元数据库配置有若干元数据，所述入库审核单元用于对产生变动的元数据提供入库审核功能；以及
[0010]元数据处理模块，所述元数据处理模块用于将源系统业务数据表进行处理并整合到元数据库。
[0011]在本专利技术中，优选地，所述元数据处理模块包括数据抽取模块、数据清洗模块、数
据库转换模块以及数据加载模块，所述数据抽取模块用于确定数据源及其来源归属，所述数据清洗模块用于将不完整数据、错误数据、重复数据进行处理剔除；所述数据库转换模块用于空值处理、数据拆分以及负责验证，所述数据加载模块用于将数据缓冲区的数据加载到数据库对应表中。
[0012]在本专利技术中，优选地，所述元模型管理模块还配置有元访问分析模块，所述元访问分析模块用于提供元数据相互关联度、元数据访问频度以及版本比对。
[0013]在本专利技术中，优选地，所述增量字段设置为时间字段或自增长字段，所述增量字段用于判断新增数据或修改数据。
[0014]在本专利技术中，优选地，所述数据加载模块采用全量方式或增量方式完成数据加载。
[0015]在本专利技术中，优选地，所述元模型管理模块的架构由下至上依次包括对象模型层、基础层、资源层、分析层和管理层，所述对象模型层用于提供元数据模型的类的基本结构和相应的类型属性，所述基础层用于提供为驻留于更高层次的其他包提供服务，所述资源层用于作为源数据或目标数据以提供数据资源双向交换，所述分析层用于提供通用元数据，所述管理层用于描述数据仓库信息流以及对应数据仓库信息流的重要事件。
[0016]在本专利技术中，优选地，所述基础层包括业务信息包、数据类型包、表达式包、键和索引包、软件部署包以及类型映射包。
[0017]在本专利技术中，优选地，所述资源层包括对象包、关系型包、记录包、多维包以及XML包。
[0018]在本专利技术中，优选地，所述分析层包括转换包、OLAP分析包、数据挖掘包、信息可视化包以及业务术语包。
[0019]在本专利技术中，优选地，所述元数据库包括DDL、SPQ、Source Data、Excel、XML和Perl。
[0020]在本专利技术中，优选地，所述数据库对应表包括元数据实例表、元数据组合关系表和元数据依赖关系表。
[0021]本专利技术具有的优点和积极效果是：本专利技术通过元模型管理模块中的映射管理单元创建元数据的映射关系和代码匹配规则，与元数据采集模块的相互配合，对元数据库配置的若干元数据产生变动的部分进行入库审核，充分利用元数据库性能，由于元模型管理模块还配置有元访问分析模块，元访问分析模块能够提供元数据相互关联度、元数据访问频度以及版本比对，扩展性能较好，能够解决血缘分析放大问题，可以保持所有的数据始终在数据库当中，避免数据的加载和导出，从而保证效率，进一步提高系统的可监控性与数据的可追溯性。
附图说明
[0022]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0023]图1是本专利技术的一种基于元数据管理分析系统的架构拓扑图；
[0024]图2是本专利技术的一种基于元数据管理分析系统的元数据模型结构图；
[0025]图3是本专利技术的一种基于元数据管理分析系统的ETL工具原理示意图；
[0026]图4是本专利技术的一种基于元数据管理分析系统的元访问分析模块实现功能的元数
据对象关系示意图；
[0027]图5是本专利技术的一种基于元数据管理分析系统的整体结构示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0030]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元数据管理分析系统，其特征在于，包括：元模型管理模块，所述元模型管理模块配置含有源系统业务数据表的业务单元和映射管理单元，所述源系统业务数据表存储有若干增量字段，所述映射管理单元用于创建元数据的映射关系和代码匹配规则；元数据采集模块，所述元数据采集模块用于采集元数据并将采集到的元数据传输至元数据处理模块，所述元数据采集模块包括模板管理单元、元数据库以及入库审核单元；所述模板管理单元用于提供导入导出元数据的模板，所述元数据库配置有若干元数据，所述入库审核单元用于对产生变动的元数据提供入库审核功能；以及元数据处理模块，所述元数据处理模块用于将源系统业务数据表进行处理并整合到元数据库。2.根据权利要求1所述的一种基于元数据管理分析系统，其特征在于，所述元数据处理模块包括数据抽取模块、数据清洗模块、数据库转换模块以及数据加载模块，所述数据抽取模块用于确定数据源及其来源归属，所述数据清洗模块用于将不完整数据、错误数据、重复数据进行处理剔除；所述数据库转换模块用于空值处理、数据拆分以及负责验证，所述数据加载模块用于将数据缓冲区的数据加载到数据库对应表中。3.根据权利要求1所述的一种基于元数据管理分析系统，其特征在于，所述元模型管理模块还配置有元访问分析模块，所述元访问分析模块用于提供元数据相互关联度、元数据访问频度以及版本比对。4.根据权利要求1所述的一种基于元数据管理...

【专利技术属性】
技术研发人员：张卫民，高振宇，
申请(专利权)人：天津浪淘科技股份有限公司，
类型：发明
国别省市：