一种构建可扩展和可重建的元数据管理的方法及装置制造方法及图纸

本发明专利技术公开一种构建可扩展和可重建的元数据管理的方法及装置，方法包括：进行元数据的操作，包括：元数据发现、元数据管理、元数据推送；微服务的API将数据写入主存储；微服务的API生成元数据变更的记录，写入Kafka；基于Kafka的元数据接收；按场景构建元数据模型；主存储数据及元数据异常重建；构建元数据事件的实时响应。本发明专利技术针对元数据存储的数据出现问题，易于重建和修复；元数据处理的性能通过Flink/SparkStreaing程序，性能可以任意横向扩展；可构建完整的元数据事件的实时响应系统；可灵活地按场景构建元数据模型。可灵活地按场景构建元数据模型。可灵活地按场景构建元数据模型。

【技术实现步骤摘要】
一种构建可扩展和可重建的元数据管理的方法及装置


[0001]本专利技术涉及元数据管理领域，尤其是一种构建可扩展和可重建的元数据管理的方法及装置。

技术介绍

[0002]常规的元数据处理架构，以开源的Apache Altas项目为例，元数据的获取主要有Rest API和Kafka两种方式，两种方式并存，分别适配不同的场景。
[0003]Apache Altas是大数据的元数据管理和数据治理平台,是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目。
[0004]Rest API：通过Rest构建的API，通过HTTP请求的方式访问应用程序的接口。
[0005]Rest API接口直接操作元数据存储的数据库，包括查询元数据以及通过管理页面对元数据执行增删改操作。
[0006]Kafka则是将获取的元数据发送至Kafka专用的Topic，然后，数据解析程序消费Kafka的数据，生成相应的元数据，写入元数据存储。
[0007]存在的问题如下：
[0008](1)、元数据存储的数据出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种构建可扩展和可重建的元数据管理的方法，其特征在于，该方法包括：S01、进行元数据的操作，包括：元数据发现、元数据管理、元数据推送；S02、微服务的API将数据写入主存储；微服务的API生成元数据变更的记录，写入Kafka；S03、基于Kafka的元数据接收；S04、按场景构建元数据模型；S05、主存储数据及元数据异常重建；S06、构建元数据事件的实时响应。2.根据权利要求1所述的构建可扩展和可重建的元数据管理的方法，其特征在于，所述S01包括：S011、元数据发现，远程连接至源端，探查、发现元数据，执行元数据的拉取；S012、元数据管理，通过元数据的管理页面，对元数据进行增删改查的操作，将元数据操作获取的原始的元数据，根据主存储的元数据的模型，执行转换操作，写入主存储；S013、元数据推送，元数据通过Hook，监听元数据的变更，获取元数据变更的事件。3.根据权利要求2所述的构建可扩展和可重建的元数据管理的方法，其特征在于，所述元数据发现，通过微服务的API或Kafka两种方式接收元数据；所述元数据管理，通过微服务的API直接操纵元数据；所述元数据推送，通过调用微服务的API或发送元数据至Kafka两种方式实现。4.根据权利要求1所述的构建可扩展和可重建的元数据管理的方法，所述S02中元数据变更记录包括：对元数据进行增加、删除、修改操作的全部信息，基于变更记录，可恢复元数据的操作。5.根据权利要求1所述的构建可扩展和可重建的元数据管理的方法，其特征在于，所述S03包括：S031、元数据写入专用的Kafka的topic；S032、启动Flink或SparkStreaming流处理程序，消费Kafka的topic的数据；S033、将数据按照微服务API接口的规范进行转换，然后转入S02步骤。6.根据权利要求1所述的构建可扩展和可重建的元数据管理的方法，其特征在于，所述S04包括：S041、启动Flink或者SparkStreaming等流处理程序，消费Kafka的元数据变更记录；S042、根据元数据的模型，构建全文检索...

【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：