一种数据库元数据采集与管理的方法技术

本发明专利技术涉及一种数据库元数据采集与管理的方法，该方法通过使用元数据采集网络和元数据管理网络来实现，其中，元数据采集网络包括数据源数据库、内置关系型数据库、Debezium和Kafka，该方法包括：(1)元数据管理网络监控数据源数据库并开始采集元数据，包括全量采集和增量采集；(2)元数据信息被保存到内置关系型数据库；(3)元数据管理网络对内置关系型数据库获取到的元数据进行管理，包括添加数据库字典、标记元数据信息和更新旧版本，然后返回(2)，直至元数据管理网络中的对外接口接收操作指令，结束。与现有技术相比，本发明专利技术具有实时性强和方便对历史数据进行管理等优点。性强和方便对历史数据进行管理等优点。性强和方便对历史数据进行管理等优点。

【技术实现步骤摘要】
一种数据库元数据采集与管理的方法


[0001]本专利技术属于元数据
，涉及一种数据库元数据采集与管理的方法。

技术介绍

[0002]为了满足不同用户数据库数据的同步需求，用户需要同步数据库部分库或表中的数据，又或者需要做异构数据库同步。基于此需求，部分公司开发了基于事务日志的数据同步产品，将数据库的事务日志数据解析成和数据库无关的结构数据。，然后将这些结构数据按照目标数据库的需求导入到目标数据库中，从而实现数据同步功能。在上述数据同步过程中，为了将事务日志数据解析成和数据库无关的结构数据，通常需要获取数据库的元数据，然而事务日志本身无法直接提供这些数据。因此，现有技术中获取元数据的方案包括从数据库事务日志中获取DDL，即数据定义语言，在同种数据库中执行获取到DDL后，再从此同种数据库中获取元数据；直接从数据库中获取元数据并保存到备份数据库中，提供元数据查询；从数据库中获取全量元数据并保存到备份数据库中，基于此时间节点再进行数据库事务日志解析，将后续元数据变化更新到备份数据库中，提供元数据查询。
[0003]但是现有技术中获取元数据的方式存在以下缺陷：只能提供数据库事务日志数据的时间戳对应的元数据，无法提供之前的其他时间点的元数据；由于数据库元数据是实时变化的，直接查询数据库可能出现获取到的元数据与解析数据库事务日志得到的元数据不一致的情况。

技术实现思路

[0004]本专利技术的目的是提供一种数据库元数据采集与管理的方法，以克服增量采集实时性差和没有对历史数据没有做出相关管理的缺点。r/>[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种数据库元数据采集与管理的方法，该方法通过使用元数据采集网络和元数据管理网络来实现，其中，元数据采集网络包括数据源数据库、内置关系型数据库、Debezium和Kafka，该方法包括：
[0007]步骤S1、元数据管理网络监控数据源数据库并开始全量采集元数据，同时执行步骤S2和步骤S3；
[0008]步骤S2、检测是否有增量数据，若是，进入步骤S5，若否，重新进入步骤S2；
[0009]步骤S3、元数据信息被保存到内置关系型数据库；
[0010]步骤S4、元数据管理网络对内置关系型数据库获取到的元数据进行管理，包括添加数据库字典、标记元数据信息和更新旧版本，然后返回步骤S3，直至元数据管理网络中的对外接口接收操作指令，结束；
[0011]步骤S5、进行增量采集，进入步骤S3。
[0012]进一步地，所述的增量采集的步骤包括：
[0013]步骤S501、当所述的数据源数据库中的元数据发生变化时，所述的Debezium对数
据源数据库的事务日志进行解析；
[0014]步骤S502、所述的Kafka接收被Debezium解析的数据定义语言；
[0015]步骤S503、数据定义语言被读取后，发生变化的元数据信息被保存至内置关系型数据库。
[0016]所述的元数据管理网络包括元数据监控管理模块、元数据版本管理模块、元数据标记管理模块、数据库字典管理模块和元数据交互管理模块，依次负责管理数据采集、更新版本、元数据信息标记、数据库字典和用户访问。
[0017]进一步地，所述的元数据监控管理模块负责对Debezium发起创建Connector指令，令Debezium采集数据并保存至内置关系型数据库中；从Kafka中读取数据定义语言；获取变化的元数据信息并完整保存到内置关系型数据库中，同时将这条保存记录保存到内置关系型数据库中。
[0018]进一步地，所述的元数据版本管理模块获取元数据信息；更新有变化的元数据的版本字段，同时新增变化的元数据信息；使用关联字段连接新版本和旧版本。
[0019]进一步地，所述的元数据标记管理模块负责对内置关系型数据库中的数据库元数据信息进行标记，所述的标记包括对元数据信息和关联联系进行备注。
[0020]所述的标记包括由系统自动默认标记或者由客户查询后手动进行标记。
[0021]进一步地，所述的数据库字典管理模块对内置关系型数据库中的元数据信息进行查询，同时支持对历史的数据字典信息进行更新调整。
[0022]进一步地，所述的元数据交互管理模块负责提供元数据信息管理页面并对外提供接口，支持包括对元数据信息的查询、更新和删除。
[0023]所述的数据源数据库包括MySQL、Oracle、SQLServer、DB2或PostgreSQL。
[0024]与现有技术相比，本专利技术具有以下特点：
[0025]1.本专利技术基于Debezium和Kafka，设置元数据监控管理模块对元数据的采集和存储进行实时监控，数据源数据库的元数据一旦发生变化，系统能够立马检测到并实时更新，将元数据存储到内置关系型数据库中，提高了增量采集的实时性，以及保证了数据的一致性和完整性。
[0026]2.本专利技术设置了元数据标记管理模块，通过对采集到的元数据信息进行标记，方便客户查询历史数据，为客户对数据的模糊搜索和智能分类提供了技术支持。
[0027]3.本专利技术通过设置数据库字典管理模块，提供了数据字典查询和更新的功能，为客户规范化设计和实施数据管理系统提供了技术支持。
[0028]4.本专利技术通过设置元数据版本管理模块，提供了元数据各个版本的查询和更新功能。
[0029]5.本专利技术的数据库包括MySQL、Oracle、SQLServer、DB2和PostgreSQL，支持多种数据库采集。
附图说明
[0030]图1为元数据采集与管理的系统结构图；
[0031]图2为元数据采集与管理的具体实施流程图。
具体实施方式
[0032]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0033]本专利技术提供一种数据库元数据采集与管理的方法，其特征在于，该方法通过使用元数据采集网络和元数据管理网络来实现，如图1所示，元数据采集网络包括数据源数据库、内置关系型数据库、Debezium和Kafka。图1中，DB是内置关系型数据库，用于存储从数据源数据库采集到的元数据信息，Source代表数据源数据库，包括但不限于MySQL、Oracle、SQLServer、DB2或PostgreSQL，DB1和DB2属于Source，代表多种数据源数据库。
[0034]该数据库元数据采集与管理的方法包括：
[0035]步骤S1、元数据管理网络监控Source并开始全量采集元数据；
[0036]步骤S2、采集到的元数据信息被保存到DB；
[0037]步骤S3、元数据管理网络对DB获取到的元数据信息进行管理，包括添加数据库字典、标记元数据信息和更新旧版本；
[0038]步骤S4、检测是否有增量数据，若有，进入步骤S5，若没有，重新进入步骤S3；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库元数据采集与管理的方法，其特征在于，该方法通过使用元数据采集网络和元数据管理网络来实现，其中，元数据采集网络包括数据源数据库、内置关系型数据库、Debezium和Kafka，该方法包括：步骤S1、元数据管理网络监控数据源数据库并开始全量采集元数据，同时执行步骤S2和步骤S3；步骤S2、检测是否有增量数据，若是，进入步骤S5，若否，重新进入步骤S2；步骤S3、元数据信息被保存到内置关系型数据库；步骤S4、元数据管理网络对内置关系型数据库获取到的元数据进行管理，包括添加数据库字典、标记元数据信息和更新旧版本，然后返回步骤S3，直至元数据管理网络中的对外接口接收操作指令，结束；步骤S5、进行增量采集，进入步骤S3。2.根据权利要求1所述的一种数据库元数据采集与管理的方法，其特征在于，所述的增量采集的步骤包括：步骤S501、当所述的数据源数据库中的元数据发生变化时，所述的Debezium对数据源数据库的事务日志进行解析；步骤S502、所述的Kafka接收被Debezium解析的数据定义语言；步骤S503、数据定义语言被读取后，发生变化的元数据信息被保存至内置关系型数据库。3.根据权利要求1所述的一种数据库元数据采集与管理的方法，其特征在于，所述的元数据管理网络包括元数据监控管理模块、元数据版本管理模块、元数据标记管理模块、数据库字典管理模块和元数据交互管理模块，依次负责管理数据采集、更新版本、元数据信息标记、数据库字典和用户访问。4.根据权利要求3所述的一种数据库元数据采集与管理的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：李瞿，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：