数据库管理方法、系统、电子设备和计算机可读存储介质技术方案

本申请公开了一种数据库管理方法、系统、电子设备和计算机可读存储介质，该方法包括：响应于数据库匹配的控制模块感知到数据库的元数据发生变化，数据中台接收控制模块生成的元数据对应的元数据消息；其中，数据库的元数据与数据库中的数据表相关，元数据消息基于数据库中数据表的结构信息生成；生成元数据消息对应的同步任务，执行同步任务确定数据库中的临时数据表，将临时数据表对应的结构信息更新至数据中台的存储模块；其中，临时数据表区别于数据中台定义的预定义数据表；基于存储模块中存储的结构信息，在数据中台对数据库中的临时数据表进行管理。上述方案，能够提高数据库管理的便捷度增加数据库的可用存储量。管理的便捷度增加数据库的可用存储量。管理的便捷度增加数据库的可用存储量。

【技术实现步骤摘要】
数据库管理方法、系统、电子设备和计算机可读存储介质


[0001]本申请涉及数据管理
，特别是涉及一种数据库管理方法、系统、电子设备和计算机可读存储介质。

技术介绍

[0002]随着数据时代的来临，海量的数据需要依赖数据库来容纳和管理，因此，数据库的管理愈发得到重视。在数据库中通常会创建有大量的数据表，而数据表会占据数据库的可用存储量，现有技术中，对于数据库中数据表的变化难以及时获取，以致数据表不断累积进而减少数据库的可用存储量，当需要释放数据库的空间时，则需要以侵入数据库的方式对数据表进行管理，以致对数据库进行管理的便捷度不高。有鉴于此，如何提高数据库管理的便捷度增加数据库的可用存储量成为亟待解决的问题。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种数据库管理方法、系统、电子设备和计算机可读存储介质，能够提高数据库管理的便捷度增加数据库的可用存储量。
[0004]为解决上述技术问题，本申请第一方面提供一种数据库管理方法，包括：响应于所述数据库匹配的控制模块感知到所述数据库的元数据发生变化，数据中台接收所述控制模块生成的所述元数据对应的元数据消息；其中，所述数据库的元数据与所述数据库中的数据表相关，所述元数据消息基于所述数据库中所述数据表的结构信息生成，所述结构信息至少包括所述数据表对应的数据库名称、表信息和变化类型；生成所述元数据消息对应的同步任务，执行所述同步任务确定所述数据库中的临时数据表，将所述临时数据表对应的结构信息更新至所述数据中台的存储模块；其中，所述临时数据表区别于所述数据中台定义的预定义数据表；基于所述存储模块中存储的结构信息，在所述数据中台对所述数据库中的临时数据表进行管理。
[0005]为解决上述技术问题，本申请第二方面提供一种数据库管理系统，包括：控制模块和数据中台，控制模块用于感知所述数据库的元数据的变化，生成所述元数据对应的元数据消息；其中，所述数据库的元数据与所述数据库中的数据表相关，所述元数据消息基于所述数据库中所述数据表的结构信息生成，所述结构信息至少包括所述数据表对应的数据库名称、表信息和变化类型；数据中台用于接收所述控制模块生成的所述元数据消息；生成所述元数据消息对应的同步任务，执行所述同步任务确定所述数据库中的临时数据表，将所述临时数据表对应的结构信息更新至存储模块；其中，所述数据中台包括所述存储模块，所述临时数据表区别于所述数据中台定义的预定义数据表，在所述数据中台基于所述存储模块中存储的结构信息，能够对所述数据库中的临时数据表进行管理。
[0006]为解决上述技术问题，本申请第三方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。
[0007]为解决上述技术问题，本申请第四方面提供一种计算机存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。
[0008]上述方案，当数据库匹配的控制模块感知到数据库的元数据发生变化时，数据中台接收控制模块生成的元数据对应的元数据消息，数据库中的元数据与数据库中的数据表相关，元数据消息是基于数据库中数据表的结构信息生成的，也就是说，当数据库中的数据表变化时，数据库的元数据发生变化后被控制模块感知，控制模块基于数据表的结构信息生成元数据消息以使数据中台接收，其中，结构信息至少包括数据表对应的数据库名称、表信息和变化类型，当数据中台获得元数据消息后，生成元数据消息对应的同步任务，以使数据中台执行同步任务确定数据库中区别于预定义数据表的临时数据表，将临时数据表对应的结构信息在数据中台的存储模块中更新，由于结构信息包括数据表对应的数据库名称、表信息和变化类型，从而基于存储模块中存储的结构信息，即可在数据中台对数据库中的临时数据表进行管理，以便释放临时数据表占据的存储空间，提高数据库管理的便捷度增加数据库的可用存储量。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0010]图1是本申请数据库管理方法一实施方式的流程示意图；
[0011]图2是本申请数据库管理方法另一实施方式的流程示意图；
[0012]图3是本申请数据库管理系统一实施方式的结构示意图；
[0013]图4是本申请数据库管理系统一实施方式的拓扑结构示意图；
[0014]图5是本申请电子设备一实施方式的结构示意图；
[0015]图6是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0016]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0017]本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0018]本申请所提供的数据库管理方法用于对数据库进行管理，例如Hive数据库，且数据库管理方法对应有数据库管理系统，以实现上述数据库管理方法，其中，数据库管理系统至少包括与数据库相匹配的控制模块，以及与控制模块相互独立的数据中台，本申请所提供的数据库管理方法以数据中台为执行主体。
[0019]请参阅图1，图1是本申请数据库管理方法一实施方式的流程示意图，该方法包括：
[0020]S101：响应于数据库匹配的控制模块感知到数据库的元数据发生变化，数据中台接收控制模块生成的元数据对应的元数据消息，其中，数据库的元数据与数据库中的数据表相关，元数据消息基于数据库中数据表的结构信息生成，结构信息至少包括数据表对应的数据库名称、表信息和变化类型。
[0021]具体地，当数据库匹配的控制模块感知到数据库的元数据发生变化时，数据中台接收控制模块生成的元数据对应的元数据消息，数据库中的元数据与数据库中的数据表相关，元数据消息是基于数据库中数据表的结构信息生成的，其中，结构信息至少包括数据表对应的数据库名称、表信息和变化类型。
[0022]进一步地，当数据库中的数据表变化时，数据库的元数据发生变化后被控制模块感知，控制模块基于数据表的结构信息生成元数据消息以使数据中台接收，数据中台接收控制模块生成的元数据消息，以便在数据中台能够便捷地获取数据库中的元数据消息。
[0023]在一应用方式中，控制模块对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库管理方法，其特征在于，所述方法包括：响应于所述数据库匹配的控制模块感知到所述数据库的元数据发生变化，数据中台接收所述控制模块生成的所述元数据对应的元数据消息；其中，所述数据库的元数据与所述数据库中的数据表相关，所述元数据消息基于所述数据库中所述数据表的结构信息生成，所述结构信息至少包括所述数据表对应的数据库名称、表信息和变化类型；生成所述元数据消息对应的同步任务，执行所述同步任务确定所述数据库中的临时数据表，将所述临时数据表对应的结构信息更新至所述数据中台的存储模块；其中，所述临时数据表区别于所述数据中台定义的预定义数据表；基于所述存储模块中存储的结构信息，在所述数据中台对所述数据库中的临时数据表进行管理。2.根据权利要求1所述的数据库管理方法，其特征在于，所述数据中台对接至少一个所述数据库，所述控制模块实时监测所述数据库的元数据，当任一所述数据库中的数据表发生变化时，所述控制模块基于预设协议将发生变化的数据表对应的结构信息生成所述元数据消息，每个元数据发生变化的数据库对应有各自的所述元数据消息；所述接收所述控制模块生成的所述元数据对应的元数据消息，包括：基于所述预设协议接收所述控制模块生成的所述元数据消息。3.根据权利要求2所述的数据库管理方法，其特征在于，所述控制模块和所述数据中台基于卡夫卡消息队列传输所述元数据消息，且所述元数据消息包括所述数据库中至少一个所述数据表对应的至少一个子消息，所述子消息与所述变化类型相关，所述变化类型包括创建表、编辑表和删除表；所述基于所述预设协议接收所述控制模块生成的所述元数据消息，包括：调用所述控制模块的接口，获取所述消息队列的集群地址；基于集群地址获得所述元数据消息中的多个所述子消息，并确定所述子消息在所述消息队列中的位置索引。4.根据权利要求3所述的数据库管理方法，其特征在于，所述生成所述元数据消息对应的同步任务，执行所述同步任务确定所述数据库中的临时数据表，将所述临时数据表对应的结构信息更新至所述数据中台的存储模块，包括：基于所述元数据消息中的所述子消息的数量，生成所述元数据消息对应的同步子任务，并将所述同步子任务发送给空闲的线程执行；其中，每个所述同步子任务中所述子消息的数量不超过数量阈值；基于所述同步子任务中的所述子消息对应的数据表和所述预定义数据表，确定所述数据库中的所述临时数据表，并基于所述临时数据表对应的子消息，在所述数据中台的所述存储模块更新所述临时数据表的结构信息。5.根据权利要求4所述的数据库管理方法，其特征在于，所述基于所述同步子任务中的所述子消息对应的数据表和所述预定义数据表，确定所述数据库中的所述临时数据表，并基于所述临时数据表对应的子消息，在所述数据中台的所述存储模块更新所述临时数据表的结构信息，包括：基于所述预定义数据表，过滤所述子消息对应的数据表中与所述预定义数据表重复的
数据表，得到所述数据库中的所述临时数据表；遍历所有所述临时数据表...

【专利技术属性】
技术研发人员：徐凯，袁博，徐佳星，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：