System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 元数据库访问系统、方法、计算机设备及存储介质技术方案_技高网

元数据库访问系统、方法、计算机设备及存储介质技术方案

技术编号:41192772 阅读:2 留言:0更新日期:2024-05-07 22:22
本申请提供一种元数据库访问系统、方法、计算机设备及存储介质,元数据库访问系统包括:至少一个元数据库管理模块,包括元数据库管理单元和元数据库,每一元数据库管理模块包含一个元数据库;代理服务端,用于获取元数据请求语句;根据元数据请求语句确定待访问的元数据库,并确定与待访问的元数据库通讯连接的目标元数据库管理单元;根据元数据请求语句生成元数据操作指令发送至目标元数据库管理单元;目标元数据库管理单元,接收元数据操作指令,根据元数据操作指令访问待访问的元数据库得到执行结果,并将执行结果返回至代理服务端。采用本方法,代理服务端提供多个元数据库的访问服务,支持元数据服务水平扩展,解决单库瓶颈。

【技术实现步骤摘要】

本申请涉及人工智能,具体涉及一种元数据库访问系统、方法、计算机设备及存储介质


技术介绍

1、hive-metastore提供hive元数据的存储、管理服务,后端通常选择mysql用作元数据存储,通过thrift对外提供一系列元数据操作接口。

2、hive原生只支持单个关系型数据库做元数据存储,不支持水平扩展,所以存在两大缺陷:1、随着hive库、表、分区逐渐增多,元数据随之增多,元数据库、metastore的压力都随之增大,都会成为性能瓶颈。2、所有业务表的元数据都集中在一个库,很难做隔离,一旦元数据库故障,所有业务受影响。

3、通常的解决办法是拆分元数据库,但是拆分之后元数据、元数据管理服务就完全割裂了,按照hive的架构不能做到跨元数据库操作,所以拆分很难、拆分后使用很不方便。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种元数据库访问系统、方法、计算机设备及存储介质,代理服务端提供多个元数据库的访问服务,支持元数据服务水平扩展,解决单库瓶颈。

2、第一方面,本申请提供一种元数据库访问系统,包括:

3、至少一个元数据库管理模块,各所述元数据库管理模块包括元数据库管理单元和元数据库,所述元数据库管理单元与所述元数据库通讯连接,每一所述元数据库管理模块包含一个元数据库;

4、代理服务端,与所述至少一个元数据库管理模块通讯连接,用于获取元数据请求语句;根据所述元数据请求语句确定待访问的元数据库,并确定与所述待访问的元数据库通讯连接的目标元数据库管理单元;根据所述元数据请求语句生成元数据操作指令发送至所述目标元数据库管理单元;

5、所述目标元数据库管理单元,接收所述元数据操作指令,根据所述元数据操作指令访问所述待访问的元数据库得到执行结果,并将所述执行结果返回至所述代理服务端。

6、在本申请一些实施例中,所述代理服务端还用于若所述元数据请求语句中不包括元数据库标识信息,则确定预设元数据库为所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元,所述预设元数据库为上一访问元数据库或任一元数据库管理模块中的元数据库;若所述元数据请求语句中包括元数据库标识信息,则根据所述元数据库标识信息确定所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元。

7、在本申请一些实施例中,所述元数据请求语句中包含至少一个待访问的元数据库的元数据库标识信息;

8、所述代理服务端还用于根据所述至少一个元数据库标识信息确定所述至少一个待访问的元数据库通讯连接的至少一个元数据库管理单元;根据所述元数据请求语句生成元数据操作指令发送至所述至少一个元数据库管理单元;通过所述至少一个元数据库管理单元访问所述至少一个待访问的元数据库。

9、在本申请一些实施例中,所述至少一个元数据库管理单元包括第一元数据库管理单元和第二元数据库管理单元,所述第一元数据库管理单元通讯连接第一元数据库,所述第二元数据库管理单元通讯连接第二元数据库;

10、所述代理服务端还用于通过所述第一元数据库管理单元访问所述第一元数据库读取元数据信息,通过所述第二元数据库管理单元将所述元数据信息写入所述第二元数据库。

11、在本申请一些实施例中,所述元数据库管理单元包含至少一个元数据库管理端,所述至少一个元数据库管理端均与所述代理服务端、所述元数据库通讯连接。

12、在本申请一些实施例中,所述待访问的元数据库通讯连接的元数据库管理单元包含多个元数据库管理端;

13、所述代理服务端还用于通过所述多个元数据库管理端中任一元数据库管理端访问所述待访问的元数据库;若访问不成功则通过所述多个元数据库管理端中另一元数据库管理端访问所述待访问的元数据库。

14、第二方面,本申请提供一种元数据库访问方法,应用于上述任意一项所述的元数据库访问系统,包括:

15、获取客户端的元数据请求语句;

16、根据所述元数据请求语句确定待访问的元数据库;

17、从多个元数据库管理模块中确定与所述待访问的元数据库通讯连接的目标元数据库管理单元;所述元数据库管理模块包括元数据库管理单元和元数据库,所述元数据库管理单元与所述元数据库通讯连接,每一所述元数据库管理模块包含一个元数据库;

18、根据所述元数据请求语句生成元数据操作指令发送至所述目标元数据库管理单元;

19、接收所述目标元数据库管理单元返回的执行结果。

20、在本申请一些实施例中,所述元数据请求语句中包含至少一个待访问的元数据库的元数据库标识信息,所述从多个元数据库管理模块中确定与所述待访问的元数据库通讯连接的目标元数据库管理单元,包括:

21、根据所述至少一个元数据库标识信息确定通讯连接的至少一个元数据库管理单元;

22、根据所述元数据请求语句生成元数据操作指令发送至所述至少一个元数据库管理单元;

23、通过所述至少一个元数据库管理单元访问所述至少一个待访问的元数据库。

24、在本申请一些实施例中,所述元数据库管理单元包含至少一个目标元数据库管理端,从多个元数据库管理模块中确定与所述待访问的元数据库通讯连接的目标元数据库管理单元之后,包括:

25、通过所述多个目标元数据库管理端中任一元数据库管理端访问所述待访问的元数据库;

26、若访问不成功则通过所述多个目标元数据库管理端中另一元数据库管理端访问所述待访问的元数据库。

27、第三方面,本申请还提供一种元数据库访问装置,包括:

28、请求语句获取模块,用于获取客户端的元数据请求语句;

29、请求目标分析模块,与所述请求语句获取模块通讯连接,用于根据所述元数据请求语句确定待访问的元数据库;从多个元数据库管理模块中确定与所述待访问的元数据库通讯连接的目标元数据库管理单元;所述元数据库管理模块包括元数据库管理单元和元数据库,所述元数据库管理单元与所述元数据库通讯连接,每一所述元数据库管理模块包含一个元数据库;

30、指令生成模块,与所述请求语句获取模块、所述请求目标分析模块通讯连接,用于根据所述元数据请求语句生成元数据操作指令发送至所述目标元数据库管理单元;

31、执行结果接收模块,用于接收所述目标元数据库管理单元返回的执行结果。

32、第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器进行加载,以执行的元数据库访问方法中的步骤。

33、上述元数据库访问系统、方法、计算机设备及存储介质,代理服务端连接多个元数据库管理模块,每个元数据库管理模块均包含一个元数据库,即代理服务端提供多个元数据库的访问服务,支持元数据服务水平扩展,解决单库瓶颈。

本文档来自技高网...

【技术保护点】

1.一种元数据库访问系统,其特征在于,包括:

2.如权利要求1所述的元数据库访问系统,其特征在于,所述代理服务端还用于若所述元数据请求语句中不包括元数据库标识信息,则确定预设元数据库为所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元,所述预设元数据库为上一访问元数据库或任一元数据库管理模块中的元数据库;若所述元数据请求语句中包括元数据库标识信息,则根据所述元数据库标识信息确定所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元。

3.如权利要求2所述的元数据库访问系统,其特征在于,所述元数据请求语句中包含至少一个待访问的元数据库的元数据库标识信息;

4.如权利要求3所述的元数据库访问系统,其特征在于,所述至少一个元数据库管理单元包括第一元数据库管理单元和第二元数据库管理单元,所述第一元数据库管理单元通讯连接第一元数据库,所述第二元数据库管理单元通讯连接第二元数据库;

5.如权利要求1所述的元数据库访问系统,其特征在于,所述元数据库管理单元包含至少一个元数据库管理端,所述至少一个元数据库管理端均与所述代理服务端、所述元数据库通讯连接。

6.如权利要求5所述的元数据库访问系统,其特征在于,所述待访问的元数据库通讯连接的元数据库管理单元包含多个元数据库管理端;

7.一种元数据库访问方法,应用于上述权利要求1至6任意一项所述的元数据库访问系统,其特征在于,包括:

8.如权利要求7所述的元数据库访问方法,其特征在于,所述元数据请求语句中包含至少一个待访问的元数据库的元数据库标识信息,所述从多个元数据库管理模块中确定与所述待访问的元数据库通讯连接的目标元数据库管理单元,包括:

9.一种元数据库访问装置,其特征在于,包括:

10.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求7至8任一项所述的元数据库访问方法中的步骤。

...

【技术特征摘要】

1.一种元数据库访问系统,其特征在于,包括:

2.如权利要求1所述的元数据库访问系统,其特征在于,所述代理服务端还用于若所述元数据请求语句中不包括元数据库标识信息,则确定预设元数据库为所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元,所述预设元数据库为上一访问元数据库或任一元数据库管理模块中的元数据库;若所述元数据请求语句中包括元数据库标识信息,则根据所述元数据库标识信息确定所述待访问的元数据库,并确定所述待访问的元数据库通讯连接的所述目标元数据库管理单元。

3.如权利要求2所述的元数据库访问系统,其特征在于,所述元数据请求语句中包含至少一个待访问的元数据库的元数据库标识信息;

4.如权利要求3所述的元数据库访问系统,其特征在于,所述至少一个元数据库管理单元包括第一元数据库管理单元和第二元数据库管理单元,所述第一元数据库管理单元通讯连接第一元数据库,所述第二元数据库管理单元通讯连接第二元数据库;<...

【专利技术属性】
技术研发人员:贺升辉
申请(专利权)人:顺丰科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1