System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分布式数据库的数据共享方法、电子设备和存储介质技术_技高网

分布式数据库的数据共享方法、电子设备和存储介质技术

技术编号:40130590 阅读:5 留言:0更新日期:2024-01-23 22:04
本申请实施例提供一种分布式数据库的数据共享方法、电子设备和存储介质,涉及数据库领域。该方法包括获取多个待分配数据,对各个所述待分配数据进行分片,得到多个数据分片;基于各个所述数据分片确定多个数据分组;获取多个计算节点,对各个所述计算节点进行分组,得到多个虚拟计算数仓;基于各个所述数据分组与各个虚拟计算数仓的对应的关系,确定各个所述数据分片对应的数据分片计算副本;基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点。本申请实施例能够提升读写数据吞吐量,进而提高性能,实现高效并行访问共享远程存储。

【技术实现步骤摘要】

本申请涉及数据库,具体涉及一种分布式数据库的数据共享方法、电子设备和存储介质


技术介绍

1、传统数据库的数据存储在本地磁盘上,当计算能力成为瓶颈后,由于计算所需的数据存储于原机器上,简单的新增机器并不能解决问题,还需要对数据做迁移并且其架构上支持分布式,才有可能通过新增机器的方式解决瓶颈。新增机器需要花费较高的成本,随着云计算的进展,通过分布式存储提供了高可用低成本的存储共享办法,使得多节点共享访问同一份远程数据成为可能。当多节点并行访问共享存储成为可能后,虽然实现了存储与计算解耦,但是也存在着读写数据延迟,导致性能下降的问题。


技术实现思路

1、本申请提供了一种分布式数据库的数据共享方法、电子设备和存储介质,能够提升读写数据吞吐量,进而提高性能,实现高效并行访问共享远程存储。

2、本申请实施例的技术方案如下:

3、第一方面,本申请实施例提供了一种分布式数据库的数据共享方法,所述方法包括:

4、获取多个待分配数据,对各个所述待分配数据进行分片,得到多个数据分片;

5、基于各个所述数据分片确定多个数据分组;

6、获取多个计算节点,对各个所述计算节点进行分组,得到多个虚拟计算数仓;

7、基于各个所述数据分组与各个虚拟计算数仓的对应的关系,确定各个所述数据分片对应的数据分片计算副本;

8、基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点。

9、在上述技术方案中,首先获取多个待分配数据,对各个待分配数据进行分片,得到多个数据分片,将待分配数据进行切分细化,同时兼容数据间的逻辑关系,以便后续进行高效计算;基于各个数据分片确定多个数据分组;获取多个计算节点,对各个计算节点进行分组,得到多个虚拟计算数仓,对计算节点进行切分细化,以便进行协同计算,提升读写数据吞吐量;基于各个数据分组与各个虚拟计算数仓的对应的关系,确定各个数据分片对应的数据分片计算副本;基于数据分组和虚拟计算数仓,对数据分片计算副本进行调度,得到共享分配节点,基于数据分组和虚拟计算数仓进行调度,能够充分调动整体的资源,提高读写数据吞吐量和资源利用率,达到最佳的运行性能,实现高效并行访问共享远程存储。

10、在本申请的一些实施例中,所述数据分组包括亲和数据分组;

11、在所述数据分片对应的数据分片计算副本为单个,所述虚拟计算数仓的个数为单个的情况下,所述基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

12、判断所述数据分片是否属于所述亲和数据分组,得到第一判断结果;

13、在所述第一判断结果为所述数据分片属于所述亲和数据分组的情况下,选择所述虚拟计算数仓中相同的计算节点,得到所述共享分配节点。

14、在上述技术方案中,在数据分片对应的数据分片计算副本为单个,虚拟计算数仓的个数为单个的情况下,先判断数据分片是否属于亲和数据分组,在数据分片属于亲和数据分组的情况下,选择相同的计算节点,有利于减少读写次数,提高数据读写,进而提升性能。

15、在本申请的一些实施例中,所述数据分组还包括散列数据分组;

16、在所述判断所述数据分片是否属于所述亲和数据分组,得到第一判断结果之后,所述方法还包括:

17、在所述第一判断结果为所述数据分片不属于所述亲和数据分组的情况下,判断所述数据分片是否属于所述散列数据分组,得到第二判断结果;

18、在所述第二判断结果为所述数据分片属于所述散列数据分组的情况下,计算所述虚拟计算数仓中所有计算节点拥有所述散列数据分组中所述数据分片计算副本的数量,利用预设的选择函数选择所述虚拟计算数仓中拥有所述散列数据分组的计算节点,得到所述共享分配节点;

19、在所述第二判断结果为所述数据分片不属于所述散列数据分组的情况下,计算所述虚拟计算数仓中所有计算节点当前数据分片计算副本的数量,利用预设的选择函数选择所述虚拟计算数仓的计算节点,得到所述共享分配节点。

20、在上述技术方案中,在数据分片不属于亲和数据分组的情况下,判断数据分片是否属于散列数据分组,根据是否属于数据散列数据分组,利用预设的选择函数选择拥有散列数据分组的计算节点,使得能够充分调动资源,实现高效并行计算。

21、在本申请的一些实施例中,在所述数据分片对应的数据分片计算副本为多个,所述虚拟计算数仓的个数为单个的情况下,基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

22、判断所述虚拟计算数仓的计算节点是否存在所述数据分片计算副本,得到第三判断结果;

23、在所述第三判断结果为存在所述数据分片计算副本的情况下,将存在所述数据分片计算副本对应的计算节点从所述虚拟计算数仓中删除,判断所述数据分片是否属于所述数据分组中的亲和数据分组,得到第四判断结果;

24、在所述第三判断结果为不存在所述数据分片计算副本的情况下,判断所述数据分片是否属于所述数据分组中的亲和数据分组,得到所述第四判断结果;

25、在所述第四判断结果为所述数据分片属于所述亲和数据分组的情况下,选择所述虚拟计算数仓中相同的计算节点,得到单个所述数据分片计算副本对应的分配节点;

26、在所述第四判断结果为所述数据分片不属于所述亲和数据分组的情况下,判断所述数据分片是否属于所述数据分组中的散列数据分组,在所述数据分片属于所述散列数据分组的情况下,计算所述虚拟计算数仓中所有计算节点拥有所述散列数据分组中所述数据分片计算副本的数量,利用预设的选择函数选择所述虚拟计算数仓中拥有所述散列数据分组的计算节点,得到单个所述数据分片计算副本对应的分配节点;

27、在所述数据分片不属于所述散列数据分组的情况下,计算所述虚拟计算数仓中所有节点当前数据分片计算副本的数量,利用预设的选择函数选择所述虚拟计算数仓的计算节点,得到单个所述数据分片计算副本对应的分配节点;

28、判断是否存在所述数据分片计算副本未分配,得到第五判断结果;

29、在所述第五判断结果为不存在所述数据分片计算副本未分配,得到所述共享分配节点。

30、在上述技术方案中,在数据分片对应的数据分片计算副本为多个,虚拟计算数仓的个数为单个的情况下,先判断虚拟计算数仓的计算节点是否存在数据分片计算副本,得到第三判断结果,然后再判断数据分片是否属于亲和数据分组,在数据分片不属于亲和数据分组的情况下,判断数据分片是否属于散列数据分组,根据是否属于数据散列数据分组,利用预设的选择函数选择计算节点,使得能够充分调动资源,实现高效并行计算。

31、在本申请的一些实施例中,在所述判断是否存在所述数据分片计算副本未分配,得到第五判断结果之后,所述方法还包括:

32、在所述第五判断结果为存在所述数据分片计算副本未分配,执行判断所本文档来自技高网...

【技术保护点】

1.一种分布式数据库的数据共享方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据分组包括亲和数据分组;

3.根据权利要求2所述的方法,其特征在于,所述数据分组还包括散列数据分组;

4.根据权利要求1所述的方法,其特征在于,在所述数据分片对应的数据分片计算副本为多个,所述虚拟计算数仓的个数为单个的情况下,基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

5.根据权利要求4所述的方法,其特征在于,在所述判断是否存在所述数据分片计算副本未分配,得到第五判断结果之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,在所述数据分片对应的数据分片计算副本为多个,所述虚拟计算数仓的个数为多个的情况下,基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

7.根据权利要求1所述的方法,其特征在于,所述对各个所述待分配数据进行分片,得到多个数据分片,包括:

8.根据权利要求1所述的方法,其特征在于,所述基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

9.一种电子设备,其特征在于,包括处理器(501)、存储器(505)、用户接口(503)、通信总线(502)及网络接口(504),所述处理器(501)、所述存储器(505)、所述用户接口(503)、及所述网络接口(504)分别与所述通信总线(502)连接,所述存储器(505)用于存储指令,所述用户接口(503)和网络接口(504)用于给其他设备通信,所述处理器(501)用于执行所述存储器(505)中存储的指令,以使所述电子设备(500)执行如权利要求1-8任意一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-8任意一项所述的方法。

...

【技术特征摘要】

1.一种分布式数据库的数据共享方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据分组包括亲和数据分组;

3.根据权利要求2所述的方法,其特征在于,所述数据分组还包括散列数据分组;

4.根据权利要求1所述的方法,其特征在于,在所述数据分片对应的数据分片计算副本为多个,所述虚拟计算数仓的个数为单个的情况下,基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

5.根据权利要求4所述的方法,其特征在于,在所述判断是否存在所述数据分片计算副本未分配,得到第五判断结果之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,在所述数据分片对应的数据分片计算副本为多个,所述虚拟计算数仓的个数为多个的情况下,基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点,包括:

7.根据权利要求1所述的...

【专利技术属性】
技术研发人员:蔡小华
申请(专利权)人:北京镜舟科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1