System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式原生图数据库唯一索引的存储方法和装置制造方法及图纸_技高网

一种分布式原生图数据库唯一索引的存储方法和装置制造方法及图纸

技术编号:40548141 阅读:7 留言:0更新日期:2024-03-05 19:06
本发明专利技术涉及分布式图数据库技术领域,提供了一种分布式原生图数据库唯一索引的存储方法和装置。其中,本发明专利技术根据已存在数据的唯一属性列,为所述已存在数据创建唯一索引;向当前主表插入增量数据,根据所述增量数据的唯一属性列更新所述当前主表,实现直接对增量数据建立唯一索引;根据待查询数据的索引键查询到唯一索引,根据查询到的唯一索引从当前主表中查询到待查询数据,实现直接基于唯一索引进行查询;本发明专利技术无需向所有当前主表涉及分区上的数据节点发送请求,即可对当前主表进行增删改查操作,利用唯一索引提升了对当前主表进行增删改查操作的效率,避免CPU和I/O资源的浪费,极大地提高了数据库系统的整体性能。

【技术实现步骤摘要】

本专利技术涉及分布式图数据库,特别是涉及一种分布式原生图数据库唯一索引的存储方法和装置


技术介绍

1、图数据库是非关系型数据库的一种类型,主要应用图形理论来存储实体之间的关系信息,适用于分析多层次的复杂关系,更能适应当今海量的数据处理形势。图数据库是一种专门用于存储和查询图数据的数据库系统,其设计目标是用于处理大规模的图结构数据,即,以节点(vertices)和边(edges)的组成的数据,提供高效的图遍历和复杂的图查询功能。与传统的关系型数据库不同,图数据库能够有效地存储和处理知识图谱数据,更适用于处理复杂的关系和连接性。它们具有高度灵活的数据模型,可以轻松地表示和处理多对多的关系,以及复杂的图结构。

2、原生图数据库是专门设计和优化用于存储和查询图形数据的数据库系统,提供了专门的查询语言和算法,用于高效地存储和处理图数据,以支持对图数据的灵活查询和分析。与传统的关系型数据库或键值存储等通用存储系统不同,原生图存储系统针对图结构的特点进行了优化,以提供更高的性能和可扩展性。原生图数据库将图模型作为数据存储和查询的核心,通过专门的图查询语言和算法来处理和分析图形数据的数据库系统。非原生图数据库是指那些在设计之初并非专门为图形数据而构建的数据库系统,但后来通过扩展或添加图数据存储和查询功能来支持图数据的存储和分析。非原生图数据库在处理图形数据方面可能不如原生图数据库高效和灵活。原生图数据库通常在内部采用了专门的数据结构和算法来优化图形数据的存储和查询。因此,在处理大规模和复杂的图形数据时,原生图数据库往往更具优势。</p>

3、分布式图数据库将数据分布在多个节点或计算机上,以实现数据的并行处理和高可扩展性。在分布式图数据库中,图数据被分割成多个子图,并分布在不同的节点上。每个节点负责管理和处理一部分图形数据,节点之间通过网络进行通信和协作,使得图数据库能够处理大规模的图形数据集,并通过并行计算来提高查询和分析的性能。

4、现有技术中,分布式原生图数据库的主表数据按照分区键的值被分在了多个分布式数据节点上,每个数据节点上的数据都是独立的数据结构,数据节点之间的数据没有交集。在向某个主表中插入数据时,需要向所有该主表涉及分区上的数据节点发送插入请求,通过对所有该主表涉及分区上的数据节点都进行唯一性约束判断,避免操作数据泄露;在查询数据时,同样地也需要向所有该主表涉及分区上的数据节点发送查询请求;这样会极大地降低对数据库进行增删改查操作的效率,造成中央处理器(central processingunit,简写为cpu)和i/o资源(输入输出资源)的浪费,使得数据库系统的整体性能较低。且现有技术中,对于向数据库中追加写入的增量数据无法直接建立唯一索引,无法通过唯一索引提高增删改查效率,进一步降低了数据库系统的整体性能。

5、鉴于此,克服该现有技术所存在的缺陷是本
亟待解决的问题。


技术实现思路

1、本专利技术要解决的技术问题是提供一种分布式原生图数据库唯一索引的存储方法和装置,其目的在于,实现通过唯一索引提高增删改查操作的效率,以提高数据库系统的整体性能,解决现有技术中对主表进行增删改查操作时,均需要向所有该主表涉及分区上的数据节点发送请求,使得数据库系统的整体性能较低、实用性差的问题。

2、本专利技术采用如下技术方案:

3、第一方面,本专利技术提供了一种分布式原生图数据库唯一索引的存储方法,包括:

4、根据当前主表中已存在数据的唯一属性列,为所述已存在数据创建唯一索引;

5、向当前主表插入增量数据,根据所述增量数据的唯一属性列为所述增量数据创建唯一索引,以更新所述当前主表;

6、根据待查询数据的索引键查询相应的唯一索引,根据查询到的唯一索引从当前主表中查询到所述待查询数据。

7、进一步地,所述根据当前主表中已存在数据的唯一属性列,为所述已存在数据创建唯一索引包括:

8、数据节点根据所述唯一属性列计算所述已存在数据所在的分区,根据所述唯一属性列从所述分区中抽取所述已存在数据的唯一标识;将所述唯一属性列与相应的唯一标识之间的映射关系作为唯一索引;

9、数据节点根据所述唯一索引的数据量及分配情况,按照所述唯一索引涉及的所有数据节点的数量,对所述唯一索引进行分片存储;存储完成后向管理节点发送状态信息;

10、当数据节点发现创建中的唯一索引违反唯一性约束时,向管理节点发送错误消息;所述管理节点接收所述错误消息,通知所有涉及所述唯一索引的数据节点删除所有创建中的唯一索引;

11、管理节点整合所有状态信息,根据所述所有状态信息更新存储唯一索引的元数据信息,以完成创建所述唯一索引。

12、进一步地,所述数据节点根据所述唯一索引的数据量及分配情况,按照所述唯一索引涉及的所有数据节点的数量,对所述唯一索引进行分片存储包括:

13、根据所述数据量及分配情况,按照所述唯一索引涉及的所有数据节点的数量,确定所述唯一索引所需存储至的多个数据节点的索引分区信息;

14、根据所述索引分区信息建立本地索引表和远端索引表,将所述唯一索引分别写入至所述本地索引表和所述远端索引表;

15、根据所述索引分区信息,向远端的数据节点发送同步请求,以便于所述远端的数据节点接收所述同步请求,同步所述远端索引表,以通过本地索引表和远端索引表实现对唯一索引的分片存储。

16、进一步地,每个数据节点同步维护本地索引表和远端索引表。

17、进一步地,在对已存在数据进行批量装载过程中,所述分布式原生图数据库唯一索引的存储方法还包括:

18、根据已存在数据的唯一标识确定已存在数据的数据节点,根据已存在数据的唯一属性列确定相应的唯一索引所需存储的数据节点;

19、将需要发送至同一数据节点的已存在数据和/或唯一索引进行分组封装,得到需要发送至各个数据节点的分组数据;

20、将分组数据发送至相应的数据节点。

21、进一步地,所述向当前主表插入增量数据,根据所述增量数据的唯一属性列为所述增量数据创建唯一索引,以更新所述当前主表包括:

22、将所述增量数据插入至所述当前主表,获取所述增量数据的唯一标识;

23、根据所述增量数据的唯一属性列,计算得到所述增量数据的待插入索引分区;

24、根据所述唯一标识,判断在所述待插入索引分区中创建的所述唯一索引是否违反唯一性约束;

25、若违反唯一性约束,则不创建所述唯一索引;

26、若不违反唯一性约束,则将所述唯一属性列作为索引键,将所述索引键和对应的唯一标识之间的映射关系作为唯一索引,将所述唯一索引插入至所述待插入索引分区。

27、进一步地,所述将所述增量数据插入至所述当前主表,获取所述增量数据的唯一标识包括:

28、对增量数据所处图的集合id与预设与运算参数进行按位与运算,得到所述集合id的预设序本文档来自技高网...

【技术保护点】

1.一种分布式原生图数据库唯一索引的存储方法,其特征在于,包括:

2.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述根据当前主表中已存在数据的唯一属性列,为所述已存在数据创建唯一索引包括:

3.根据权利要求2所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述数据节点根据所述唯一索引的数据量及分配情况,按照所述唯一索引涉及的所有数据节点的数量,对所述唯一索引进行分片存储包括:

4.根据权利要求3所述的分布式原生图数据库唯一索引的存储方法,其特征在于,每个数据节点同步维护本地索引表和远端索引表。

5.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,在对已存在数据进行批量装载过程中,所述分布式原生图数据库唯一索引的存储方法还包括:

6.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述向当前主表插入增量数据,根据所述增量数据的唯一属性列为所述增量数据创建唯一索引,以更新所述当前主表包括:

7.根据权利要求6所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述将所述增量数据插入至所述当前主表,获取所述增量数据的唯一标识包括:

8.根据权利要求7所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述根据所述预设序列值、所述预设分区值和所述预设类型值,得到所述唯一标识包括:

9.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述根据待查询数据的索引键查询相应的唯一索引,根据查询到的唯一索引从当前主表中查询到所述待查询数据包括:

10.一种分布式原生图数据库唯一索引的存储装置,其特征在于,包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,用于实现权利要求1-9任一所述的分布式原生图数据库唯一索引的存储方法。

...

【技术特征摘要】

1.一种分布式原生图数据库唯一索引的存储方法,其特征在于,包括:

2.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述根据当前主表中已存在数据的唯一属性列,为所述已存在数据创建唯一索引包括:

3.根据权利要求2所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述数据节点根据所述唯一索引的数据量及分配情况,按照所述唯一索引涉及的所有数据节点的数量,对所述唯一索引进行分片存储包括:

4.根据权利要求3所述的分布式原生图数据库唯一索引的存储方法,其特征在于,每个数据节点同步维护本地索引表和远端索引表。

5.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,在对已存在数据进行批量装载过程中,所述分布式原生图数据库唯一索引的存储方法还包括:

6.根据权利要求1所述的分布式原生图数据库唯一索引的存储方法,其特征在于,所述向当前主表插入增量数据,根据所述增量数据的唯...

【专利技术属性】
技术研发人员:寇德朋徐子乔杨薜民丁先胜张睿王振宇
申请(专利权)人:四川蜀天梦图数据科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1