一种图数据存储方法和分布式图数据计算方法技术

技术编号:33502543 阅读:24 留言:0更新日期:2022-05-19 01:12
本说明书涉及数据处理领域,特别涉及一种图数据存储方法和分布式图数据计算方法。图数据包括节点和边,其中节点包括实体节点以及非实体节点;该图数据存储方法包括:基于图数据获取第一表和第二表;获取多个实体节点组各自对应的第一子表和第二子表;以及,将所述各实体节点组对应的第一子表和第二子表分发到多个计算单元以进行分布式存储。该分布式图数据计算方法中,所述图数据按照上述图数据存储方法分布式存储于多个计算单元上,可以由其中一个计算单元执行。个计算单元执行。个计算单元执行。

【技术实现步骤摘要】
一种图数据存储方法和分布式图数据计算方法


[0001]本说明书涉及数据处理领域,特别涉及一种图数据存储方法和分布式图数据计算方法。

技术介绍

[0002]知识图谱是一种结构化的数据表达方式,能够高效的呈现数据所蕴含的知识信息。但知识图谱中的大量的数据需要进行存储,数据存储的方式决定后续图计算或其他进一步处理时的效果。
[0003]因此,需要一种能够实现图数据高效存储和计算的方法。

技术实现思路

[0004]本说明书实施例之一提供了一种图数据存储方法,所述图数据包括节点和边,其中节点包括实体节点以及非实体节点;该方法包括:基于图数据获取第一表和第二表;其中,第一表包括各实体节点的记录,每条实体节点的记录包括与该实体节点关联的非实体节点的信息,第二表包括多个节点对的信息,每个节点对包括一个非实体节点以及与之关联的一个实体节点;获取多个实体节点组各自对应的第一子表和第二子表;其中,所述多个实体节点组为对各实体节点进行划分得到的多个分组;实体节点组对应的第一子表包括该实体节点组中各实体节点在所述第一表中对应的记录,其对应的第二子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图数据存储方法,所述图数据包括节点和边,其中节点包括实体节点以及非实体节点;该方法包括:基于图数据获取第一表和第二表;其中,第一表包括各实体节点的记录,每条实体节点的记录包括与该实体节点关联的非实体节点的信息,第二表包括多个节点对的信息,每个节点对包括一个非实体节点以及与之关联的一个实体节点;获取多个实体节点组各自对应的第一子表和第二子表;其中,所述多个实体节点组为对各实体节点进行划分得到的多个分组;实体节点组对应的第一子表包括该实体节点组中各实体节点在所述第一表中对应的记录,其对应的第二子表包括所述第二表中包含该实体节点组中各实体节点的节点对的信息;将所述各实体节点组对应的第一子表和第二子表分发到多个计算单元以进行分布式存储。2.如权利要求1所述的方法,其中:同一个实体节点组对应的第一子表和第二子表存储于同一计算单元。3.如权利要求1所述的方法,其中,所述获取多个实体节点组各自对应的第一子表和第二子表,包括:将各实体节点等数量的划分到多个实体节点组;对于每个实体节点组:从所述第一表中提取该实体节点组中各实体节点对应的记录,得到该实体节点组对应的第一子表;从所述第二表中提取包含该实体节点组中各实体节点的节点对的信息,得到该实体节点组对应的第二子表。4.如权利要求1所述的方法,其中,所述获取多个实体节点组各自对应的第一子表和第二子表,包括:将第二表划分,得到多个第二子表;其中,包含同一实体节点的节点对的信息被划分到同一第二子表中;对于每个第二子表,从所述第一表中提取该第二子表对应的实体节点组中各实体节点对应的记录,得到对应的第一子表。5.如权利要求4所述的方法,其中,各第二子表包含的节点对的信息的数量均衡。6.如权利要求1所述的方法,第二子表中的节点对的信息按照非实体节点有序存储。7.如权利要求6所述的方法,第二子表中的节点对的信息按照非实体节点的类型分区存储,且在每个分区中节点对的信息按照非实体节点的名称或标识有序存储。8.如权利要求1所述的方法,所述节点对的信息包括其非实体节点和实体节点的名称或标识,以及两者之间的关系类型。9.一种图数据存储系统,所述图数据包括节点和边,其中节点包括实体节点以及非实体节点;该系统包括:表获取模块,用于基于图数据获取第一表和第二表;其中,第一表包括各实体节点的记录,每条实体节点的记录包括与该实体节点关联的非实体节点的信息,第二表包括多个节点对的信息,每个节点对包括一个非实体节点以及与之关联的一个实体节点;分组模块,用于获取多个实体节点组各自对应的第一子表和第二子表;其中,所述多个实体节点组为对各实体节点进行划分得到的多个分组;实体节点组对应的第一子表包括该实体节点组中各实体节点在所述第一表中对应的记录,其对应的第二子表包括所述第二表
中包含该实体节点组中各实体节点的节点对的信息;分发模块,用于将所述各实体节点组对应的第一子表和第二子表分发到多个计算单元以进行分布式存储。10.一种图数据存储装置,包括至少一个存储介质和至少一个处理器,所...

【专利技术属性】
技术研发人员:易鹏
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1