用于流式图处理的图存储方法及装置制造方法及图纸

技术编号:23890950 阅读:30 留言:0更新日期:2020-04-22 06:26
本申请涉及一种用于流式图处理的图存储方法及装置。所述方法包括:获取数据集中待存储数据对应的三元组数据;三元组数据包括:主语实体、实体关系以及宾语实体;通过流式图的第一数组存储主语实体,通过流式图的第二数组存储实体关系,以及通过流式图的数组链存储宾语实体,得到数据集对应的图数据;其中,第一数组中的数组元素指向所述第二数组,第二数组中的数组元素指向一个数组链。采用本方法能够保证正确率的情况下,满足低存储开销和高吞吐量的需求。

Graph storage method and device for flow graph processing

【技术实现步骤摘要】
用于流式图处理的图存储方法及装置
本申请涉及图存储
,特别是涉及一种用于流式图处理的图存储方法及装置。
技术介绍
目前流式图的处理是图计算领域的难点,同时也具有很重要的现实意义。无论是社交网络,甚至是各种用户信息都可以看作是一种流式图,例如在社交网络中,多个用户之间的关系,可以用流式图表示。近年来,流式图处理朝着高吞吐量以及降低存储开销的目标进行开发,然而,传统技术在实现这一目标时,采用哈希的方式处理数据,虽然一定程度的提高数据的吞吐量以及降低了数据的存储开销,但是对于保证正确率的系统而言,又难以满足低存储和高吞吐量的需求。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够解决在保证正确率的条件下保证低存储和高吞吐量问题的用于流式图处理的图存储方法及装置。一种用于流式图处理的图存储方法,所述方法包括:获取数据集中待存储数据对应的三元组数据;所述三元组数据包括:主语实体、实体关系以及宾语实体;通过流式图的第一数组存储所述主语实体,通过流式图的第二数组存储所述实体关系,以及通过流式图的数组本文档来自技高网...

【技术保护点】
1.一种用于流式图处理的图存储方法,所述方法包括:/n获取数据集中待存储数据对应的三元组数据;所述三元组数据包括:主语实体、实体关系以及宾语实体;/n通过流式图的第一数组存储所述主语实体,通过流式图的第二数组存储所述实体关系,以及通过流式图的数组链存储所述宾语实体,得到所述数据集对应的图数据;/n其中,所述第一数组中的数组元素指向所述第二数组,所述第二数组中的数组元素指向一个所述数组链。/n

【技术特征摘要】
1.一种用于流式图处理的图存储方法,所述方法包括:
获取数据集中待存储数据对应的三元组数据;所述三元组数据包括:主语实体、实体关系以及宾语实体;
通过流式图的第一数组存储所述主语实体,通过流式图的第二数组存储所述实体关系,以及通过流式图的数组链存储所述宾语实体,得到所述数据集对应的图数据;
其中,所述第一数组中的数组元素指向所述第二数组,所述第二数组中的数组元素指向一个所述数组链。


2.根据权利要求1所述的方法,其特征在于,所述通过流式图的数组链存储所述宾语实体,包括:
依次将宾语实体作为数组元素存储在所述数组链的数组中,当所述数组链的数组存满时,生成所述数组链中的新数组,以存储所述宾语实体。


3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
设置所述第一数组中数组元素对应的第一指针,所述第一指针指向所述第二数组;
设置所述第二数组中数组元素对应的第二指针,所述第二指针指向所述数组链。


4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当检测到所述第一数组中存储第一实体时,将所述第一实体对应的数组元素指向空指针;所述第一实体不在所述主语实体组成的主语实体集合中;
和,当检测所述第一数组中存储的主语实体和所述第二数组中存储的所述实体关系不存在所述宾语实体时,将所述第二数组中的实体关系对应的数组元素指向空指针。


5.一种用于流式图处理的图存储装置,其特征在于,所述装置包括:
数据解析模块,用于获取数据集中待存储数据对应的三元组数据;所述三元组数据包括:主语实体、实体关系以及宾语实体;
数据存储模块,用于通过流式图的第一数组存储所述主语实体,通过流式图的第二数组存储所述实体关系,以及通过流式图的数组链存储所述宾语实体,得到所述数据集对应的图数据;
其中,所述第一数组中的数组元素指向所述第二数组,所述第二数组中的数组元素指向一个所述数组...

【专利技术属性】
技术研发人员:李东升贾孟涵赖志权陈易欣
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1