图数据存储方法、系统及计算机设备技术方案

本发明专利技术公开了一种图数据存储方法、系统及计算机设备，方法包括：分解并处理待存储图数据获取顶点标识数据、属性数据和关系标识数据，顶点标识数据包括开始顶点标识数据和结束顶点标识数据；创建包含若干关系桶的关系桶元数据，每个关系桶以KV键形式存储关系标识数据相同的待存储图数据；基于顶点标识数据和属性数据创建顶点属性集合并基于属性数据和关系标识数据创建关系属性集合；分布存储顶点属性集合、关系属性集合、属性倒排索引和关系桶元数据至持久内存介质中；利用持久性内存、唯一性数据只存储一份键值数据，关系网络分桶存储，便于水平拓展，查询时以标识直接获取关键数据，查询时间与数据集大小无关，更快处理图数据存储和查询。数据存储和查询。数据存储和查询。

【技术实现步骤摘要】
图数据存储方法、系统及计算机设备


[0001]本专利技术涉及图数据处理领域，具体涉及一种图数据存储方法、系统及计算机设备。

技术介绍

[0002]随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会织起了了一张庞大而复杂的关系网，传统数据库很难处理关系运算，亟需一种支持海量复杂数据关系运算的数据库，图数据库在此背景下诞生。对于任何达到一定规模或价值的数据，图数据库都是呈现和查询这些关系数据的最好方式。
[0003]图存储是图数据库至关重要的一环，通常包括如邻接矩阵或邻接链表的原生图存储和例如JanusGraph的非原生的图存储，原生图存储需要专门定制和优化，而非原生的图存储存在不同程度的读放大等消耗，目前大数据行业需要处理的数据之间的关系随数据量呈几何级数增长，对效率的要求与日俱增，现有的图存储方法面临巨大的图数据存储和查询性能的突破挑战。

技术实现思路

[0004]本专利技术目的是：提供一种能提高图数据存储、查询效率的图数据存储方法、系统及计算机设备。
[0005]本专利技术的技术方案是：第一方面，本专利技术提供一种图数据存储方法，所述方法包括：
[0006]分解并处理待存储图数据获取顶点标识数据、属性数据和关系标识数据，所述顶点标识数据包括开始顶点标识数据和结束顶点标识数据；
[0007]创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据；
[0008]基于所述顶点标识数据和属性数据创建顶点属性集合并基于所述属性数据和关系标识数据创建关系属性集合；
[0009]分布存储所述顶点属性集合、所述关系属性集合、所述属性倒排索引和所述关系桶元数据至持久内存介质中。
[0010]在一种较佳的实施方式中，所述创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据之前，所述方法还包括：
[0011]以所述开始顶点标识数据和所述关系标识数据组合为键、以所述结束顶点标识数据为值构建KV键形式数据。
[0012]在一种较佳的实施方式中，所述创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据包括：
[0013]创建存储有关系标识数据相同的待存储图数据的关系桶；
[0014]建立每个所述关系桶的ID并关联所述关系桶的ID与所述关系桶所存储的待存储
图数据的关系标识数据；
[0015]创建包括所有所述关系桶的关系桶元数据并存储所述关系桶的ID关联内容于所述关系桶元数据中。
[0016]在一种较佳的实施方式中，所述基于所述顶点标识数据和属性数据创建顶点属性集合并基于所述属性数据和关系标识数据创建关系属性集合包括：
[0017]基于所述顶点标识数据和属性数据创建以键值模型存储所述顶点标识数据和属性数据的顶点属性集合，所述顶点属性集合以所述顶点标识数据为键、以所述属性数据为值；
[0018]基于所述属性数据和关系标识数据创建以键值模型存储所述属性数据和关系标识数据的关系属性集合，所述关系属性集合以所述关系桶ID与关系标识数据为键、以所述属性数据为值。
[0019]在一种较佳的实施方式中，所述关系桶ID关联内容至少包括：关系类型、所述关系类型对应的数据量以及所述关系类型关联的所有关系桶的ID、所述关系类型关联的所有关系桶位置。
[0020]在一种较佳的实施方式中，所述基于所述顶点标识数据和属性数据创建顶点属性集合并基于所述属性数据和关系标识数据创建关系属性集合之后，所述方法还包括：
[0021]基于所述顶点属性集合与所述关系属性集合创建属性倒排索引。
[0022]在一种较佳的实施方式中，所述方法还包括：
[0023]获取待写入图数据；
[0024]分解所述待写入图数据以获得所述待写入图数据的开始顶点标识数据、所述待写入图数据的关系标识数据、所述待写入图数据的属性数据和所述待写入图数据的结束顶点标识数据；
[0025]基于所述关系标识数据查找对应的目标关系桶；
[0026]以所述待写入图数据的开始顶点标识数据和所述待写入图数据的关系标识数据对应的关系标识为键、以所述待写入图数据的结束顶点标识数据为值构建KV键形式数据并写入所述目标关系桶中；
[0027]在所述关系属性集合中写入所述待写入图数据的属性数据。
[0028]在一种较佳的实施方式中，所述方法还包括：
[0029]接收图数据查询请求，所述图数据查询请求中至少包括查询类型、目标查询顶点标识数据和目标关系标识数据；
[0030]基于所述目标查询顶点标识数据与所述目标关系标识数据定位目标关系桶；
[0031]基于所述查询类型和所述目标关系顶点ID以及所述目标关系桶获取目标查询结果。
[0032]第二方面，本专利技术还提供一种图数据存储系统，所述系统包括：
[0033]分解处理模块，用于分解并处理待存储图数据获取顶点标识数据、属性数据和关系标识数据，所述顶点标识数据包括开始顶点标识数据和结束顶点标识数据；
[0034]第一创建模块，用于创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据；
[0035]第二创建模块，用于基于所述顶点标识数据和属性数据创建顶点属性集合并基于
所述属性数据和关系标识数据创建关系属性集合；
[0036]分布存储模块，用于分布存储所述顶点属性集合、所述关系属性集合、所述属性倒排索引和所述关系桶元数据至持久内存介质中。
[0037]第三方面，本专利技术还提供一种计算机设备，包括：
[0038]一个或多个处理器；以及
[0039]与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行根据第一方面中任一所述的方法。
[0040]本专利技术的优点是：提高一种图数据存储方法、系统及计算机设备，方法包括：分解并处理待存储图数据获取顶点标识数据、属性数据和关系标识数据，顶点标识数据包括开始顶点标识数据和结束顶点标识数据；创建包含若干关系桶的关系桶元数据，每个关系桶以KV键形式存储关系标识数据相同的待存储图数据；基于顶点标识数据和属性数据创建顶点属性集合并基于属性数据和关系标识数据创建关系属性集合；分布存储顶点属性集合、关系属性集合、属性倒排索引和关系桶元数据至持久内存介质中；利用持久性内存的DAX特性直接存储特定结构的数据，唯一性数据只存储一份键值数据，关系网络分桶存储，便于水平拓展，桶内数据可以递归迭代，查询时以标识直接获取关键数据，使得复杂的关系网络查询的所需时间与数据集大小无关，能够以更快的速度处理图数据存储和查询。
附图说明
[0041]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图数据存储方法，其特征在于，所述方法包括：分解并处理待存储图数据获取顶点标识数据、属性数据和关系标识数据，所述顶点标识数据包括开始顶点标识数据和结束顶点标识数据；创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据；基于所述顶点标识数据和属性数据创建顶点属性集合并基于所述属性数据和关系标识数据创建关系属性集合；分布存储所述顶点属性集合、所述关系属性集合、所述属性倒排索引和所述关系桶元数据至持久内存介质中。2.根据权利要求1所述的图数据存储方法，其特征在于，所述创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据之前，所述方法还包括：以所述开始顶点标识数据和所述关系标识数据组合为键、以所述结束顶点标识数据为值构建KV键形式数据。3.根据权利要求2所述的图数据存储方法，其特征在于，所述创建包含若干关系桶的关系桶元数据，每个所述关系桶以KV键形式存储所述关系标识数据相同的所述待存储图数据包括：创建存储有关系标识数据相同的待存储图数据的关系桶；建立每个所述关系桶的ID并关联所述关系桶的ID与所述关系桶所存储的待存储图数据的关系标识数据；创建包括所有所述关系桶的关系桶元数据并存储所述关系桶的ID关联内容于所述关系桶元数据中。4.根据权利要求3所述的图数据存储方法，其特征在于，所述基于所述顶点标识数据和属性数据创建顶点属性集合并基于所述属性数据和关系标识数据创建关系属性集合包括：基于所述顶点标识数据和属性数据创建以键值模型存储所述顶点标识数据和属性数据的顶点属性集合，所述顶点属性集合以所述顶点标识数据为键、以所述属性数据为值；基于所述属性数据和关系标识数据创建以键值模型存储所述属性数据和关系标识数据的关系属性集合，所述关系属性集合以所述关系桶ID与关系标识数据为键、以所述属性数据为值。5.根据权利要求3所述的图数据存储方法，其特征在于，所述关系桶ID关联内容至少包括：关系类型、所述关系类型对应的数据量以及所述关系类型关联的所有关系桶的ID、所述关系类型关联的所有关系桶位置。6.根据权利要求1所述的图...

【专利技术属性】
技术研发人员：秦朝阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：