一种图数据处理服务的方法、装置制造方法及图纸

技术编号:12732481 阅读:88 留言:0更新日期:2016-01-20 15:45
图数据处理服务的方法、装置,所述方法包括:在接收到查询目标子图的子图信息时,获取所述目标子图的子图信息中任一个图节点的索引标识;根据所述图节点的索引标识与对应的主标识间的第一映射关系获取对应的主标识;根据所述主标识查找所述目标子图对应的物理分区;判断所述物理分区中是否包含与所述主标识相同的标识信息;当所述物理分区中包含与所述主标识相同的标识信息时,则根据所述标识信息获取到所述目标子图的子图信息,从而实现通过任一图节点即可快速地查询到子图的信息,进而提高查询子图的效率。

【技术实现步骤摘要】

本专利技术涉及图数据挖掘
,特别是涉及一种图数据处理服务的方法、装置
技术介绍
图是计算机科学
中常用的一种抽象数据结构,在实际应用中许多应用场景都可以用图谱的拓扑结构表示,例如社交网络就是一种典型的以图为基本结构的数据,整个社交图谱的拓扑结构体现了社交网络中人与人之间的关联关系。目前,大规模图数据的搜索问题已经在学术界和工业界引起了广泛的兴趣。现有技术中,图计算和图数据库主要是基于社交网络的需求,研究人与人之间的关系,图的查询注重的不是关系,而是含有关键词的信息,现有技术的图数据处理服务方法侧重与图计算,向用户返回包含关键词的信息,而不能实现图谱的高效查询。
技术实现思路
本专利技术要解决的技术问题是提高查询子图数据的效率,进而提高图数据服务中其他操作的处理效率。为解决上述技术问题,本专利技术实施例提供一种图数据处理服务的方法,所述方法包括:接收到查询目标子图的子图信息时,获取所述目标子图的子图信息中任一个图节点的索引标识;其中,图节点的索引标识与图节点信息一一对应;根据所述图节点的索引标识与对应的主标识间的第一映射关系获取对应的主标识;其中,所述第一映射关系包括:根据已知图节点的索引标识获取已知图节点所属的类型,根据所述类型通过Hash索引选择对应的Btree,在所述Btree中根据所述已知图节点的索引标识获取子图的主标识,其中,一个类型对应一个Btree,一个Btree中包含一个类型的图节点的索引标识与子图的主标标识的对应关系;根据所述主标识查找所述目标子图对应的物理分区;其中,所述主标识与所述对应的物理分区间存在第二映射关系;判断所述物理分区中是否包含与所述主标识相同的标识信息;当所述物理分区中包含与所述主标识相同的标识信息,则根据所述标识信息获取到所述目标子图的子图信息;其中,所述标识信息与一个子图的子图信息为一一对应关系;所述一个子图的子图信息包括图节点信息和图节点间的关联关系信息;任意两个子图间不存在两个图节点的关联关系信息。可选地,所述图数据处理服务的方法,还包括:在接收到插入一组关联关系信息至一个待更新的子图信息的信息时,获取待加入的一条关联关系信息对应的两个图节点信息的索引标识分别作为第一索引标识和第二索引标识;其中,一条关联关系信息对应两个图节点的图节点信息,一条关联关系信息包括两个图节点的关联关系、关联次数和最后关联时间;根据所述第一索引标识获取第一子图信息,根据所述第二索引标识获取第二子图信息;当所述第一子图信息与所述第二子图信息属于同一个所述待更新的子图信息时,在所述待更新的子图信息所在的物理分区中更新所述关联关系信息,得到更新子图信息;当所述第一子图信息和所述第二子图信息中的一个子图信息为空白时,在获取的不为空白的待更新的子图信息所在的物理分区中更新所述关联关系信息,建立对应子图信息为空白的第一索引标识或第二索引标识与所述待更新的子图信息的主标识的所述第一映射关系;当所述第一子图信息和所述第二子图信息不同时,将第一子图信息与第二子图信息合并,得到更新子图信息。可选地,所述将第一子图信息与第二子图信息合并,得到更新子图信息,包括:将所述第一子图信息或所述第二子图信息作为主子图信息,读取另一个子图信息并将所述另一个子图信息写入所述主子图信息所在物理分区;建立与所述第一索引标识相同的索引标识对应的图节点及与所述第二索引标识相同的索引标识对应的图节点间的关联关系;将所述主子图信息的主标识作为所述更新子图的主标识;更新所述另一个子图信息中各索引标识与所述更新子图的主标识的所述第一映射关系。可选地,所述图数据处理服务的方法,还包括:当服务检测到子图信息中一条关联关系信息需要删除时,获取待加入的一条关联关系信息对应的两个图节点信息的索引标识分别作为第一索引标识和第二索引标识;其中,一条关联关系信息对应两个图节点的图节点信息,一条关联关系信息包括两个图节点的关联关系、关联次数和最后关联时间;根据所述第一索引标识或所述第二索引标识获取目标子图信息;在所述目标子图信息所在的物理分区中删除所述关联关系信息,得到更新子图信息。可选地,所述服务检测到子图信息中一条关联关系信息需要删除,包括:检测到子图信息存在关联关系信息中的关联权重值达到固定阈值时,需要删除对应的关联关系信息;其中,所述关联权重值根据所述关联次数和所述最后关联时间计算所得。可选地,所述在所述目标子图信息所在的物理分区中删除所述关联关系信息,得到更新子图信息,包括:当删除所述关联关系信息后,所述目标子图信息形成多个拆分后子图的子图信息时,将图节点的索引标识数最多对应的所述拆分后子图保留,将保留的所述拆分后子图作为更新子图。可选地,所述图数据处理服务的方法,还包括:在接收到删除目标子图的子图信息的信息时,获取所述目标子图的子图信息中任一图节点的索引标识;根据所述索引标识及所述索引标识与主标识间的所述第一映射关系获取主标识;根据所述主标识与其对应的目标物理分区间的第二映射关系查找目标物理分区;当所述目标物理分区中存在所述主标识时,在所述目标物理分区中删除目标子图的子图信息、所述第二映射关系、以及所述目标子图的子图信息中每个图节点与对应的主标识码间的第一映射关系;在所述目标物理分区中写入仅包含所述目标子图的主标识的子图信息。可选地,所述图数据处理服务的方法,还包括:当所述服务接收到存在待清理物理分区需要进行磁盘整理的信息时,记录当前所述待清理物理分区的子图信息为快照信息;将所述快照信息写到交换区;所述交换区为磁盘中未被占用的空间;在所述交换区中清除所述快照信息中的已经被删除的子图所占用的物理分区;将当前所述待清理物理分区中新写入的信息同步写入所述交换区;将所述交换区中的信息覆盖所述待清理物理分区中的信息。可选地,所述图数据处理服务的方法,还包括:记录每天所述图数据处理过程中所要求获取的所述主标识;将规定的有效期内记录的所有所述主标识合并,得到有效的主标识集;搜索子图信息库,当查询到所述子图信息库中存在没有出现在所述有效的主标识集中的子图信息时,将所述子图信息删除。本专利技术实施例还提供了一种图数据处理服务的装置,所述装置包括:第一获取单元,适于接收到查询目标子图的子图信息时,获取所述目标子图的子图信息中任一图节点本文档来自技高网...

【技术保护点】
一种图数据处理服务的方法,其特征在于,包括:接收到查询目标子图的子图信息时,获取所述目标子图的子图信息中任一个图节点的索引标识;其中,图节点的索引标识与图节点信息一一对应;根据所述图节点的索引标识与对应的主标识间的第一映射关系获取对应的主标识;其中,所述第一映射关系包括:根据已知图节点的索引标识获取已知图节点所属的类型,根据所述类型通过Hash索引选择对应的Btree,在所述Btree中根据所述已知图节点的索引标识获取子图的主标识,其中,一个类型对应一个Btree,一个Btree中包含一个类型的图节点的索引标识与子图的主标标识的对应关系;根据所述主标识查找所述目标子图对应的物理分区;其中,所述主标识与所述对应的物理分区间存在第二映射关系;判断所述物理分区中是否包含与所述主标识相同的标识信息;当所述物理分区中包含与所述主标识相同的标识信息,则根据所述标识信息获取到所述目标子图的子图信息;其中,所述标识信息与一个子图的子图信息为一一对应关系;所述一个子图的子图信息包括图节点信息和图节点间的关联关系信息;任意两个子图间不存在两个图节点的关联关系信息。

【技术特征摘要】
1.一种图数据处理服务的方法,其特征在于,包括:
接收到查询目标子图的子图信息时,获取所述目标子图的子图信息中任一
个图节点的索引标识;其中,图节点的索引标识与图节点信息一一对应;
根据所述图节点的索引标识与对应的主标识间的第一映射关系获取对应的
主标识;其中,所述第一映射关系包括:根据已知图节点的索引标识获取
已知图节点所属的类型,根据所述类型通过Hash索引选择对应的Btree,
在所述Btree中根据所述已知图节点的索引标识获取子图的主标识,其中,
一个类型对应一个Btree,一个Btree中包含一个类型的图节点的索引标识
与子图的主标标识的对应关系;
根据所述主标识查找所述目标子图对应的物理分区;其中,所述主标识与
所述对应的物理分区间存在第二映射关系;
判断所述物理分区中是否包含与所述主标识相同的标识信息;
当所述物理分区中包含与所述主标识相同的标识信息,则根据所述标识信
息获取到所述目标子图的子图信息;其中,所述标识信息与一个子图的子
图信息为一一对应关系;所述一个子图的子图信息包括图节点信息和图节
点间的关联关系信息;任意两个子图间不存在两个图节点的关联关系信息。
2.根据权利要求1所述的图数据处理服务的方法,其特征在于,还包括:
在接收到插入一组关联关系信息至一个待更新的子图信息的信息时,获取
待加入的一条关联关系信息对应的两个图节点信息的索引标识分别作为第
一索引标识和第二索引标识;其中,一条关联关系信息对应两个图节点的
图节点信息,一条关联关系信息包括两个图节点的关联关系、关联次数和
最后关联时间;
根据所述第一索引标识获取第一子图信息,根据所述第二索引标识获取第
二子图信息;
当所述第一子图信息与所述第二子图信息属于同一个所述待更新的子图信
息时,在所述待更新的子图信息所在的物理分区中更新所述关联关系信息,
得到更新子图信息;
当所述第一子图信息和所述第二子图信息中的一个子图信息为空白时,在
获取的不为空白的待更新的子图信息所在的物理分区中更新所述关联关系
信息,建立对应子图信息为空白的第一索引标识或第二索引标识与所述待
更新的子图信息的主标识的所述第一映射关系;
当所述第一子图信息和所述第二子图信息不同时,将第一子图信息与第二
子图信息合并,得到更新子图信息。
3.根据权利要求2所述的图数据处理服务的方法,其特征在于,所述将第一
子图信息与第二子图信息合并,得到更新子图信息,包括:
将所述第一子图信息或所述第二子图信息作为主子图信息,读取另一个子
图信息并将所述另一个子图信息写入所述主子图信息所在物理分区;
建立与所述第一索引标识相同的索引标识对应的图节点及与所述第二索引
标识相同的索引标识对应的图节点间的关联关系;
将所述主子图信息的主标识作为所述更新子图的主标识;
更新所述另一个子图信息中各索引标识与所述更新子图的主标识的所述第
一映射关系。
4.根据权利要求1中所述的图数据处理服务的方法,其特征在于,还包括:
当服务检测到子图信息中一条关联关系信息需要删除时,获取待加入的一
条关联关系信息对应的两个图节点信息的索引标识分别作为第一索引标识
和第二索引标识;其中,一条关联关系信息对应两个图节点的图节点信息,
一条关联关系信息包括两个图节点的关联关系、关联次数和最后关联时间;
根据所述第一索引标识或所述第二索引标识获取目标子图信息;
在所述目标子图信息所在的物理分区中删除所述关联关系信息,得到更新
子图信息。
5.根据权利要求4中所述的图数据处理服务的方法,其特征在于,所述服务
检测到子图信息中一条关联关系信息需要删除,包括:
检测到子图信息存在关联关系信息中的关联权重值达到固定阈值时,需要
删除对应的关联关系信息;其中,所述关联权重值根据所述关联次数和所

\t述最后关联时间计算所得。
6.根据权利要求4所述的图数据处理服务的方法,其特征在于,所述在所述
目标子图信息所在的物理分区中删除所述关联关系信息,得到更新子图信
息,包括:
当删除所述关联关系信息后,所述目标子图信息形成多个拆分后子图的子
图信息时,将图节点的索引标识数最多对应的所述拆分后子图保留,将保
留的所述拆分后子图作为更新子图。
7.根据权利要求1所述的图数据处理服务的方法,其特征在于,还包括:
在接收到删除目标子图的子图信息的信息时,获取所述目标子图的子图信
息中任一图节点的索引标识;
根据所述索引标识及所述索引标识与主标识间的所述第一映射关系获取主
标识;
根据所述主标识与其对应的目标物理分区间的第二映射关系查找目标物理
分区;
当所述目标物理分区中存在所述主标识时,在所述目标物理分区中删除目
标子图的子图信息、所述第二映射关系、以及所述目标子图的子图信息中
每个图节点与对应的主标识码间的第一映射关系;
在所述目标物理分区中写入仅包含所述目标子图的主标识的子图信息。
8.根据权利要求1所述的图数据处理服务的方法,其特征在于,还包括:
当所述服务接收到存在待清理物理分区需要进行磁盘整理的信息时,记录
当前所述待清理物理分区的子图信息为快照信息;
将所述快照信息写到交换区;所述交换区为磁盘中未被占用的空间;
在所述交换区中清除所述快照信息中的已经被删除的子图所占用的物理分
区;
将当前所述待清理物理分区中新写入的信息同步写入所述交换区;
将所述交换区中的信息覆盖所述待清理物理分区中的信息。
9.根据权利要求1-8中任一项所述的图数据处理服务的方法,其特征在于,
还包括:
记录每天所述图数据处理过程中所要求获取的所述主标识;
将规定的有效期内记录的所有所述主标识合并,得到有效的主标识集;
搜索子图信息库,当查询到所述子图信息库中存在没有出现在所述有效的
主标识集中的子图信息时,将所述子图信息删除。
10.一种图数据处理服务的装置,其特征在于,包括:
第一获取单元,适于接收到查询目标子图的子图信息时,获取所述目标子
图的子图信息中任一图节点的索引标识;其中,图节点的索引标识与图节
点信息一一对应;
第一主标识获取单元,根据所述图节点的索引标识与对应的主标识间的第
一映射关系获取对应的主标识;其中,所述第一映射关系包括:根据已知<...

【专利技术属性】
技术研发人员:汤奇峰史剑冬安斌
申请(专利权)人:晶赞广告上海有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1