图数据查询任务处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图数据查询任务处理方法、装置、计算机设备和存储介质。所述方法包括：获取图数据集和图数据查询任务集，图数据集为分布式存储于多台机器节点的图数据结构的集合，识别图数据集的图数据类型，根据图数据类型，计算图数据查询任务集中两两查询任务间的相似度或差异度，基于两两查询任务间的相似度或差异度，将图数据查询任务集划分为多个图数据查询任务子集，将图数据查询任务子集输入预设分布式图查询系统，得到对应的查询结果。采用本方案解决了在分布式系统中处理批量任务时的负载均衡问题，同时优化了串行执行查询任务低效问题和并行资源利用率低的问题，提高查询任务执行效率，缓解查询实时性需求问题。

【技术实现步骤摘要】
图数据查询任务处理方法、装置、计算机设备和存储介质
本申请涉及数据处理
，特别是涉及一种图数据查询任务处理方法、装置、计算机设备和存储介质。
技术介绍
随着互联网技术和电子信息化的迅速发展，各领域信息量成爆炸式增长，且人们对于数据传输数据处理的需求也日益提高。图(graph)作为一种数据存储结构，可有效表达各类信息，人们对于很多图相关任务的实时性要求也越来越高，如实时舆论检测、产品推荐等，基于硬盘的计算模式I/O(Input/Output)速度慢也影响用户体验。因此，需要利用内存高速I/O特性进行优化，但单台机器内存无法满足如此大规模的、结构复杂的图数据存储需求，于是基于分布式的图计算方式应运而生。然而，目前的分布式图计算系统，通常是针对大规模图计算任务处理，对于轻量级的图数据查询任务(如批个性化图查询任务)通常也是以pipeline的方式按序将任务输入系统中执行，任务之间的差异性仍然会影响任务的执行，使得图数据查询任务的执行效率较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高图数据查询任本文档来自技高网...

【技术保护点】
1.一种图数据查询任务处理方法，所述方法包括：/n获取图数据集和图数据查询任务集，所述图数据集为分布式存储于多台机器节点的图数据结构的集合；/n识别所述图数据集的图数据类型；/n根据所述图数据类型，计算所述图数据查询任务集中两两查询任务间的相似度或差异度；/n基于所述两两查询任务间的相似度或差异度，将所述图数据查询任务集划分为多个图数据查询任务子集；/n将所述图数据查询任务子集输入预设分布式图查询系统，得到对应的查询结果。/n

【技术特征摘要】
1.一种图数据查询任务处理方法，所述方法包括：
获取图数据集和图数据查询任务集，所述图数据集为分布式存储于多台机器节点的图数据结构的集合；
识别所述图数据集的图数据类型；
根据所述图数据类型，计算所述图数据查询任务集中两两查询任务间的相似度或差异度；
基于所述两两查询任务间的相似度或差异度，将所述图数据查询任务集划分为多个图数据查询任务子集；
将所述图数据查询任务子集输入预设分布式图查询系统，得到对应的查询结果。


2.根据权利要求1所述的方法，其特征在于，所述图数据类型包括稠密图和稀疏图；
所述根据所述图数据类型，计算所述图数据查询任务集中两两查询任务间的相似度或差异度包括：
当所述图数据类型为稠密图时，则计算所述图数据查询任务集中两两查询任务间的相似度；
当所述图数据类型为稀疏图时，则计算所述图数据查询任务集中两两查询任务间的差异度。


3.根据权利要求2所述的方法，其特征在于，计算所述图数据查询任务集中两两查询任务间的相似度包括：
获取所述图数据查询任务集中两两查询任务对应的查询点以及各查询点的邻节点；
基于所述查询点以及各查询点的邻节点，计算两两查询任务间的相似度。


4.根据权利要求2所述的方法，其特征在于，计算所述图数据查询任务集中两两查询任务间的差异度包括：
获取所述图数据查询任务集中两两查询任务对应的查询点；
从预设顶点嵌入向量集中选取出与所述查询点对应的查询点嵌入向量；
基于选取出的查询点嵌入向量，计算两两查询任务间的差异度。


5.根据权利要求4所述的方法，其特征在于，从预设顶点嵌入向量集中选取出与所述查询点对应的查询点嵌入向量之前，还包括：
从所述图数据集中筛选出预设个数全局支枢点；
计算所述图数据集中各顶点至各全局支枢点的距离，得到顶点嵌入向量；
基于所述顶点嵌入向量，构建顶点嵌入向量集。


6.根据权利要求5所述的方法，其特征在于，所述从所述图数据集中筛选出预设个数全局支枢点包括：
获取存储于每台机器节点的图数据结构中的目标顶点，得到分布式顶点集，所述目标顶点为图...

【专利技术属性】
技术研发人员：李肯立，翁同峰，周旭，廖清，彭鹏，林培英，罗文晟，李克勤，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43