当前位置: 首页 > 专利查询>清华大学专利>正文

数据搜索方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号:41708764 阅读:14 留言:0更新日期:2024-06-19 12:39
本公开实施例提供一种数据搜索方法、装置、电子设备、存储介质及程序产品,涉及数据检索领域。该方法包括:接收数据搜索请求,生成数据搜索请求的搜索查询向量;根据搜索查询向量选取目标数据子图,根据目标数据子图确定目标图形处理器;将搜索查询向量发送至目标图形处理器,通过目标图形处理器根据搜索查询向量在目标数据子图中进行搜索获得一个或多个邻居节点,利用多线程对一个或多个邻居节点进行并行处理操作,获得处理操作结果,进而确定数据搜索结果。该方法能够基于GPU实现混合搜索,优化了单个GPU上混合搜索过程中的GPU资源利用,降低单个GPU上进行混合搜索的延时,优化了多个GPU协同处理请求时的调度方式,减少GPU任务量,提高整体吞吐率。

【技术实现步骤摘要】

本公开涉及数据检索技术,具体而言,涉及一种数据搜索方法、数据搜索装置、电子设备、计算机可读存储介质以及计算机程序产品。


技术介绍

1、数据搜索是指在大量数据中筛选出满足给定条件的一部分数据的任务,这里的数据包括非结构化数据和结构化数据。在非结构化数据和结构化数据相结合的场景中,可以将向量搜索和属性过滤融合在一起完成这种场景下的数据搜索任务。相关技术中,可以采用搜索过滤一体的混合搜索方法执行数据搜索,在利用非结构化数据执行数据搜索任务的过程中,同时利用结构化数据执行过滤。

2、gpu(graphics processing unit,图形处理器)具有强大的计算能力和更高的内存带宽,这使得混合搜索方法在gpu上运行时可以更快地处理数据和计算相似度。然而,搜索过滤一体的混合搜索方法的搜索过程相比于向量搜索过程多出了根据属性进行过滤的操作,这导致直接照搬ggnn(graph-based gpu nearest neighbor search algorithm,基于图的gpu最近邻搜索算法)的方法将混合搜索方法部署在gpu上会导致资源利用率低,无法充分本文档来自技高网...

【技术保护点】

1.一种数据搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述目标图形处理器的多线程对所述一个或多个邻居节点进行并行处理操作,获得处理操作结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述数据搜索请求包括属性过滤条件;

4.根据权利要求2所述的方法,其特征在于,所述根据所述处理操作结果,确定所述搜索查询向量的数据搜索结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述数据集包含的数据进行聚类划分,包括:<...

【技术特征摘要】

1.一种数据搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述目标图形处理器的多线程对所述一个或多个邻居节点进行并行处理操作,获得处理操作结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述数据搜索请求包括属性过滤条件;

4.根据权利要求2所述的方法,其特征在于,所述根据所述处理操作结果,确定所述搜索查询向量的数据搜索结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述数据集包含的数据进行聚类划分...

【专利技术属性】
技术研发人员:汪玉毛秋力付鹏
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1