System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() HNSW图的处理方法、装置、电子设备和存储介质制造方法及图纸_技高网

HNSW图的处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40359438 阅读:5 留言:0更新日期:2024-02-09 14:46
本公开提供一种HNSW图的处理方法、装置、电子设备和存储介质,涉及计算机技术领域。该方法包括:在获取待删除表示向量后,从HNSW图的多个向量组节点中确定出向量组中包含该待删除表示向量的第一目标向量组节点,并从第一目标向量组节点的向量组中删除该待删除表示向量。由此,可在HNSW图中的相应向量组节点所对应的向量组中将待删除表示向量删除,实现了表示向量的有效删除,节省了存储资源,避免了资源浪费。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种hnsw图的处理方法、装置、电子设备和存储介质。


技术介绍

1、随着数据量的爆炸性增长和数据的复杂性增加,传统的关系型数据库和基于关键字的搜索方法已经无法满足现代应用的需求。向量搜索作为一种基于向量相似度的检索方法,具有高效、准确和灵活的特点,逐渐成为解决大规模数据分析和信息检索的重要工具。在多媒体资源
,例如,在视频领域中,可通过将视频转化为表示向量,并基于表示向量构建对应的分层可导航小世界(hierarchical navigable small world,hnsw)图,然后,可以利用向量搜索技术在hnsw图中进行快速搜索,以得到相似的视频,从而实现视频推荐。

2、在建立hnsw图后,如果视频资源库中删除了某个视频,对应地,也要删除hnsw图中与该视频所对应表示向量的向量节点,然而,删除hnsw图中的相应向量节点,则破坏了向量节点之间的连接关系,需要重新构建索引导致开销较大。因此,相关技术中,在获取待删除表示向量后,通常在hnsw图中获取待删除表示向量所对应的目标向量节点,并为该目标向量节点添加删除标记,以使得在对hnsw图进行搜索时可以忽略该数据。然而,这种方式在本质上并没有释放向量节点所占用的资源,无法有效删除,浪费了存储资源,造成了不必要的资源浪费。


技术实现思路

1、本公开提供一种hnsw图的处理方法、装置、电子设备和存储介质。

2、第一方面,本公开提供一种hnsw图的处理方法,所述方法包括:获取分层可导航小世界hnsw图,其中,所述hnsw图中包括多个向量组节点,每个向量组节点对应一个向量组,所述向量组包括多个多媒体资源的表示向量,所述多个多媒体资源的表示向量之间的距离小于或者等于预设距离阈值;获取待删除表示向量;在从所述多个向量组节点中,确定出向量组中包括所述待删除表示向量的第一目标向量组节点的情况下,从所述第一目标向量组节点所对应的向量组中删除所述待删除表示向量。

3、第二方面,本公开提供一种hnsw图的处理装置,所述装置包括:第一获取模块,用于获取分层可导航小世界hnsw图,其中,所述hnsw图中包括多个向量组节点,每个向量组节点对应一个向量组,所述向量组包括多个多媒体资源的表示向量,所述多个多媒体资源的表示向量之间的距离小于或者等于预设距离阈值;第二获取模块,用于获取待删除表示向量;第一删除模块,用于在从所述多个向量组节点中,确定出向量组中包括所述待删除表示向量的第一目标向量组节点的情况下,从所述第一目标向量组节点所对应的向量组中删除所述待删除表示向量。

4、第三方面,本公开提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现本公开实施例公开的hnsw图的处理方法。

5、第四方面,本公开提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现本公开实施例公开的hnsw图的处理方法。

6、第五方面,本公开提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开实施例公开的hnsw图的处理方法。

7、本公开的实施例提供的技术方案至少带来以下有益效果:

8、在获取待删除表示向量后,从hnsw图的多个向量组节点中确定出向量组中包含该待删除表示向量的第一目标向量组节点,并从第一目标向量组节点的向量组中删除该待删除表示向量。由此,可在hnsw图中的相应向量组节点所对应的向量组中将待删除表示向量删除,实现了表示向量的有效删除,节省了存储资源,避免了资源浪费。

本文档来自技高网...

【技术保护点】

1.一种HNSW图的处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求1所述的方法,其特征在于,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,所述方法还包括:

5.如权利要求4所述的方法,其特征在于,所述在所述第三目标向量组节点所对应的向量组中添加所述第一目标表示向量,包括:

6.如权利要求5所述的方法,其特征在于,所述方法还包括:

7.如权利要求4所述的方法,其特征在于,所述方法还包括:

8.如权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:

9.一种HNSW图的处理装置,其特征在于,所述装置包括:

10.如权利要求9所述的装置,其特征在于,所述装置还包括:

11.如权利要求9所述的装置,其特征在于,所述装置还包括:

12.如权利要求9所述的装置,其特征在于,所述装置还包括:

13.如权利要求12所述的装置,其特征在于,所述第三添加模块,具体用于:p>

14.如权利要求13所述的装置,其特征在于,所述装置还包括:

15.如权利要求12所述的装置,其特征在于,所述装置还包括:

16.如权利要求9-15中任一项所述的装置,其特征在于,所述装置还包括:

17.一种电子设备,其特征在于,包括:

18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

...

【技术特征摘要】

1.一种hnsw图的处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求1所述的方法,其特征在于,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,所述方法还包括:

5.如权利要求4所述的方法,其特征在于,所述在所述第三目标向量组节点所对应的向量组中添加所述第一目标表示向量,包括:

6.如权利要求5所述的方法,其特征在于,所述方法还包括:

7.如权利要求4所述的方法,其特征在于,所述方法还包括:

8.如权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:

9.一种hnsw图的处理装置,其特征在于,所述装置包括:

10.如权利要求9所述的装置,其特征在于,所述装置还包括:

...

【专利技术属性】
技术研发人员:王宝辉关矛张杰余东辉罗晓斌张云谢天铎
申请(专利权)人:中移互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1