一种向量相似度确定方法及向量搜索方法技术

技术编号：40137604 阅读：7 留言：0更新日期：2024-01-23 23:06

本发明专利技术公开了一种向量相似度确定方法及向量搜索方法，向量相似度确定方法包括：获取第一稠密稀疏向量和第二稠密稀疏向量；基于第一稠密稀疏向量和第二稠密稀疏向量计算第一相似度和第二相似度；根据第一相似度和第二相似度确定第一稠密稀疏向量和第二稠密稀疏向量的相似度，解决了稠密向量与稀疏向量相似计算结果准确性较低，以及由于相似度计算结果准确性较低导致的搜索召回率较低的问题，通过对稠密向量和稀疏向量进行拼接，得到稠密稀疏向量。从稠密向量和稀疏向量进行考虑，计算向量的相似度，结果更加准确；实现简单，有效保证数据一致性；更好地反映真实的数据空间分布，从而保证相似度结果的准确性，进而提高向量搜索的召回率。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种向量相似度确定方法及向量搜索方法。

技术介绍

1、为方便对文本、图像等数据进行处理，现有技术通常将数据进行向量化，通过向量对数据进行表示。向量通常为一维数组，用于存储同一种类型数据，例如机器学习中的特征向量，向量中的每个值表示对应维度的数值特征。向量包括稠密向量和稀疏向量两种，稠密向量指表示向量的一维数组中，全部或者绝大多数数值不为0的向量，大多数机器学习模型生成的特征向量稠密向量，如openai的text-embedding-ada-002模型、开源常用的word2vec模型等，稠密向量的维度一般在2000维以下；稀疏向量指表示向量的一维数组维度非常高，但绝大多数数值为0的向量，稀疏向量的维度一般在几十万甚至百万以上。

2、在稀疏向量与稠密向量联合搜索时，业界有如下两种经典做法：1、使用稀疏向量做粗排，以需要搜索top 10为例，使用稀疏向量计算相似度，搜索出100条数据作为候选集，对候选集使用稠密向量计算相似度做精排，最相似的10条数据作为最终结果。2、使用稀疏向量与稠密向量，分别计算相似度，搜索出top 10结果集，根据两个top 10结果集，计算数据的倒数排序融合rrf得分，取rrf得分最高的10条数据作为最终的结果集。

3、现有技术在计算相似度时稀疏向量和稠密向量作为两份独立的数据分别进行相似度的计算，无法同时考虑到两种数据在向量空间中的分布，导致相似度计算结果不够准确，从而影响搜索结果，导致搜索召回率较低。如何提高向量的相似度计算准确性成为有待解决的问题。</p>

技术实现思路

1、本专利技术提供了一种向量相似度确定方法及向量搜索方法，以解决稠密向量与稀疏向量相似计算结果准确性较低的问题。

2、根据本专利技术的一方面，提供了一种向量相似度确定方法，包括：

3、获取第一稠密稀疏向量和第二稠密稀疏向量，所述第一稠密稀疏向量由第一稠密向量和第一稀疏向量拼接得到，所述第二稠密稀疏向量由第二稠密向量和第二稀疏向量拼接得到；

4、基于所述第一稠密稀疏向量和所述第二稠密稀疏向量计算第一相似度和第二相似度；

5、根据所述第一相似度和所述第二相似度确定所述第一稠密稀疏向量和第二稠密稀疏向量的相似度。

6、根据本专利技术的另一方面，提供了一种向量搜索方法，包括：

7、获取待搜索稠密稀疏向量；

8、基于图算法对分层可导航小世界的搜索图进行搜索，读取所述分层可导航小世界的搜索图中的待匹配稠密稀疏向量，计算所述待搜索稠密稀疏向量和所述待匹配稠密稀疏向量的相似度，所述相似度根据本专利技术任一实施例所述的向量相似度确定方法计算得到；

9、根据所述相似度确定与所述待搜索稠密稀疏向量匹配的目标稠密稀疏向量。

10、根据本专利技术的另一方面，提供了一种向量相似度确定装置，包括：

11、向量获取模块，用于获取第一稠密稀疏向量和第二稠密稀疏向量，所述第一稠密稀疏向量由第一稠密向量和第一稀疏向量拼接得到，所述第二稠密稀疏向量由第二稠密向量和第二稀疏向量拼接得到；

12、相似度计算模块，用于基于所述第一稠密稀疏向量和所述第二稠密稀疏向量计算第一相似度和第二相似度；

13、相似度确定模块，用于根据所述第一相似度和所述第二相似度确定所述第一稠密稀疏向量和第二稠密稀疏向量的相似度。

14、根据本专利技术的另一方面，提供了一种向量搜索装置，包括：

15、待搜索向量获取模块，用于获取待搜索稠密稀疏向量；

16、向量搜索模块，用于基于图算法对分层可导航小世界的搜索图进行搜索，读取所述分层可导航小世界的搜索图中的待匹配稠密稀疏向量，计算所述待搜索稠密稀疏向量和所述待匹配稠密稀疏向量的相似度，所述相似度根据本专利技术任一实施例所述的向量相似度确定方法计算得到；

17、目标向量确定模块，用于根据所述相似度确定与所述待搜索稠密稀疏向量匹配的目标稠密稀疏向量。

18、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：

19、至少一个处理器；以及

20、与所述至少一个处理器通信连接的存储器；其中，

21、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的向量相似度确定方法或者本专利技术任一实施例所述的向量搜索方法。

22、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的向量相似度确定方法或者本专利技术任一实施例所述的向量搜索方法。

23、本专利技术实施例的技术方案，通过获取第一稠密稀疏向量和第二稠密稀疏向量，所述第一稠密稀疏向量由第一稠密向量和第一稀疏向量拼接得到，所述第二稠密稀疏向量由第二稠密向量和第二稀疏向量拼接得到；基于所述第一稠密稀疏向量和所述第二稠密稀疏向量计算第一相似度和第二相似度；根据所述第一相似度和所述第二相似度确定所述第一稠密稀疏向量和第二稠密稀疏向量的相似度，解决了稠密向量与稀疏向量相似计算结果准确性较低的问题，通过对稠密向量和稀疏向量进行拼接，得到一种新的向量，即稠密稀疏向量。通过计算第一稠密稀疏向量和第二稠密稀疏向量的第一相似度和第二相似度确定第一稠密稀疏向量和第二稠密稀疏向量最终的相似度，相比于现有技术中分别从稠密向量和稀疏向量两个角度计算相似度，本申请同时从稠密向量和稀疏向量进行考虑，计算向量的相似度，结果更加准确；实现简单，有效保证数据一致性；通过稠密稀疏向量对数据进行表示，更好地反映真实的数据空间分布，从而保证相似度结果的准确性，进而提高向量搜索的召回率。

24、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种向量相似度确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一稠密稀疏向量和所述第二稠密稀疏向量计算第一相似度和第二相似度，包括：

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一稀疏向量和所述第二稀疏向量的相似度，得到第二相似度，包括：

4.根据权利要求2所述的方法，其特征在于，所述第一相似度和第二相似度为内积相似度。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一相似度和所述第二相似度确定所述第一稠密稀疏向量和第二稠密稀疏向量的相似度，包括：

6.一种向量搜索方法，其特征在于，包括：

7.根据权利要求6所述的方法，其特征在于，构建所述分层可导航小世界的搜索图，包括：

8.根据权利要求7所述的方法，其特征在于，所述预分配的内存空间包括第一内存空间和第二内存空间；

9.根据权利要求8所述的方法，其特征在于，所述读取所述分层可导航小世界的搜索图中的待匹配稠密稀疏向量，包括：

10.根据权利要求7所述的方法，其特征在于，还包括：

11.根据权利要求10所述的方法，其特征在于，所述对预分配的内存空间进行合并，得到合并后的存储空间，包括：

12.根据权利要求11所述的方法，其特征在于，所述读取所述分层可导航小世界的搜索图中的待匹配稠密稀疏向量，包括：

13.一种向量相似度确定装置，其特征在于，包括：

14.一种向量搜索装置，其特征在于，包括：

15.一种电子设备，其特征在于，所述电子设备包括：

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的向量相似度确定方法或权利要求6-12中任一项所述的向量搜索方法。

...

【技术特征摘要】