多模态相似性搜索的统一框架制造技术

本公开的实施例涉及多模态相似性搜索的统一框架。本文公开了一种用于增强型相似性搜索的技术。在实现中，搜索环境包括一个或多个计算硬件、软件和/或固件组件以支持增强型相似性搜索。一个或多个组件标识相对于查询对象的相似性搜索的模态。组件基于模态并且基于查询对象与图形中的邻近节点之间的连接，来生成针对查询对象的嵌入。针对查询对象的嵌入为类似对象的搜索提供了基础。似对象的搜索提供了基础。似对象的搜索提供了基础。

【技术实现步骤摘要】
多模态相似性搜索的统一框架


[0001]本公开的各个方面涉及计算硬件、软件和服务的领域，具体地涉及相似性搜索技术。

技术介绍

[0002]相似性搜索通常通过比较对象对之间的相似性来起作用。例如，可以基于集合中的每个对象与查询对象的比较在数据集中搜索最类似于查询对象的前k个对象。因此，可以基于给定对中的目标对象与查询对象的相似性来评估由查询对象和集合中的每个对象组成的对象的唯一对。可以基于可视相似性、概念相似性或任何其他模态来评估一个对象与另一对象的相似性，并且可以针对任何期望的模态来优化搜索流水线。
[0003]搜索流水线大体上包括特征提取阶段(或嵌入)，随后是评估阶段。在第一阶段期间提取查询对象的特征，并将其作为输入供应给评估阶段。在评估阶段，将查询对象的特征与目标对象的特征进行比较，以找到最类似的对象。特征提取可以取决于所选优化向一个维度或另一维度被加权，就像特征评估可以被加权一样。例如，可以针对对象的可视特征优化与查询对象在视觉上最类似的对象的搜索，而可以针对概念(或文本)特征优化概念上类似的对象的搜索。/>[0004]现存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于相对于查询对象和在图形中表示的对象执行相似性搜索的方法，所述方法包括：标识针对所述相似性搜索的模态；至少基于针对所述相似性搜索标识的所述模态并且还基于在所述查询对象与所述图形中的现存节点的子集之间标识的新连接，来生成针对所述查询对象的嵌入；以及向包括针对所述查询对象的所述嵌入的所述相似性搜索供应输入，以获得包括在所述图形中表示的一个或多个相似对象的结果。2.根据权利要求1所述的方法，还包括在所述图形上训练机器学习模型，其中所述图形包括：所述现存节点，其中所述现存节点包括与所述对象相对应的对象节点和与标签相对应的标签节点；以及代表现存连接的现存边，其中所述现存连接包括相似对象之间的对象
‑
对象连接、以及所述对象中的至少一些对象与所述标签之间的对象
‑
标签连接。3.根据权利要求2所述的方法，其中生成针对所述对象的所述嵌入包括：基于针对所述相似性搜索标识的所述模态，来标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接；向所述机器学习模型提交输入，其中所述输入包括所述查询对象和所述新连接；以及从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的所述嵌入。4.根据权利要求3所述的方法，其中标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接包括：标识最像所述查询对象的所述对象的前k个子集；标识与所述对象的所述前k个子集相关联的一个或多个标签；以及在所述新连接中包括以下至少一项：所述查询对象与所述对象的所述前k个子集之间的新对象
‑
对象连接，以及所述查询对象和与所述对象的所述前k个子集相关联的所述一个或多个标签之间的一个或多个新对象
‑
标签连接。5.根据权利要求4所述的方法，其中：当所述模态包括可视模态时，所述新连接包括所述新对象
‑
对象连接并且排除所述一个或多个新对象
‑
标签连接；并且当所述模态包括概念模态时，所述新连接包括所述新对象
‑
对象连接中的一个或多个新对象
‑
对象连接和所述新对象
‑
标签连接中的所述一个或多个新对象
‑
标签连接。6.根据权利要求2所述的方法，其中生成针对所述主体的所述嵌入包括：基于所述对象的最近邻搜索，来标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接；向所述机器学习模型提交输入，其中所述输入包括所述查询对象和所述新连接；从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的初始嵌入；生成针对所述查询对象的标签嵌入；以及组合所述初始嵌入和所述标签嵌入，以基于由所述模态指定的加权来产生所述嵌入。7.根据权利要求6所述的方法，其中：当所述模态包括概念模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中
强调所述标签嵌入，与当所述模态包括可视模态时相比强调更多；以及当所述模态包括所述可视模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中强调所述标签嵌入，与当所述模态包括所述概念模态时相比强调更少。8.根据权利要求1所述的方法，其中标识所述模态包括：接收用户输入，所述用户输入包括从可能模态的范围中对所述模态的选择，所述可能模态包括可视模态和概念模态。9.根据权利要求1所述的方法，其中：所述查询对象包括查询图像；所述对象包括由所述图形中的节点表示的现存图像；并且在所述图形中表示的所述一个或多个相似对象包括所述现存图像中的所述查询图像的k个最近邻。10.根据权利要求9所述的方法，其中所述方法还包括：基于针对所述查询图像生成的所述嵌入，针对所述现存图像中的所述查询图像的所述k个最近邻执行所述相似性搜索。11.一种计算装置，包括：一个或多个计算机可读存储介质；一个或多个处理器，所述一个或多个处理器与所述一个或多个计算机可读存储介质操作地耦合；以及程序指令，所述程序指令被存储在所述一个或多个计算机可读存储介质上，所述程序指令在由所述一个或多个处理器执行时指导所述计算装置至少：确定针对相似性搜索的模态，所述相似性搜索要相对于查询对象和在...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：