跨模态检索方法、跨模态检索模型的训练方法及相关设备技术

本申请公开了一种跨模态检索方法、跨模态检索模型的训练方法、电子设备及计算机可读存储介质，所述跨模态检索方法首先提取作为检索目标的第一模态样本的特征向量生成第一单元向量集，以及作为候选对象的多个第二模态样本的特征向量生成第二单元向量集，然后分别对第一单元向量集和第二单元向量集进行池化处理，再将池化得到的第一全局向量和多个第二全局向量分别投射到同一联合空间，最后基于投射得到的第一联合向量和各个第二联合向量之间的相似度获取跨模态检索结果。其中，第一全局向量包含了第一模态样本包含的第一单元的位置信息，第二全局向量包含了第二模态样本包含的第二单元的位置信息，能够提高检索结果的准确性。性。性。

【技术实现步骤摘要】
【国外来华专利技术】跨模态检索方法、跨模态检索模型的训练方法及相关设备


[0001]本申请涉及检索
，特别是涉及一种跨模态检索方法、跨模态检索模型的训练方法、电子设备及计算机可读存储介质。

技术介绍

[0002]在传统的跨模态检索技术中，通常需要将不同模态样本的特征投射到同一个嵌入空间中，以获取检索结果。获取特征的过程中，通常将样本拆分为多个单元，然后分别提取每个单元的特征，再对所有单元的特征进行池化处理得到样本的特征。常用的池化为平均池化，但是平均池化容易导致样本的重要信息丢失，从而降低检索结果的准确性。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种跨模态检索方法、跨模态检索模型的训练方法、电子设备及计算机可读存储介质，能够提高检索结果的准确性。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：提供一种跨模态检索方法，包括：
[0005]将作为检索目标的第一模态样本和作为候选对象的多个第二模态样本输入检索模型，其中，检索模型包括第一特征提取网络、第二特征提取网络、池化网络、第一嵌入网络和第二嵌入网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种跨模态检索方法，其特征在于，包括：将作为检索目标的第一模态样本和作为候选对象的多个第二模态样本输入检索模型，其中，所述检索模型包括第一特征提取网络、第二特征提取网络、池化网络、第一嵌入网络和第二嵌入网络；利用所述第一特征提取网络提取所述第一模态样本的第一单元向量集，并利用所述第二特征提取网络分别提取每个所述第二模态样本的第二单元向量集，所述第一模态样本包括多个第一单元，所述第一单元向量集由所有所述第一单元的特征向量组成，每个所述第二模态样本包括多个第二单元，每个所述第二单元向量集由对应的所述第二模态样本中的所有所述第二单元的特征向量组成；利用所述池化网络对所述第一单元向量集进行池化，得到第一全局向量，并利用所述池化网络分别对每个所述第二单元向量集进行池化，得到多个第二全局向量，其中，所述第一全局向量包含所述第一单元在所述第一模态样本中的位置信息，每个所述第二全局向量包含所述第二单元在对应的所述第二模态样本中的对应位置信息；利用所述第一嵌入网络将所述第一全局向量投射到联合空间得到第一联合向量，并利用所述第二嵌入网络分别将每个所述第二全局向量投射到所述联合空间得到多个第二联合向量；基于所述第一联合向量和各个所述第二联合向量之间的相似度获取所述第一模态样本的跨模态检索结果。2.根据权利要求1所述的检索方法，其特征在于，所述利用所述池化网络对所述第一单元向量集进行池化，得到第一全局向量，包括：将所述第一模态样本中的各个所述第一单元的位置信息嵌入对应的特征向量，得到第一顺序编码向量集；利用所述池化网络对所述第一顺序编码向量集进行池化，得到所述第一全局向量；所述利用所述池化网络分别对每个所述第二单元向量集进行池化，得到多个第二全局向量，包括：分别将每个所述第二模态样本中各所述第二单元的位置信息嵌入对应的特征向量，得到多个第二顺序编码向量集；利用所述池化网络分别对每个所述第二顺序编码向量集进行池化，得到多个所述第二全局向量。3.根据权利要求2所述的检索方法，其特征在于，所述将所述第一模态样本中的各个所述第一单元的位置信息嵌入对应的特征向量，得到第一顺序编码向量集，包括：基于各所述第一单元在所述第一模态样本中的位置信息生成各所述第一单元的第一位置向量，其中，所述第一位置向量与对应的所述特征向量的维度相同；将所述第一单元向量集中每个所述第一单元的特征向量替换为对应的第一顺序编码向量，得到所述第一顺序编码向量集，其中，每个所述第一单元的所述第一顺序编码向量为该所述第一单元的所述第一位置向量与所述特征向量之和。4.根据权利要求2所述的检索方法，其特征在于，所述池化网络包括第一全连接层、第二全连接层和第三全连接层，所述利用所述池化网络对所述第一顺序编码向量集进行池化，得到所述第一全局向量，包括：
基于软分配函数对所述第一顺序编码向量集进行聚类，得到多个类；基于所述第一全连接层获取每个所述类的第一池化特征，并基于所述第二全连接层获取每个所述类的第二池化特征；将所有所述类的所述第一池化特征与所述第二池化特征之和输入所述第三全连接层，得到所述第一全局向量。5.根据权利要求2所述的检索方法，其特征在于，所述分别将每个所述第二模态样本中各所述第二单元的位置信息嵌入对应的特征向量，得到多个第二顺序编码向量集，包括：基于各所述第二单元在对应的所述第二模态样本中的位置信息生成各所述第二单元的第二位置向量，所述第二位置向量与对应的所述特征向量的维度相同；将每个所述第二单元向量集中各所述第二单元的特征向量替换为对应的第二顺序编码向量，得到多个所述第二顺序编码向量集，其中，每个所述第二顺序编码向量为对应的所述第二单元的所述第二位置向量与所述特征向量之和。6.根据权利要求2所述的检索方法，其特征在于，所述池化网络包括第一全连接层、第二全连接层和第三全连接层，所述利用所述池化网络分别对每个所述第二顺序编码向量集进行池化，得到多个所述第二全局向量，包括：基于软分配函数分别对每个所述第二顺序编码向量集进行聚类，得到多个类；基于所述第一全连接层分别获取每个所述第二顺序编码向量集对应的各个所述类的第一池化特征，并基于所述第二全连接层分别获取每个所述第二顺序编码向量集对应的各个所述类的第二池化特征；将每个所述第二顺序编码向量集对应的所有所述类的所述第一池化特征与所述第二池化特征之和分别输入所述第三全连接层，得到多个所述第二全局向量。7.根据权利要求1所述的检索方法，其特征在于，所述基于所述第一联合向量和各个所述第二联合向量之间的相似度获取所述第一模态样本的跨模态检索结果，包括：选择所述相似度最高的指定数量的所述第二联合向量对应的第二模态样本作为所述第一模态样本的跨模态检索结果。8.一种跨模态检索模型的训练方法，其特征在于，包括：将多个第一模态样本和多个第二模态样本输入检索模型，其中，所述检索模型包括第一特征提取网络、第二特征提取网络、池化网络、第一嵌入网络和第二嵌入网络，每个所述第一模态样本和/或每个所述第二模态样本带有标签数据；利用所述第一特征提取网络分别提取每个所述第一模态样本的第一单元向量集，并利用所述第二特征提取网络分别提取每个所述第二模态样本的第二单元向量集，每个所述第一模态样本包括多个第一单元，每个所述第一单元向量集由对应的所述第一模态样本中的所有所述第一单元的特征向量组成，每个所述第二模态样本包括多个第二单元，每个所述第二单元向量集由对应的所述第二模态样本中的所有所述第二单元的特征向量组成的集合；利用所述池化网络分别对每个所述第一单元向量集进行池化，得到多个第一全局向量，并利用所述池化网络分别对每个所述第二单元向量集进行池化，得到多个第二全局向量，其中，每个所述第一全局向量包含所述第一单元在对应的所述第一模态样本中的位置信息，每个所述第二全局向量包含所述第二单元在对应的所述第二模态样本中的位置信
息；利用所述第一嵌入网络分别将每个所述第一全局向量投射到联合空间得到多个第一联合向量，并利用所述第二嵌入网络分别将每个所述第二全局向量投射到所述联合空间得到多个第二联合向量；基于所述第一联合向量和所述第二联合向量调整所述检索模型的参数。9.根据权利要求8所述的训练方法，其特征在于，所述基于所述第一联合向量和所述第二联合向量调整所述检索模型的参数，包括：利用所述第一联合向量和所述第二联合向量之间的相似度确定所述第一模态样本和所述第二模态样本之间的第一关联度；基于所述第一关联度以及第二关联度计算损失函数，其中所述第二关联度是根据所述第一模态样本和/或所述第二模态样本的所述标签数据确定的；基于所述损失函数调整所述检索模型的参数。10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器能够执行所述程序指令以实现权利要求1
‑
7中任一项所述的跨模态检索方法，或者权利要求8
‑
9中任一项所述的跨模态检索模型的训练方法。11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有程序指令，所述程序指令能够被处理器执...

【专利技术属性】
技术研发人员：萧人豪，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：