跨模态数据检索模型的建立方法以及跨模态数据检索方法技术

本申请公开了一种跨模态数据检索模型的建立方法以及跨模态数据检索方法。该方法包括：基于多个特征提取子网络以及共享子网络，建立跨模态数据检索模型；获取多模态数据的训练集数据，多模态数据包括多种模态数据；根据多模态数据所包含的模态种类，分别将训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征；将特异特征输入参数共享子网络，以输出多模态数据之间的共享空间特征；利用损失函数调整共享空间特征，以完成跨模态数据检索模型的训练。本申请实施例通过设置多个特征提取子网络以及共享子网络的方式，从而能够有效对多模态数据去除冗余信息，以提升跨模态数据检索的精度。度。度。

【技术实现步骤摘要】
跨模态数据检索模型的建立方法以及跨模态数据检索方法


[0001]本申请涉及数据处理
，尤其涉及一种跨模态数据检索模型的建立方法以及跨模态数据检索方法。

技术介绍

[0002]由于多模态数据的快速增长，跨模态检索受到了研究者的广泛关注，其将一种模态的数据作为查询条件检索其他模态的数据，如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异，如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果，研究者提出了一系列以深度学习为基础的跨模态检索方法，极大缓解了不同模态间相似性度量的挑战。
[0003]然而跨模态检索面临的挑战是如何度量不同模态数据之间内容的相似性。现存的方法主要通过使用交叉熵损失函数和三元组损失函数结合的方式，将不同模态数据投射到同一特征空间，然后进行相似度度量。但是两种模态的特征可能会存在冗余信息，导致相似度度量不够准确，从而影响跨模态数据检索的精度。

技术实现思路

[0004]本申请实施例提供一种跨模态数据检索模型的建立方法以及跨模态数据检索方法，以解决现有技术中跨模态数据检索精度低的问题。
[0005]为达到上述目的，第一方面，本申请实施例提供了一种跨模态数据检索模型的建立方法，该方法包括：
[0006]基于多个特征提取子网络以及共享子网络，建立跨模态数据检索模型；
[0007]获取多模态数据的训练集数据，所述多模态数据包括多种模态数据；
[0008]根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征；
[0009]将所述特异特征输入参数共享子网络，以输出多模态数据之间的共享空间特征；
[0010]利用损失函数调整所述共享空间特征，以完成所述跨模态数据检索模型的训练，所述跨模态数据检索模型用以输出所输入的多模态数据对应的共享空间特征。
[0011]可选地，所述多模态数据包括第一模态数据以及第二模态数据；
[0012]所述根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征，包括：
[0013]将所述第一模态数据的训练集数据输入对应的特征提取子网络，以输出所述第一模态数据对应的特异特征；
[0014]将所述第二模态数据的训练集数据输入对应的特征提取子网络，以输出所述第二模态数据对应的特异特征。
[0015]可选地，还包括：将调整后的所述特异特征以及所述共享空间特征作为检索库特
征，并存储至检索库。
[0016]可选地，利用损失函数调整所述共享空间特征，以完成所述跨模态数据检索模型的训练，包括：
[0017]利用联合语义稀疏损失函数、交叉熵损失函数以及跨模态三元组损失函数，迭代更新所述特异特征所对应的权重值、所述共享空间特征所对应的权重值，直至各损失函数收敛，以完成所述跨模态数据检索模型的训练。
[0018]可选地，在所述根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征之前，还包括：
[0019]对所述训练集数据进行归一化处理。
[0020]可选地，所述训练集数据包括三元组。
[0021]第二方面，本申请实施例提供了一种跨模态数据检索方法，该方法包括：
[0022]获取第一模态数据；
[0023]将所述第一模态数据输入所述跨模态数据检索模型，以获取所述跨模态数据检索模型输出的所述第一模态数据对应的共享空间特征；
[0024]计算所述共享空间特征以及预先存储的检索库特征之间的相似度，确定所述第一模态数据对应的检索数据。
[0025]可选地，所述计算所述共享空间特征以及预先存储的检索库特征之间的相似度，确定所述第一模态数据对应的检索数据，包括：
[0026]计算所述共享空间特征以及预先存储的检索库特征之间的相似度，并从检索库中检索出所述第一模态数据对应的检索数据。
[0027]可选地，所述计算所述共享空间特征以及所述检索库特征之间的距离，包括：
[0028]计算所述共享空间特征和所述检索库特征之间的欧几里得距离，以确定所述共享空间特征以及所述检索库特征之间的相似度。
[0029]可选地，所述计算所述共享空间特征以及所述检索库特征之间的相似度，确定所述第一模态数据对应的检索数据，包括：
[0030]将检索结果按照相似度大小进行排序，并将前n个检索结果作为所述第一模态数据对应的检索数据。
[0031]第三方面，本申请实施例提供了一种充电平均电流计算跨模态数据检索模型的建立装置，包括：
[0032]建立模块，用于基于多个特征提取子网络以及共享子网络，建立跨模态数据检索模型；
[0033]第一获取模块，用于获取多模态数据的训练集数据，所述多模态数据包括多种模态数据；
[0034]第一处理模块，用于根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征；将所述特异特征输入参数共享子网络，以输出多模态数据之间的共享空间特征；
[0035]训练模块，用于利用损失函数调整所述共享空间特征，以完成所述跨模态数据检索模型的训练，所述跨模态数据检索模型用以输出所输入的多模态数据对应的共享空间特
征。
[0036]第四方面，本申请实施例提供了一种跨模态数据检索装置，包括：
[0037]第二获取模块，用于获取第一模态数据；
[0038]第二处理模块，用于将所述第一模态数据输入所述跨模态数据检索模型，以获取所述跨模态数据检索模型输出的所述第一模态数据对应的共享空间特征；
[0039]确定模块，用于计算所述共享空间特征以及预先存储的检索库特征之间的相似度，确定所述第一模态数据对应的检索数据。
[0040]第五方面，本申请实施例提供了一种计算设备，包括存储组件及处理组件；所述存储组件存储一条或多条计算机程序指令，所述计算机程序指令供所述处理组件调用执行，所述处理组件执行所述一条或多条计算机程序指令以实现如上述第一方面所述的跨模态数据检索模型的建立方法。
[0041]第六方面，本申请实施例提供了一种计算设备，包括存储组件及处理组件；所述存储组件存储一条或多条计算机程序指令，所述计算机程序指令供所述处理组件调用执行，所述处理组件执行所述一条或多条计算机程序指令以实现如上述第二方面所述的跨模态数据检索方法。
[0042]第七方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时实现如上述第一方面所述的跨模态数据检索模型的建立方法，或上述第二方面所述的跨模态数据检索方法
[0043]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态数据检索模型的建立方法，其特征在于，包括：基于多个特征提取子网络以及共享子网络，建立跨模态数据检索模型；获取多模态数据的训练集数据，所述多模态数据包括多种模态数据；根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征；将所述特异特征输入参数共享子网络，以输出多模态数据之间的共享空间特征；利用损失函数调整所述共享空间特征，以完成所述跨模态数据检索模型的训练，所述跨模态数据检索模型用以输出所输入的多模态数据对应的共享空间特征。2.根据权利要求1所述的方法，其特征在于，所述多模态数据包括第一模态数据以及第二模态数据；所述根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征，包括：将所述第一模态数据的训练集数据输入对应的特征提取子网络，以输出所述第一模态数据对应的特异特征；将所述第二模态数据的训练集数据输入对应的特征提取子网络，以输出所述第二模态数据对应的特异特征。3.根据权利要求1所述的方法，其特征在于，还包括：将调整后的所述特异特征以及所述共享空间特征作为检索库特征，并存储至检索库。4.根据权利要求1所述的方法，其特征在于，利用损失函数调整所述共享空间特征，以完成所述跨模态数据检索模型的训练，包括：利用联合语义稀疏损失函数、交叉熵损失函数以及跨模态三元组损失函数，迭代更新所述特异特征所对应的权重值、所述共享空间特征所对应的权重值，直至各损失函数收敛，以完成所述跨模态数据检索模型的训练。5.根据权利要求2所述的方法，其特征在于，在所述根据所述多模态数据所包含的模态种类，分别将所述训练集数据中对应的模态数据输入对应的特征提取子网络，以分别输出每种模态数据对应的特异特征之前，还包括：对所述训练集数据进行归一化处理。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述训练集数据包括三元组。7.一种跨模态数据检索方法，其特征在于，包括：获取第一模态数据；将所述第一模态数据输入所述跨模态数据检索模型，以获取所述跨模态数据检索模型输出的所述第一模态数据对应的共享空间特征；计算所述共享空间特征以及预先存储的检索库特征之间的相似度，确定所述第一模态数据对应的检索数据。8.根据权利要求7所述的方法，其特征在于，所述计算所述共享空间特征以及预先存储的检索库特征之间的相似度，确定所述第一模态数据对应的检索数据，包括：计算所述共享空间特征以及预先存储的检索库特征之间的相似度，并从检索库中检索出所述第...

【专利技术属性】
技术研发人员：马骏，杨钰群，
申请(专利权)人：北京芯联心科技发展有限公司，
类型：发明
国别省市：