本发明专利技术涉及一种跨模态数据检索方法、装置及设备，该方法包括：获取包含第一模态数据和第二模态数据的数据集；对数据集进行处理，生成训练集；构建特异特征提取网络，及，模态转换网络；将训练集输入至特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；利用第一特征和第二特征，对模态转换网络进行训练；利用特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。可以理解的是，本发明专利技术利用搭建的特异特征提取网络，分别提取双模态数据特征，利用模态转换网络进行转换，能够使得每一种模态的数据特征在各自的特征空间，进行相似度度量，避免了因为公共空间投射带来的信息损失。损失。损失。
【技术实现步骤摘要】
一种跨模态数据检索方法、装置及设备
[0001]本专利技术涉及数据处理
，具体涉及一种跨模态数据检索方法、装置及设备。
技术介绍
[0002]目前，互联网上的文本、图像和视频等不同类型的媒体数据在快速增长，跨模态检索在现实世界的应用变得越来越重要。假设给定一个来自不同模式的查询任务和数据库，跨模态检索则是检索与查询最相关数据库的任务。跨模态检索这方面的研究大多集中在图像和文本模态上。
[0003]通常，现有技术中的跨模态数据检索方法，将视觉和文本输入映射到公共嵌入空间的嵌入函数，跨模态检索任务可以简化为欧氏空间中熟悉的最近邻检索任务。
[0004]但是，现有技术中的将不同模态数据投射到公共特征空间的方法，会过于关注不同模态数据的共享信息从而损失掉特异特性，使得跨模态检索的相似度较低。
技术实现思路
[0005]有鉴于此，本专利技术的目的在于提供一种跨模态数据检索方法、装置及设备，以解决现有技术中会过于关注不同模态数据的共享信息从而损失掉特异特性，使得跨模态检索的相似度较低的问题。
[0006]根据本专利技术实施例的第一方面，提供一种跨模态数据检索方法，包括：
[0007]获取包含第一模态数据和第二模态数据的数据集；
[0008]对所述数据集进行处理，生成训练集；
[0009]构建特异特征提取网络，及，模态转换网络；
[0010]将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；
[0011]利用所述第一特征和所述第二特征，对所述模态转换网络进行训练；
[0012]利用所述特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。
[0013]优选的，所述对所述数据集进行处理，生成训练集，包括：
[0014]分析所述第一模态数据和第二模态数据，分别得到与所述第一模态数据同类的第二模态数据以及与所述第一模态数据同异类的第二模态数据；
[0015]将所述第一模态数据、与所述第一模态数据同类的第二模态数据、与所述第一模态数据同异类的第二模态数据以三元组的形式整合为第一数据组；
[0016]分析所述第一模态数据和第二模态数据，得出与所述第二模态数据同类的第一模态数据以及与所述第二模态数据同异类的第一模态数据；
[0017]将所述第二模态数据、与所述第二模态数据同类的第一模态数据、与所述第二模态数据同异类的第一模态数据整合以三元组的形式为第二数据组；
[0018]将所述第一数据组和第二数据组作为训练集。
[0019]优选的，所述构建特异特征提取网络，包括：
[0020]构建包括第一特征提取器和第二特征提取器的特异特征提取网络；
[0021]所述第一特征提取器和第二特征提取器的结构相同，均包含一个最大池化层和七个卷积层。
[0022]优选的，所述构建包括第一特征提取器和第二特征提取器的特异特征提取网络，包括：
[0023]按照特定结构构建所述第一特征提取器和第二特征提取器；
[0024]所述特定结构具体为：第一卷积层、最大池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；
[0025]将所述第二卷积层的输入与所述第四卷积层的输出参差连接；
[0026]将所述第五卷积层的输入与所述第七卷积层的输出参差连接。
[0027]优选的，所述将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征，包括：
[0028]通过所述第一特征提取器对所述第一数据组进行特征提取，生成第一特征；
[0029]通过所述第二特征提取器对所述第二数据组进行特征提取，生成第二特征。
[0030]优选的，所述利用所述第一特征和所述第二特征，对所述模态转换网络进行训练，包括：
[0031]对所述第一特征和所述第二特征进行模态内排序损失约束和交叉熵约束；
[0032]将约束后的数据通过模态转换矩阵，得到第一转换特征和第二转换特征；
[0033]对所述第一特征和第二转换特征进行三元组约束，对所述第二特征和第一转换特征进行三元组约束，得到训练好的模态转换矩阵，进而得到训练好的模态转换网络。
[0034]优选的，所述的方法，还包括：
[0035]根据所述数据集，生成数据随机的测试集；
[0036]将所述测试集作为输入，进行跨模态检索，生成测试结果。
[0037]根据本专利技术实施例的第二方面，提供一种跨模态数据检索装置，包括：
[0038]训练数据获取模块，用于获取包含第一模态数据和第二模态数据的数据集；
[0039]数据处理模块，用于对所述数据集进行处理，生成训练集；
[0040]构建模块，用于构建特异特征提取网络，及，模态转换网络；
[0041]训练模块，用于将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；还用于利用所述第一特征和所述第二特征，对所述模态转换网络进行训练；
[0042]跨模态检索模块，用于利用所述特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。
[0043]优选的，所述的装置，还包括：
[0044]测试模块，用于根据所述数据集，生成数据随机的测试集；将所述测试集作为输入，进行跨模态检索，生成测试结果。
[0045]根据本专利技术实施例的第三方面，提供一种跨模态数据检索设备，包括：
[0046]主控器，及与所述主控器相连的存储器；
[0047]存储器，其中存储有程序指令；
[0048]所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
[0049]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0050]可以理解的是，本专利技术能够获取包含第一模态数据和第二模态数据的数据集；对数据集进行处理，生成训练集；构建特异特征提取网络，及，模态转换网络；将训练集输入至特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；利用第一特征和第二特征，对模态转换网络进行训练；利用特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。可以理解的是，本专利技术利用搭建的特异特征提取网络，分别提取双模态数据特征，利用模态转换网络进行转换，能够使得每一种模态的数据特征在各自的特征空间，进行相似度度量，避免了因为公共空间投射带来的信息损失。
[0051]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0052]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0053]图1是根据一示例性实施例示出的一种跨模态数据检索方法步骤示意本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种跨模态数据检索方法，其特征在于，包括：获取包含第一模态数据和第二模态数据的数据集；对所述数据集进行处理，生成训练集；构建特异特征提取网络，及，模态转换网络；将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；利用所述第一特征和所述第二特征，对所述模态转换网络进行训练；利用所述特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。2.根据权利要求1所述的方法，其特征在于，所述对所述数据集进行处理，生成训练集，包括：分析所述第一模态数据和第二模态数据，分别得到与所述第一模态数据同类的第二模态数据以及与所述第一模态数据同异类的第二模态数据；将所述第一模态数据、与所述第一模态数据同类的第二模态数据、与所述第一模态数据同异类的第二模态数据以三元组的形式整合为第一数据组；分析所述第一模态数据和第二模态数据，得出与所述第二模态数据同类的第一模态数据以及与所述第二模态数据同异类的第一模态数据；将所述第二模态数据、与所述第二模态数据同类的第一模态数据、与所述第二模态数据同异类的第一模态数据整合以三元组的形式为第二数据组；将所述第一数据组和第二数据组作为训练集。3.根据权利要求2所述的方法，其特征在于，所述构建特异特征提取网络，包括：构建包括第一特征提取器和第二特征提取器的特异特征提取网络；所述第一特征提取器和第二特征提取器的结构相同，均包含一个最大池化层和七个卷积层。4.根据权利要求3所述的方法，其特征在于，所述构建包括第一特征提取器和第二特征提取器的特异特征提取网络，包括：按照特定结构构建所述第一特征提取器和第二特征提取器；所述特定结构具体为：第一卷积层、最大池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；将所述第二卷积层的输入与所述第四卷积层的输出参差连接；将所述第五卷积层的输入与所述第七卷积层的输出参差连接。5.根据权利要求4所述的...
【专利技术属性】
技术研发人员：马骏，
申请(专利权)人：北京芯联心科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。