一种深度自适应多模态哈希检索方法及相关设备技术

本发明专利技术公开了深度自适应多模态哈希检索方法及相关设备，本发明专利技术提供的方法，在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质，设计各自模态数据的特征学习网络，根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小，对每一个模态特征确定可学习的权重，根据权重来对各个模态的特征进行融合，实现了根据训练样本自身特性完成自适应权重的信息融合；使融合后的共有特征与哈希码的差异最小化，此过程加入从预设标签中提取的可伸缩语义特征，对哈希函数的参数进行自动更新，实现了特征空间与哈希空间的对齐，使用标签语义信息监督参数更新，能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。学习的判别性表征能力。学习的判别性表征能力。

【技术实现步骤摘要】
一种深度自适应多模态哈希检索方法及相关设备


[0001]本专利技术涉及哈希检索
，特别涉及一种深度自适应多模态哈希检索方法及相关设备。

技术介绍

[0002]对着信息技术的快速发展，多媒体数据的表现形式越来越多样化，包括图像、文本、音频等。多模态哈希检索是将具有多种模态的数据编码成紧凑的二进制码后进行检索。在哈希检索前，需要进行哈希学习，现有的多模态哈希学习方法中，无法有效自适应地融合多种模态的数据信息，影响哈希学习的效率。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]针对现有技术的上述缺陷，本专利技术提供一种深度自适应多模态哈希检索方法及相关设备，旨在解决现有技术中多模态哈希检索中无法自适应地融合多种模态的数据信息的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]本专利技术的第一方面，提供一种深度自适应多模态哈希检索方法，所述方法包括：
[0007]在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；
[0008]将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，得到所述目标训练样本对应的融合特征；
[0009]将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；
[0010]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；
[0011]重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。
[0012]其中，所述权重提取网络包括特征提取层和权重输出层，所述将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述
目标训练样本中各个模态的权重，包括：
[0013]将所述目标训练样本中各个模态的所述初始特征输入至所述特征提取层，获取所述目标训练样本中各个模态分别对应的潜在一致特征；
[0014]将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出层，获取所述目标训练样本中各个模态的权重；
[0015]所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：
[0016]根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。
[0017]所述的深度自适应多模态哈希检索方法，其中，所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，包括：
[0018]根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述目标训练批次的第一损失；
[0019]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所述目标训练批次的第二损失；
[0020]根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失；
[0021]根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失。
[0022]所述的深度自适应多模态哈希检索方法，其中，所述根据各个所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的第三损失之前，所述方法还包括：
[0023]根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相似度。
[0024]所述的深度自适应多模态哈希检索方法，其中，所述根据所述目标训练批次的训练损失更新所述第一哈希网络的参数，包括：
[0025]根据所述目标训练样本的损失更新所述第一哈希网络、所述第二哈希网络和所述权重提取网络的参数。
[0026]所述的深度自适应多模态哈希检索方法，其中，所述在所述多个训练样本中选定多个目标训练样本组成目标训练批次，包括：
[0027]根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融合特征损失；
[0028]根据所述多个训练样本分别对应的所述融合特征损失进行排序，根据排序结果选定所述多个目标训练样本。
[0029]所述的深度自适应多模态哈希检索方法，其中，所述采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码，包括：
[0030]获取所述待检索样本对应的所述融合特征，将所述待检索样本的所述融合特征输入至参数收敛后的所述第一哈希网络，获取所述第一哈希网络输出的所述待检索样本对应的哈希码。
[0031]本专利技术的第二方面，提供一种深度自适应多模态哈希检索装置，包括：
[0032]初始特征提取模块，所述特征提取模块用于在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；
[0033]融合特征提取模块，所述融合特征提取模块用于根据所述目标训练样本中各个模态的初始特征获取所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的初始特征进行融合，得到所述目标训练样本对应的融合特征；
[0034]哈希模块，所述哈希模块用于将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；
[0035]参数更新模块，所述参数更新模块用于根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；
[0036]迭代模块，所述迭代模块用于重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛；
[0037]检索模块，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度自适应多模态哈希检索方法，其特征在于，所述方法包括：在多个训练样本中选择多个目标训练样本组成目标训练批次，每个所述训练样本中包括至少一个模态的数据，根据所述目标训练样本中数据的模态确定所述目标训练样本对应的第一特征提取网络集，所述第一特征提取网络集中包括所述目标训练样本中各个模态分别对应的第一特征提取网络，通过各个所述第一特征提取网络获取所述目标训练样本中各个模态的初始特征；将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，得到所述目标训练样本对应的融合特征；将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所述第一哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，获取所述第二哈希网络输出的语义哈希码；根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，根据所述目标训练批次的训练损失更新所述第一哈希网络的参数；重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步骤，直至所述第一哈希网络的参数收敛，采用参数收敛后的所述第一哈希网络获取待检索样本对应的哈希码。2.根据权利要求1所述的深度自适应多模态哈希检索方法，其特征在于，所述权重提取网络包括特征提取层和权重输出层，所述将所述目标训练样本中的各个模态的所述初始特征输入至权重提取网络，获取所述权重提取网络输出的所述目标训练样本中各个模态的权重，包括：将所述目标训练样本中各个模态的所述初始特征输入至所述特征提取层，获取所述目标训练样本中各个模态分别对应的潜在一致特征；将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出层，获取所述目标训练样本中各个模态的权重；所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行融合，包括：根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，得到所述目标训练样本对应的融合特征。3.根据权利要求1所述的深度自适应多模态哈希检索方法，其特征在于，所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损失，包括：根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述目标训练批次的第一损失；根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所述目标训练批次的第二损失；根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义相似度获取所述目标训练批次的第三损失；
根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损失。4.根据权利要求1所述的深度自适应多模态哈希检索方法，其特征在于，所述根据各个所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的第三损失之前，所述方法还包括：根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相似度。5.根据权利要求1所述的深度...

【专利技术属性】
技术研发人员：张正，安峻枫，卢光明，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：