基于残差语义一致性跨域多视角目标网站检索方法及装置制造方法及图纸

本发明专利技术公开了一种基于残差语义一致性跨域多视角目标网站检索方法及装置，方法包括：当检测融合特征和融合前二维图像残差特征为一致性分布，构建单峰分布约束；计算二维图像的类别中心特征和多视角目标的类别中心特征，分别映射到概率空间中得到类别中心概率分布，利用JS散度构建二维图像和多视角目标类别中心间概率分布的语义一致性；以二维图像类别中心为基准，探索与二维图像和多视角目标在概率空间中的语义一致性；通过分类器最小化语义相似性以及特征提取器最大化语义相似性形成对抗训练，提升二维图像残差特征和多视角目标残差特征间的语义一致性约束；将最终约束结果应用在网站检索中，输出检索结果。装置包括：处理器和存储器。器和存储器。器和存储器。

【技术实现步骤摘要】
基于残差语义一致性跨域多视角目标网站检索方法及装置


[0001]本专利技术涉及跨域多视角目标网站检索领域，尤其涉及一种基于残差语义一致性跨域多视角目标网站检索方法及装置。

技术介绍

[0002]近些年，随着虚拟现实、数字娱乐、计算机设计等领域的快速发展，多视角数据得到了爆发式的增长，如何管理及检索这些数据成为了一个急需解决的任务。当前的多视角目标网站大都需要用户提前获取一个多视角目标，然后才能实现对目标数据的检索，这种以多视角目标去检索的方式限制了网站的实用性。现实生活中，人们更倾向于使用随处可见的二维图像而不是获取困难的多视角目标作为搜寻对象。此外，当前已有的网站检索引擎都较多依赖于大量带标签数据的监督学习，然而对多视角目标打标签是一件十分耗时和昂贵的任务。在这种情况下，利用二维图像检索多视角目标的无监督跨域检索场景应运而生，简称为无监督跨域多视角目标检索。
[0003]无监督跨域多视角目标网站检索的目标是在用户输入一个二维图像查询样本后，检索引擎能够返回一系列和查询样本相似的多视角目标，其对应的科学问题为如何在特征空间中匹配相同类别的带标签二维图像特征和不含标签的多视角目标特征。为了缓解二维图像和多视角目标之间的巨大数据分布差异，通常的做法是利用对抗学习或者信息熵来对齐二维图像和多视角目标的全局数据分布。然而这类方法的主要限制在于学习域不变表征的同时忽略了类别中的语义信息，例如，多视角飞机的特征可能会被映射到汽车图像特征附近，导致了网站检索错误。这个问题经常被许多工作利用多视角目标伪标签引导的类级别对齐来缓解。然而，该类方法经常受到伪标签噪声的问题，如果没有充分的筛选过滤措施常常会导致匹配偏差。
[0004]为了消除噪声伪标签带来的匹配偏差问题，类别中心作为一个鲁棒的语义表征，经常被利用作为一个额外的监督信号来引导匹配过程。通常的策略就是约束二维图像和多视角目标相同类别特征中心间的一致性。然而，这类方法面临着以下四个问题：1）原有方法都是直接编码具有复杂背景和干扰的查询图像和多视角目标，然而由于多视角目标缺乏标签，所以任何噪声和干扰的引入都会对多视角目标的特征学习产生误导，进而降低网站的检索精度；2）原有方法通常直接利用带噪声的伪标签来辅助训练，忽略了带标签二维图像特征所包含的隐式信息，通过利用带标签二维图像特征和无标签多视角目标特征的交互，可以大幅度减弱直接利用强硬伪标签所带来的检索网站匹配偏差问题；3）常规的类别中心特征一致性对齐损失已经被证明是一个次优解，指出仅仅在特征空间中维持特征间的一致性可能会扰乱原有的数据结构，因此降低了数据表征能力进而影响网站检索精度；4）仅仅约束二维图像和多视角目标类别中心特征间的一致性会严重忽视样本中的多样性，使得检索网站倾向于过拟合，进而降低利用新样本检索多视角目标的准确度。

技术实现思路

[0005]本专利技术提供了一种基于残差语义一致性跨域多视角目标网站检索方法及装置，本专利技术将残差图像作为输入，减少冗余背景信息的引入；通过改进双线性池化，融合二维图像
‑
多视角目标特征，并设计了一个分布一致性检测器来对融合特征进行检测及约束，利用二维图像残差特征隐式信息帮助多视角目标特征的学习；同时利用JS散度探索二维图像类别中心和多视角目标类别中心，二维图像，多视角目标间在概率空间中的语义一致性，避免直接约束造成的特征结构损坏，同时提高了网站的检索精度，满足了实际应用中的多种需要，详见下文描述：第一方面，一种基于残差语义一致性跨域多视角目标网站检索方法，所述方法包括：将残差作为输入，利用卷积神经网络提取二维图像残差特征和多视角目标残差特征；基于二维图像残差特征和多视角目标残差特征，利用改进型双线性池化分别计算二维图像
‑
二维图像、二维图像
‑
多视角目标的融合特征；构建分布一致性检测器，检测融合特征和融合前二维图像残差特征是否为一致性分布，如果是，构建单峰分布约束；否则构建双峰分布约束；计算二维图像的类别中心特征和多视角目标的类别中心特征，分别映射到概率空间中得到类别中心概率分布，利用JS散度构建二维图像和多视角目标类别中心间概率分布的语义一致性；以二维图像类别中心为基准，探索与二维图像和多视角目标在概率空间中的语义一致性；通过分类器最小化语义相似性以及特征提取器最大化语义相似性形成对抗训练，提升二维图像残差特征和多视角目标残差特征间的语义一致性约束；将最终约束结果应用在网站检索中，输出最终的检索结果。
[0006]第二方面，一种基于残差语义一致性跨域多视角目标网站检索装置，所述装置包括：提取模块，用于将残差作为输入，利用卷积神经网络提取二维图像残差特征和多视角目标残差特征；计算融合特征模块，用于基于二维图像残差特征和多视角目标残差特征，利用改进型双线性池化分别计算二维图像
‑
二维图像、二维图像
‑
多视角目标的融合特征；构建与检测模块，用于构建分布一致性检测器，检测融合特征和融合前二维图像残差特征是否为一致性分布，如果是，构建单峰分布约束；否则构建双峰分布约束；第一语义一致性模块，用于计算二维图像的类别中心特征和多视角目标的类别中心特征，分别映射到概率空间中得到类别中心概率分布，利用JS散度构建二维图像和多视角目标类别中心间概率分布的语义一致性；第二语义一致性模块，用于以二维图像类别中心为基准，探索与二维图像和多视角目标在概率空间中的语义一致性；提升模块，用于通过分类器最小化语义相似性以及特征提取器最大化语义相似性形成对抗训练，提升二维图像残差特征和多视角目标残差特征间的语义一致性约束；
检索模块，用于将最终约束结果应用在网站检索中，输出最终的检索结果。
[0007]第三方面、一种基于残差语义一致性跨域多视角目标网站检索装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面的方法步骤。
[0008]第四方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面的任方法步骤。
[0009]本专利技术提供的技术方案的有益效果是：1、本专利技术利用变分编码器
‑
解码器结构生成尽可能相似的输入样本，并将其和原始输入样本相减得到残差样本，探索网站检索所需的最少必要信息，有效的避免了原始输入复杂背景以及噪声带来的干扰问题，提升了网站检索的鲁棒性；2、本专利技术通过改进型双线性池化将每一个二维图像残差特征和所有多视角目标残差特征融合，并设计一个分布一致性检测器来判断融合前后是否为同分布，若为同分布，则融合特征的概率分布应符合单峰分布；若非同分布，则融合特征的概率分布应符合双峰分布；通过改进型双线性池化探索二维图像残差特征的隐式信息，可以从数据本身挖掘二维图像和多视角目标的关联信息，大幅度缓解由于噪声伪标签引起的检索网站匹配偏差问题；3、本专利技术通过将类别中心特征映射到概率空间中，并利用JS（Jenson
’
s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于残差语义一致性跨域多视角目标网站检索方法，其特征在于，所述方法包括：将残差作为输入，利用卷积神经网络提取二维图像残差特征和多视角目标残差特征；基于二维图像残差特征和多视角目标残差特征，利用改进型双线性池化分别计算二维图像
‑
二维图像、二维图像
‑
多视角目标的融合特征；构建分布一致性检测器，检测融合特征和融合前二维图像残差特征是否为一致性分布，如果是，构建单峰分布约束；否则构建双峰分布约束；计算二维图像的类别中心特征和多视角目标的类别中心特征，分别映射到概率空间中得到类别中心概率分布，利用JS散度构建二维图像和多视角目标类别中心间概率分布的语义一致性；以二维图像类别中心为基准，探索与二维图像和多视角目标在概率空间中的语义一致性；通过分类器最小化语义相似性以及特征提取器最大化语义相似性形成对抗训练，提升二维图像残差特征和多视角目标残差特征间的语义一致性约束；将最终约束结果应用在网站检索中，输出最终的检索结果。2.根据权利要求1所述的一种基于残差语义一致性跨域多视角目标网站检索方法，其特征在于，所述利用改进型双线性池化分别计算二维图像
‑
二维图像、二维图像
‑
多视角目标的融合特征具体为：其中，
“”
为Hadamard乘积，为第j个二维图像残差特征，为第i个二维图像残差特征，U、V为参数量为的可训练矩阵，W为参数量为的可训练映射矩阵，b为可训练偏置项，N为当前训练批次样本数，d为融合前输入特征维度，表示融合后生成N个特征维度为d的融合特征，c为转置，N为当前训练批次样本数；d2为中间映射维度；为第i个二维图像和当前批次所有二维图像的融合特征；将第j个二维图像残差特征改为第j个多视角目标残差特征，即：其中，为第i个二维图像和当前批次所有多视角目标的融合特征。3.根据权利要求1所述的一种基于残差语义一致性跨域多视角目标网站检索方法，其特征在于，所述构建分布一致性检测器，检测融合特征和融合前二维图像残差特征是否为一致性分布具体为：分布一致性检测器包括2个线性映射层和1个线性判断层，计算两个输入特征分布一致性得分为：其中，为第i个二维图像残差特征，表示匹配得分向量维度为1；
匹配得分的融合特征，符合单峰分布；利用交叉熵损失来约束分布，用于使融合特征的概率分布熵最小化；匹配得分的融合特征，利用基于掩码的交叉熵损失来约束双峰分布：的融合特征，利用基于掩码的交叉熵损失来约束双峰分布：其中，为双峰分布约束，为融合前的2个不同样本的类别标签，为的独热编码，为点积，表示在融合特征概率分布中将第一个类别标签的值置为0；为交叉熵计算；为融合特征的概率分布；为表示在融合特征概率分布中将第二个类别标签的值置为0，为融合特征。4.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：郝彤，刘安安，张晨宇，孙金生，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：