一种基于三维视角对齐的可泛化目标重识别模型构建方法技术

本发明专利技术公开了一种基于三维视角对齐的可泛化目标重识别模型构建方法，其核心思想是通过对目标进行三维视角对齐，消除不同视角下的外观差异。模型使用三维重建技术将目标从二维图像中重建成三维虚拟图像，随后模型三维虚拟图像以规范姿态对齐映射至多个规范视角，再和原始二维图像一并作为输入，使用卷积特征提取网络进行特征提取，过程中利用交叉注意力机制将不同视角下的三维规范图像特征与二维图像特征模型进行对齐融合，获得一致的视角表达。最后，模型将对齐后的融合特征作为度量特征用于匹配，实现可泛化目标重识别。实现可泛化目标重识别。实现可泛化目标重识别。

【技术实现步骤摘要】
一种基于三维视角对齐的可泛化目标重识别模型构建方法


[0001]本专利技术属于模式识别
，具体涉及一种可泛化目标重识别模型构建方法。

技术介绍

[0002]目标重识别旨在匹配不同场景中的相同身份的各种目标。在同一环境下训练和评估图像时，许多有监督的目标重识别方法取得了较好的效果。然而，当在来自模型未见过的环境的图像上测试时，这些方法的性能往往会显着下降。学界普遍认为，捕捉环境的变化，例如光照、视角和季节的变化会导致数据域偏移，目标在不同场景中的外观会发生较大变化，而现有方法在这些变化下并不稳健，这给目标重识别带来了挑战。对此，可泛化的目标重识别任务旨在建立一个对数据域变化更鲁棒的、能在未见过的环境中工作的目标重识别模型。
[0003]在过去的工作中，大部分方法倾向于使用实例归一化消除跨特征通道的统计对比，即显式地消除图像风格模式来产生领域表征。然而，删除的统计信息不仅编码了不相关的特定域的模式，而且还包含可用于对特定域或实例进行识别的判别信息，这可能会导致模型的判别能力大幅降低。为了解决这个问题，过去的工作尝试通过加入批量归一化或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维视角对齐的可泛化目标重识别模型构建方法，其特征在于，包括如下步骤：步骤1：三维图像重建与对齐；步骤1
‑
1：三维形体重建；目标的三维形体由三维可变形人体模型SMPL表示；SMPL是一个参数化的模型，用一组形状参数β和姿势参数θ构建三维形体网格；具体而言，SMPL使用一组基向量来描述目标形状，形状参数表示形状基向量的系数；SMPL使用一个骨架结构来描述具有N个关节的身体姿势；表示相邻关节之间的相对旋转和三维形体的全局方向，SMPL描述的三维形体用如下公式表示：M＝W(β,θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中表示经SMPL处理得到的由K个顶点组成的三维可变性形体；步骤1
‑
2：三维纹理重建；采用基于纹理映射模型改进的R
‑
Texformer模块，将原始图像的纹理细节映射到构建的三维形体网格上；在原始纹理映射模型的特征提取模块中插入自适应的实例归一化层SNR；在训练策略方面，首先采用预先训练好的风格转换模型AdaIN，通过注入随机噪声为原始图像生成风格随机化的内容，再使用一个基于内容的损失函数驱动R
‑
Texformer模块根据输入图像相关的信息进行纹理预测，该损失函数用公式表示为：其中，τ是预设的超参数，表示R
‑
Texformer模块，d(
·
)表示两个预测纹理图之间的欧氏距离，该损失函数能够显式地驱动R
‑
Texformer模块关注选定图像I
a
与具有相同风格图像I
p
之间一致的内容信息，而忽略选定图像I
a
与具有不同风格图像I
n
之间一致的内容信息，从而实现内容相关的训练，继而预测得到三维纹理重建图；步骤1
‑
3：三维姿态与视角对齐；首先对三维形体的姿态进行规范化处理，使目标的关键部位位于规范视角图像的固定区域；再将三维形体在多个典型视图上渲染回二维空间，得到三维规范视角图像；选择了四个典型视图，即前、后、左、右视图，以避免单一视角带来的目标信息的损失；步骤2：特征对齐融合模块；构建特征对齐融合模块，该模块在特征提取过程中运用交叉注意力对特征进行对齐与融合，将二维原始图像特征与三维规范视角图像特征在局部进行对齐，并建立上下文关联，继而实现在特征空间中合并二维原始图像和三维规范视角图像，得到更拟合各个数据域和复杂视角的目标表征；具体为：首先使用卷积映射将输入特征映射为Q,K,V，即查询Q、键K、值V，这一过程用公式表示为：Q/K...

【专利技术属性】
技术研发人员：王鹏，吴瑞祺，矫炳亮，陈鸿宇，张艳宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：