基于多尺度特征正交约束的行人重识别方法技术

本发明专利技术公开了基于多尺度特征正交约束的行人重识别方法。包括S1、将图像输入主干网ResNet50，得到输出特征图、关键信息特征图和最终输出特征；S2、将输出特征图和关键信息特征图输入双层多尺度特征提取分支处理，对不同层的特征图进行融合；S3、在多尺度特征提取分支中，使用注意力模块处理特征，得到多尺度特征和降维的多尺度特征；S4、联合不同分支的多尺度特征，采用总损失函数训练模型权重；S5、拼接不同分支的多尺度特征得到测试总特征，给定测试图片通过测试总特征计算距离度量获得相似性匹配结果。本发明专利技术方法使用多尺度特征加上正交约束增加特征的多样性，增强了行人匹配选择鲁棒性，提高了识别精度。提高了识别精度。提高了识别精度。

【技术实现步骤摘要】
基于多尺度特征正交约束的行人重识别方法


[0001]本专利技术涉及一种基于多尺度特征正交约束的行人重识别方法，属于重识别


技术介绍

[0002]行人重识别(Person Re
‑
identification)是指在多个非重叠摄像头的场景下，在行人图像数据库中检索出与给定的查询图像身份相同的行人图像。行人重识别可以广泛应用于智能安防以及视频监控等领域。
[0003]早期的行人重识别研究主要集中于如何手工设计更好的视觉特征和如何学习更好的相似度度量，近几年随着深度学习的发展，以卷积神经网络为代表的深度学习技术在行人重识别任务上得到了广泛的应用。和传统方法不同，基于深度学习的方法可以自动学习出复杂的特征描述，并且用简单的欧式距离进行相似度度量便可以取得很好的性能。
[0004]目前基于深度学习来研究行人重识别的方法主要有以下几种：
[0005]第一种是基于表征学习的行人重识别方法，主要通过深度学习中的卷积神经网络来实现，对于不同的数据集中的行人都有其对应的ID，利用行人的ID或者其他特征属性作为训练标签来训练模型，再输入两个不同摄像头拍下的行人图片于模型中，模型会分别提取两张图片的表征特征，通过这种表征特征的比较来判断两张图片是否属于同一个行人。
[0006]第二种是基于度量学习的行人重识别方法，不同于表征学习，度量学习旨在学习两张图片的相似度，在行人重识别问题上，具体为同一行人的不同图片相似度要尽可能大于不同行人的不同图片，最后网络的损失函数使得相同行人图片(正样本对)的距离尽可能的小，不同行人图片(负样本对)的距离尽可能的大。常用的度量学习损失方法有：对比损失(Contrastive loss)、三元组损失(Triplet loss)、四元组损失(Quadruplet loss)、难样本采样三元组损失(Triplet hard loss with batch hard mining)、边界挖掘损失(Margin sample mining loss)，其中Triplet loss已经广泛用于行人重识别。在现实场景中，行人图像的分辨率低，周围的环境可能会对目标行人造成遮挡、或与目标颜色相似造成干扰，或由于拍摄角度不同、目标对象姿态的变化等，导致同一个行人的图像视觉差异较大。
[0007]然而，上述两种行人重识别方法均存在特征单一，鲁棒性不够的问题。基于深度学习方法设计的特征大多对该类任务的针对性不够，其一般是直接利用VGGNet或者ResNet等深层神经网络来进行特征提取，虽然在提取目标的全局特征时能取得不错的效果，但是在细节信息的表示方面能力不足，而行人重识别任务的行人图像之间的差异有时候是在微小的细节之中，因此造成识别效果不佳。
[0008]有鉴于此，确有必要提出一种基于多尺度特征正交约束的行人重识别方法，以解决上述问题。

技术实现思路

[0009]本专利技术的目的在于提供一种基于多尺度特征正交约束的行人重识别方法，能够采用较小的计算量使模型高效地提取关键特征，并提高目标对象提取的特征多样性和鲁棒性。
[0010]为实现上述目的，本专利技术提供一种基于多尺度特征正交约束的行人重识别方法，建立卷积神经网络模型，所述卷积神经网络模型包括主干网和多尺度特征提取分支，包括如下步骤：
[0011]S1、将图像输入主干网ResNet50，得到主干网第二层的输出特征图、主干网第三层的关键信息特征图和主干网的最终输出特征；
[0012]S2、将主干网第二层的输出特征图和第三层的关键信息特征图输入双层多尺度特征提取分支处理，对不同层的特征图进行融合；
[0013]S3、在多尺度特征提取分支中，使用由位置注意力模块和通道注意力模块串联组成的注意力模块处理特征，最终得到多尺度特征和经过降维的多尺度特征；
[0014]S4、联合不同分支的多尺度特征，采用交叉正交约束损失函数、交叉熵和三元组损失函数的加权形式作为总损失函数训练模型权重；
[0015]S5、拼接不同分支的多尺度特征得到测试总特征，给定测试图片通过测试总特征计算距离度量获得相似性匹配结果。
[0016]作为本专利技术的进一步改进，S2包括：
[0017]S21、采用主干网的第二层的输出特征图和第三层输出特征图分别作为下层和上层的输入，分别经过一组卷积滤波器得到通道数统一的处理和特征图；
[0018]S22、根据多尺度特征提取分支每层的特征图分辨率采用不同的融合策略进行特征融合，得到特征融合图，每层都采用残差结构处理特征；
[0019]S23、将双层特征融合图的通道数通过卷积滤波器增加至原来的两倍，采用自适应平均池化操作将特征分成三部分，得到多尺度特征提取分支的输出特征向量，输出特征向量和主干网输出特征首尾相连构成模型最终输出特征。
[0020]作为本专利技术的进一步改进，S22具体为：对于上层特征图采用最近邻插值将图片分辨率增加到原来的两倍，完成自上而下的特征图融合；对于下层特征图采用最大池化将图片分辨率降至原来的一半，完成自下而上的特征图融合。
[0021]作为本专利技术的进一步改进，S3包括：
[0022]S31、将输入特征图X∈R
b
×
c
×
h
×
w
分别通过三个具有不同权重系数的卷积滤波器，其中两个卷积滤波器会使得输出通道数降为输入通道数的得到三维特征图和另一个卷积滤波器保持通道数不变，得到三维特征图V∈R
b
×
c
×
h
×
w
；其中，b为该批次样本个数，c为特征通道数，h为特征图的高，w为特征图的宽，R为实数特征空间；
[0023]S32、将上述三个特征图按通道维度展平拉直为二维特征矩阵，并对三维特征图K对应的二维特征矩阵进行转置得到二维特征矩阵二维特征矩阵
和V∈R
b
×
c
×
(h
×
w)
保持不变；
[0024]S33、将代表两张不同特征图的二维特征矩阵与相乘得到特征间的空间关系矩阵A
p
＝K
×
Q，其中A
p
∈R
b
×
(h
×
w)
×
(h
×
w)
；
[0025]S34、将特征间的关系矩阵A
p
经过Softmax，得到归一化自相关权重系数矩阵A
′
p
＝Softmax(A
p
)，其中A
′
p
∈R
b
×
(h
×
w)
×
(h
×
w)
；
[0026]S35、将归一化自相关权重系数矩阵A
′
p
和代表特征图的二维特征矩阵V相乘，并将相乘结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征正交约束的行人重识别方法，其特征在于，建立卷积神经网络模型，所述卷积神经网络模型包括主干网和多尺度特征提取分支，包括如下步骤：S1、将图像输入主干网ResNet50，得到主干网第二层的输出特征图、主干网第三层的关键信息特征图和主干网的最终输出特征；S2、将主干网第二层的输出特征图和第三层的关键信息特征图输入双层多尺度特征提取分支处理，对不同层的特征图进行融合；S3、在多尺度特征提取分支中，使用由位置注意力模块和通道注意力模块串联组成的注意力模块处理特征，最终得到多尺度特征和经过降维的多尺度特征；S4、联合不同分支的多尺度特征，采用交叉正交约束损失函数、交叉熵和三元组损失函数的加权形式作为总损失函数训练模型权重；S5、拼接不同分支的多尺度特征得到测试总特征，给定测试图片通过测试总特征计算距离度量获得相似性匹配结果。2.根据权利要求1所述的基于多尺度特征正交约束的行人重识别方法，其特征在于，S2包括：S21、采用主干网的第二层的输出特征图和第三层输出特征图分别作为下层和上层的输入，分别经过一组卷积滤波器得到通道数统一的处理和特征图；S22、根据多尺度特征提取分支每层的特征图分辨率采用不同的融合策略进行特征融合，得到特征融合图，每层都采用残差结构处理特征；S23、将双层特征融合图的通道数通过卷积滤波器增加至原来的两倍，采用自适应平均池化操作将特征分成三部分，得到多尺度特征提取分支的输出特征向量，输出特征向量和主干网输出特征首尾相连构成模型最终输出特征。3.根据权利要求2所述的基于多尺度特征正交约束的行人重识别方法，其特征在于，S22具体为：对于上层特征图采用最近邻插值将图片分辨率增加到原来的两倍，完成自上而下的特征图融合；对于下层特征图采用最大池化将图片分辨率降至原来的一半，完成自下而上的特征图融合。4.根据权利要求1所述的基于多尺度特征正交约束的行人重识别方法，其特征在于，S3包括：S31、将输入特征图X∈R
b
×
c
×
h
×
w
分别通过三个具有不同权重系数的卷积滤波器，其中两个卷积滤波器会使得输出通道数降为输入通道数的得到三维特征图和另一个卷积滤波器保持通道数不变，得到三维特征图V∈R
b
×
c
×
h
×
w
；其中，b为该批次样本个数，c为特征通道数，h为特征图的高，w为特征图的宽，R为实数特征空间；S32、将上述三个特征图按通道维度展平拉直为二维特征矩阵，并对三维特征图K对应的二维特征矩阵进行转置得到二维特征矩阵二维特征矩阵和V∈R
b
×
c
×
(h
×
w)
保持不变；S33、将代表两张不同特征图的二维特征矩阵与相乘得到特征间的空间关系矩阵A
p
＝K
×
Q，其中A
p
∈R
b
×
(h
×
w)
×
(h
×
w)
；
S34、将特征间的关系矩阵A
p
经过Softmax，得到归一化自相关权重系数矩阵A
′
p
＝Softmax(A
p
)，其中A
′
p
∈R
b
×
(h
×
w)
×
(h
×
w)
；S35、将归一化自相关权重系数矩阵A
′
p
和代表特征图的二维特征矩阵V相乘，并将相乘结果按通道还原为三维特征图与输入特征图X相加得到位置注意力模块的输出Y∈R
...

【专利技术属性】
技术研发人员：张索非，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：