一种基于Transformer的遮挡行人重识别方法技术

本发明专利技术公开了一种基于Transformer的遮挡行人重识别方法，包括以下步骤：(1)对待识别图像进行分块，并分别添加结构信息，构成图像序列，(2)把带有类标签的图像序列附加位置信息以及边信息，构造Transformer层可处理的图像序列；(3)将上述序列馈入由多头自注意力机制和多层感知机构成的残差Transformer层，进行图像特征提取；之后在最后一层残差Transformer层将特征分为全局分支和局部分支特征；(4)将得到的特征使用ID损失和质心三元组损失进行联合优化。本发明专利技术有效聚焦于显著性特征，使特征具有鲁棒性，对于行人重识别遮挡问题进行了有效处理。问题进行了有效处理。问题进行了有效处理。

【技术实现步骤摘要】
一种基于Transformer的遮挡行人重识别方法


[0001]本专利技术涉及遮挡行人的重识别方法，属于图像监控识别


技术介绍

[0002]行人重识别旨在解决在一组不重叠的分布式摄像机上匹配人员的问题。它在智能监控方面具有很大的应用价值。早期的研究大都基于封闭世界进行，然而随着实际生活的需要，研究方向逐渐转向开放世界中具有挑战性的问题。与封闭世界的整体行人重识别相比，开放世界中的遮挡行人重识别的主要挑战是两个方面：首先，遮挡区域通常包含噪声，导致不匹配。其次，遮挡区域可能具有与人体部位相似的特征，导致特征学习失败。实践中的这些挑战激发了大量研究工作，来探索遮挡的行人重识别问题，现有的研究方法可分为手工分割、姿态信息和Transformer三类。
[0003]手工分割的方法将图像或特征图分割成图像块或条纹，然后从局部图像块或条纹中提取部分特征，用于图像匹配。SCPNet(Spatial
‑
Channel Parallelism Network，空间通道并行网络)，联合全局和局部分支获得身体特征。全局分支采用全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的遮挡行人重识别方法，其特征在于，包括如下步骤：S1、对待识别图像进行分块，并分别添加结构信息，构成图像序列；S2、将图像序列输入至由多头自注意力机制和多层感知机构成的残差Transformer层，获得初级图像特征；S3、将初级特征分别输入至全局注意力模块、局部shuffle模块，对应得到全局分支特征、局部分支特征；S4、基于全局分支特征、局部分支特征，结合质心三元组损失函数和整体损失函数进行优化，获得行人图像显著特征。2.根据权利要求1所述的一种基于Transformer的遮挡行人重识别方法，其特征在于，步骤S1包括如下子步骤：S1.1、采用滑动窗口的方式对待识别图像进行分块，获得各个图像块；S1.2、将各个图像块输入至线性投影层，之后对输出的图像序列前端添加可学习的类标签；S1.3、将添加类标签的图像添加位置信息和边信息，构成图像序列如下式：其中，Z0是附加结构信息后的整体输出序列，X
cls
是可学习类标签，F(
·
)是线性投影函数，是第i个分割后的图像块，i＝1,2,
…
G，G是输入图像划分为图像块的数量，[
·
；
·
]是对图像序列执行拼接操作，P是对应图像块的位置嵌入，S是边信息，即图像的摄像头ID信息。3.根据权利要求2所述的一种基于Transformer的遮挡行人重识别方法，其特征在于，步骤S2包括如下子步骤：S2.1、按如下公式对图像序列进行归一化处理，并经过多头注意力模块提取特征：F
Att
＝Z0+Att(Norm(Z0))其中，F
Att
是经过多头自注意力机制后的特征输出，Z0作为此部分的系统输入，Norm是层归一化函数，Att是多头自注意力模块；S2.2、将多头注意力模块输出的特征输入带有残差和池化层的多层感知机F
RPMLP
，如下式：F
RPMLP
＝Pool(X+FC(σ(Drop(FC(Drop(X))))))其中，Pool是自适应最大池化层，X作为此部分的系统输入，FC是全连接层，σ是Relu激活函数，Drop是Dropout函数；S2.3、对多头注意力模块提取特征、以及多层感知机提取的特征进行残差处理，获得初级图像特征如下式：F
Res
＝F
Att
+F
RPMLP
(Norm(F
Att
))其中，F

【专利技术属性】
技术研发人员：杨真真，陈亚楠，杨永鹏，陈亚杰，蔡云峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：