一种行人重识别方法技术

本发明专利技术涉及一种行人重识别方法，将多张具有同一人物的行人图像输入构建并训练好的网络模型中，生成行人特征，完成行人再识别，所述网络模型包括姿态估计网络分支、FAN网络分支和特征融合分支，行人图像经姿态估计网络分支处理后，生成包含行人关节点信息的关节点特征图，行人图像经FAN网络分支处理后，生成包含背景信息、聚焦行人的融合特征图，关节点特征图和融合特征图输入特征融合分支进行融合后，生成行人的部分特征或全局特征，完成对行人的重识别。与现有技术相比，本发明专利技术适用于所有场景下的行人重识别，尤其可以解决局部式及遮挡式两类遮挡场景下的行人重识别问题。两类遮挡场景下的行人重识别问题。两类遮挡场景下的行人重识别问题。

【技术实现步骤摘要】
一种行人重识别方法


[0001]本专利技术涉及计算机视觉图像处理
，尤其是涉及一种行人重识别方法。

技术介绍

[0002]行人重识别的目标是匹配没有交叉视野摄像机中的行人图片，被广泛的用于违章判断、刑事侦查以及危险预警等。现有技术针对行人重识别提出了各种方法，但，大多数研究侧重于整体图像，而忽略了遮挡图像，遮挡图像更接近实际场景，也更具挑战性。在现实生活中，行人图像很容易被一些障碍物(例如行李、柜台、拥挤的公众、汽车、树木)遮挡，或者走出摄像机区域，导致图像被遮挡。因此，有必要将观察对象与遮挡对象进行匹配，这被称为遮挡场景的行人重识别问题。
[0003]相比于完整图像的行人重识别，遮挡图像由于以下原因更具有挑战性：(1)对于遮挡区域，图像包含的辨别信息较少，且共享区域之外的行人特征也会成为匹配任务时的噪声，更可能匹配到错误的人。(2)通过局部信息进行匹配的实验证明基于局部特征的方法是有效的，但是需要将人物图片进行严格的对齐，因此这在遮挡的情况下，无法达到很好的效果。
[0004]现有技术提出的局部式(遮挡式)行人重识别方法，大多数多级特征融合方法平等对待不同层次的特征图，使用多分支或直接在中级特征上应用卷积层来生成多级特征图，并通过逐元素操作融合特征图。然而，以这种方式组合不同级别的特性存在以下缺陷：
[0005](1)高级特征的空间分辨率大大降低，并且在下采样过程中可能会丢失精细细节，从而使特征融合的效率降低。
[0006](2)残差连接和级联连接都是局部操作，忽略了特征图不同层之间的长距离关系。
[0007](3)由于缺乏引导，背景、噪声等干扰因素与目标特征图融合，性能低下。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种行人重识别方法，该专利技术适用于所有场景下的行人重识别，尤其可以解决局部式及遮挡式两类遮挡场景下的行人重识别问题。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]本专利技术提供一种行人重识别方法，将多张具有同一人物的行人图像输入构建并训练好的网络模型中，生成行人特征，完成行人再识别，所述网络模型包括姿态估计网络分支、FAN网络分支和特征融合分支，行人图像经姿态估计网络分支处理后，生成包含行人关节点信息的关节点特征图，行人图像经FAN网络分支处理后，生成包含背景信息、聚焦行人的融合特征图，关节点特征图和融合特征图输入特征融合分支进行融合后，生成行人的部分特征或全局特征。
[0011]优选地，所述FAN网络分支包括ConvNext主干网络和特征注意力融合模块，行人图像经所述ConvNext主干网络处理后生成包含背景信息的特征图，该特征图输入所述特征注
意力融合模块后生成融合特征图。
[0012]优选地，所述特征注意力融合模块包括特征注意力部分、特征学习部分和FAM，所述特征注意力部分包括多个依次连接的卷积块，经所述ConvNext主干网络处理后生成的特征图每经过一层卷积块处理后均生成一级特征图，最后一级特征图输入特征学习部分处理后得到第一特征图，除最后一级特征图外的每一级特征图均与第一特征图经过FAM处理后生成对应的待融合特征图，所有待融合特征图与最后一级特征图进行融合，获取融合特征图。
[0013]优选地，描述所述特征注意力部分的处理过程和公式具体如下：
[0014]描述特征图与每一级特征图X之间的注意力计算公式如下：
[0015][0016]式中，N为X的像素点数，用常数N对特征图进行归一化，函数f()为表示X的特征图，函数θ计算行人特征与每一级特征图X的相似性得分，该过程为每个F
i
都生成一个映射特征Z
i
，F表示行人特征图；
[0017]使用简单高效的点积来实现函数θ的功能：
[0018]θ(F
i
,X)＝σ(F
i
)
T
τ(X)
[0019]式中，函数σ和τ将特征变换到相同的embedding空间C，C为一个超参数应用外积计算相似性得分可以视为在特征图X上使用了F
i
个1
×
1的卷积；
[0020]特征注意部分的定义如下：
[0021]Z＝σ(F)τ(X)
T
f(X)。
[0022]优选地，将所有待融合特征图与最后一级特征图进行加权操作，按照重要程度进行融合，具体操作如下面公式所示：
[0023][0024]式中，ρ(z
i
)为各待融合特征图的权重占比。
[0025]优选地，描述特征学习部分的公式为：
[0026][0027][0028]式中，将最后一级特征图当作F∈R
C
×
H
×
W
作为特征学习部分的输入，相继得到通道注意力图M
C
∈R
C
×1×1和空间特征图M
S
∈R1×
H
×
W
。
[0029]优选地，所述特征注意力部分包括三个依次连接的卷积块。
[0030]优选地，将关节点特征图中的至少一个特征与融合特征图输入特征融合分支中进行处理，生成行人局部特征；将关节点特征图中的全部特征与融合特征图输入特征融合分支中进行处理，生成行人全局特征。
[0031]优选地，所述特征融合分支包括依次连接的卷积层、池化层、正则化层和全连接层。
[0032]优选地，生成行人局部特征和全局特征的公式如下所示：
[0033][0034][0035]式中，V
lS
和分别为一组关节点的局部语义特征和全局语义特征，为表示外积的符号，g(
·
)为表示全局平均池化的符号，K为表示关节点的编号，v
k
∈R
c
，c为通道数量，mf
an
和m
kp
分别为融合特征和关节点特征。
[0036]与现有技术相比，本专利技术具有以如下有益效果：
[0037](1)本专利技术提供的一种行人重识别方法，提出了FAN网络分支，该网络分支在ConvNext框架下学习注意力特征来聚合各级特征的信息，可以将有用信息从低级或中级特征传播到高级特征，抑制背景和干扰因素，同时保持行人特征的细粒度细节，能够准确进行行人重识别，在ConvNext主干网络后加入注意力模块，减少了背景噪声对模型的影响，同时降低了非共享区域图像产生的噪声，大大提高了模型的鲁棒性。
[0038](2)本专利技术提供的一种行人重识别方法，通过姿态估计网络计算其可见区域的坐标，有效的解决了图片行人特征不对齐和局部遮挡问题。
[0039](3)本专利技术提供的一种行人重识别方法，通过使用最新的Convnext网络，探究网络对于遮挡图片表征提取能力，这是第一次将此网络用于遮挡场景下的行人重识别，该模型可以解决局部式及遮挡本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人重识别方法，将多张具有同一人物的行人图像输入构建并训练好的网络模型中，生成行人特征，完成行人再识别，其特征在于，所述网络模型包括姿态估计网络分支、FAN网络分支和特征融合分支，行人图像经姿态估计网络分支处理后，生成包含行人关节点信息的关节点特征图，行人图像经FAN网络分支处理后，生成包含背景信息、聚焦行人的融合特征图，关节点特征图和融合特征图输入特征融合分支进行融合后，生成行人的部分特征或全局特征。2.根据权利要求1所述的一种行人重识别方法，其特征在于，所述FAN网络分支包括ConvNext主干网络和特征注意力融合模块，行人图像经所述ConvNext主干网络处理后生成包含背景信息的特征图，该特征图输入所述特征注意力融合模块后生成融合特征图。3.根据权利要求2所述的一种行人重识别方法，其特征在于，所述特征注意力融合模块包括特征注意力部分、特征学习部分和FAM，所述特征注意力部分包括多个依次连接的卷积块，经所述ConvNext主干网络处理后生成的特征图每经过一层卷积块处理后均生成一级特征图，最后一级特征图输入特征学习部分处理后得到第一特征图，除最后一级特征图外的每一级特征图均与第一特征图经过FAM处理后生成对应的待融合特征图，所有待融合特征图与最后一级特征图进行融合，获取融合特征图。4.根据权利要求3所述的一种行人重识别方法，其特征在于，描述所述特征注意力部分的处理过程和公式具体如下：描述特征图与每一级特征图X之间的注意力计算公式如下：式中，N为X的像素点数，用常数N对特征图进行归一化，函数f()为表示X的特征图，函数θ计算行人特征与每一级特征图X的相似性得分，该过程为每个F
i
都生成一个映射特征Z
i
，F表示行人特征图；使用简单高效的点积来实现函数θ的功能：θ(F
i
,X)＝σ(F
i
)
T
τ(X)式中，函数σ和τ将特征变换到相同的embedding空间C，C为一个超参数应用外积计算相似性得分可以视为在特征图X上使用了F<...

【专利技术属性】
技术研发人员：魏丹，庄须瑶，崔国华，张伟伟，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：