一种基于不确定性联合注意力的人的重识别方法及系统技术方案

本发明专利技术公开了一种基于不确定性联合注意力的人的重识别方法及系统，应用于人体识别技术领域。方法包括以下步骤：S1、提取输入图像的全局特征，空间特征和关键点特征；S2、对关键点特征和空间特征进行联合学习，得到联合特征；S3、构建联合特征与上下文信息的关系特征，得到上下文关系特征。本发明专利技术设计了一种上下文关系网络，使同一个体的所有局部特征均包含上下文关系特征，解决了当不同个体的局部特征具有相似属性时，会混淆个体间局部特征而出现误识别的问题；抛弃得分较低的像素区域，并与相应的局部空间特征进行联合，增强局部特征的可信度，能够获得更具显著性的局部特征。能够获得更具显著性的局部特征。能够获得更具显著性的局部特征。

【技术实现步骤摘要】
一种基于不确定性联合注意力的人的重识别方法及系统


[0001]本专利技术涉及人体识别
，更具体的说是涉及一种基于不确定性联合注意力的人的重识别方法及系统。

技术介绍

[0002]人的重识别主要是指从不同场景下的多个摄像机拍摄的行人图像数据集中获取目标行人，是近几年来计算机视觉领域一项热门且重要的研究课题，由于在公共安全相关的领域中具有巨大的应用前景，常被用于寻找失踪人员或嫌疑人、跨摄像头跟踪、多摄像头场景检测等问题。但是，因为成像设备、环境噪声以及人体姿势等因素的影响，人的重识别任务经常出现一些值得注意的局部特征被抑制的问题，同一个人可能表现出较大的“类内”差异，同样，由于行人数据的复杂和庞大，不同人体可能表现出较小的“类间”差异。从而出现一个人“变异”为另一个人或者两张图像是同一个人却无法准确识别的问题，因此，对于研究人员而言，人的重识别仍然是一个极具挑战性的研究问题，现有的人重识别方法大多并没有考虑局部特征之间的关系，这会增加具有相似局部特征人的误识别问题。
[0003]在现有技术中，许多方法通过使用CNN侧重提取人图像的全局特征以获得表征信息，但它们忽略了身体特定部位的关键信息，两个人在全局特征具有极小的类间差异，但在头部区域特征的类间差异却很明显，这对整体特征的类间差异的扩大无疑形成了阻碍。为了获取更加显著的局部特征，还有一些方法从身体提取局部特征，并将其与全局特征结合形成更加有效的特征描述符。然而，这也产生了新的问题，由于一些摄像探测器收集的人体图像经常出现错位或遮挡，使得图像的部分区域并无有效特征信息，由此提取出的局部特征信息不仅无法准确表征人体特征，甚至会对整体特征信息的描述产生消极影响。因此，如何提供一种能够准确有效地提取局部特征的人的重识别方法是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于不确定性联合注意力的人的重识别方法及系统，通过姿态激活和空间引导多注意力分支使模型聚焦于有效和可见的局部区域，两个分支共同作用可以获得更加有效且显著的局部特征，通过加入上下文关系网络，构建局部特征与上下文关系特征之间的强联系，以获得有区别的局部特征和关系特征。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于不确定性联合注意力的人的重识别方法，包括以下步骤：
[0007]S1、提取输入图像的全局特征，空间特征和关键点特征；
[0008]S2、对关键点特征和空间特征进行联合学习，得到联合特征；
[0009]S3、构建联合特征与上下文信息的关系特征，得到上下文关系特征。
[0010]可选的，S2具体为：
[0011]S21、对全局特征和关键点特征进行元素级乘法运算得到关键点局部语义；
[0012]S22、将关键点特征热图映射为注意力热图，得到注意力得分；
[0013]S23、根据注意力得分进行特征擦除，得到姿态局部特征；
[0014]S24、以全局特征为中心，为每个空间特征增加拓扑关系，得到空间局部特征；
[0015]S25、将空间局部特征与姿态局部特征进行联合表征，得到联合特征。
[0016]可选的，S21的计算过程具体为：
[0017][0018]式中，为关键点局部语义，k为第k个关键点区域的序号，为关键点特征的c通道的局部特征，g为全局最大值池化，M
global
为全局特征图，M
kp
为关键点特征图。
[0019]可选的，S22具体为：根据关键点坐标与原始图像的对应关系，利用高斯方法和归一化处理，将关键点特征热图映射为注意力热图：
[0020][0021]式中，F
score
为注意力得分，Norm为归一化处理，Gaussian(
·
)为高斯方法，L
i
为关键点区域的中心位置，为标准差
[0022]可选的，S23具体为：对区域像素p(i,j)内的单个像素位置的注意力得分进行比较，统计p(i,j)影响范围c
i
内的注意力分数之和：
[0023][0024]式中，as
ij
为以区域像素p(i,j)为中心，影响范围c
i
为半径的区域注意力得分，根据注意力得分，对得分小于预设阈值的像素及其影响范围c
i
内的特征信息进行擦除。
[0025]可选的，S24具体为：构建基于全局特征的拓扑关系特征
[0026][0027]式中，G0为最大值池化后的全局特征，η为全局特征对拓扑关系特征的影响权重，S
i
为基于空间划分的局部特征；
[0028]对拓扑关系特征进行补偿，连接和G0，进行1
×
1的融合卷积，得到空间局部特征F
sg
：
[0029][0030]式中，C
fase
为1
×
1的融合卷积，T表示两个特征的连接。
[0031]可选的，S25具体为：
[0032]A
i
＝Joint{F
p
,F
sg
}
[0033]式中，A
i
为联合特征，F
p
为姿态局部特征，Joint为联合表征。
[0034]可选的，S3中上下文关系特征包括一阶上下文关系特征和二阶上下文关系特征，其中一阶上下文关系特征的计算具体为：
[0035]计算一阶上下文特征：
[0036][0037]式中，为一阶上下文特征，γ为亲近度超参数，表示联合特征A
i
与全局特征G0的亲近程度；
[0038]对一阶上下文特征和最大池化后的全局特征进G0行补偿：
[0039][0040][0041]式中，为补偿后的一阶上下文特征，G1为补偿后的全局特征，R
c
为补偿子网络，f
R
为一阶上下文关系层，μ为补偿程度超参数，为一阶上下文关系特征。
[0042]可选的，S3中二阶上下文关系特征的计算具体为：
[0043]构建{A
i
,G1}和的上下文关系：
[0044][0045]R
hr
＝F
hr
{F
ag
(T
ag
),F
cg
(T
cg
)}
[0046][0047]式中，T
ag
为联合特征与补偿后的全局特征之间的连接，T
cg
为补偿后的一阶上下文特征与补偿后的全局特征之间的连接，F
ag
为联合与全局关系模块，F
cg
为上下文与全局关系模块，F
hr
为联合特征与一阶上下文关系特征模块，R
hr
为高阶关系特征，F
c
为全连接层，δ为补偿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不确定性联合注意力的人的重识别方法，其特征在于，包括以下步骤：S1、提取输入图像的全局特征，空间特征和关键点特征；S2、对关键点特征和空间特征进行联合学习，得到联合特征；S3、构建联合特征与上下文信息的关系特征，得到上下文关系特征。2.根据权利要求1所述的一种基于不确定性联合注意力的人的重识别方法，其特征在于，S2具体为：S21、对全局特征和关键点特征进行元素级乘法运算得到关键点局部语义；S22、将关键点特征热图映射为注意力热图，得到注意力得分；S23、根据注意力得分进行特征擦除，得到姿态局部特征；S24、以全局特征为中心，为每个空间特征增加拓扑关系，得到空间局部特征；S25、将空间局部特征与姿态局部特征进行联合表征，得到联合特征。3.根据权利要求2所述的一种基于不确定性联合注意力的人的重识别方法，其特征在于，S21的计算过程具体为：式中，为关键点局部语义，k为第k个关键点区域的序号，为关键点特征的c通道的局部特征，g为全局最大值池化，M
global
为全局特征图，M
kp
为关键点特征图。4.根据权利要求3所述的一种基于不确定性联合注意力的人的重识别方法，其特征在于，S22具体为：根据关键点坐标与原始图像的对应关系，利用高斯方法和归一化处理，将关键点特征热图映射为注意力热图：式中，F
score
为注意力得分，Norm为归一化处理，Gaussian(
·
)为高斯方法，L
i
为关键点区域的中心位置，为标准差。5.根据权利要求4所述的一种基于不确定性联合注意力的人的重识别方法，其特征在于，S23具体为：对区域像素p(i，j)内的单个像素位置的注意力得分进行比较，统计p(i，j)影响范围c
i
内的注意力分数之和：式中，as
ij
为以区域像素p(i，j)为中心，影响范围c
i
为半径的区域注意力得分，根据注意力得分，对得分小于预设阈值的像素及其影响范围c
i
内的特征信息进行擦除。6.根据权利要求5所述的一种基于不确定性联合注意力的人的重识别方法，其特征在于，S24具体为：构建基于全局特征的拓扑关系特征于，S24具体为：构建基于全局特征的拓扑关系特征式中，G0为最大值池化后的全局特征，η为全局特征对拓扑关系特征的影响权重，S
i
为基于空间划分的局部特征；
对拓扑关系特征进行补偿，连接和G0，进行1
×
1的融合卷积，得到空间局部特征F
sg
：式中，C
fase
...

【专利技术属性】
技术研发人员：铁治欣，王登文，陈燕兵，陶灵兵，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：