一种姿态引导注意力的抗遮挡行人重识别方法技术

本发明专利技术公开了一种姿态引导注意力的抗遮挡行人重识别方法，分别通过提取行人图像的关节点热力图、关节点置信度和全局特征图，将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征图，然后将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图；再将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力特征图，计算待检索行人图像与图库图像之间的相似度距离，选择最相似的图库图像作为最终识别结果。本发明专利技术克服单纯使用全局特征和局部特征的单一性问题，以及特征之间不匹配的问题，提高遮挡行人重识别的准确率。提高遮挡行人重识别的准确率。提高遮挡行人重识别的准确率。

【技术实现步骤摘要】
一种姿态引导注意力的抗遮挡行人重识别方法


[0001]本申请属于行人重识别
，尤其涉及一种姿态引导注意力的抗遮挡行人重识别方法。

技术介绍

[0002]行人重识别是图像检索的子问题，是给定由一台摄像机捕捉到的一个特定人物的图像，从不同视角的不同摄像机捕捉到的图像中重新识别出该人物的技术。近年来，随着人工智能技术的不断发展，现有的视频监控系统也向着智能化方向发展，智能系统被普遍应用于人们的工作和生活当中。行人重识别正是其中一个与行人位置和身份密切相关的重要研究方向，可辅助在庞大视频数据中快速锁定目标。其中遮挡行人重识别中待检索行人会被其他行人或者场地遮挡物遮挡，大多数行人只留下半身图，与全身图相比，部分身体部位被遮挡并且所得到的行人边界框中具有遮挡物的噪声信息，因此与普通行人重识别相比更加实际。
[0003]行人重识别是根据行人的体态、穿着首饰等外观特征来区分和辨别，在实际场景中，行人会遭受到来自其他行人或者其他物体的影响，造成部分身体部位不可见，并且会导致网络学习到遮挡物的噪声从而使得部分行人特征不一致。并且在遮挡行人重识别中，行人图像数据集的图像数量少，网络无法学习到足够鲁棒性的特征，因此如何提取一个更具有鲁棒性的特征仍具有很强的理论和应用价值。
[0004]目前，各种神经网络模型和计算资源的不断成熟和发展，深度学习在图像方面取得了较为优良的性能，卷积神经网络在计算机视觉的各种上游和下游任务上取得了不错的精确度，因此一般都采用卷积神经网络来进行行人重识别。基于深度学习的行人重识别中主要利用了行人的全局特征，将行人图像经过卷积神经网络来提取全局行人特征向量，对每个特征向量进行相似度的比较来进行排序，最终得到排序的结果。在遮挡行人重识别任务中，由于查询的行人图像都是被遮挡的图像，而在图库里存在着未遮挡的图像和遮挡的图像，导致查询的行人图像特征向量与图库中的行人图像特征向量并不匹配，对于行人重识别网络来说，很难去识别出行人不同的人体部位去进行匹配，加大了对齐的难度。因此需要在特征学习的阶段去学习行人未被遮挡的部位特征以及在相似性度量阶段去进行特征间的匹配来减少遮挡物对于最终结果的影响。单一的局部特征和全局特征都具有一定的局限性，会影响行人重识别的最终准确率的提高。

技术实现思路

[0005]本申请的目的是提供一种姿态引导注意力的抗遮挡行人重识别方法，克服单纯使用全局特征和局部特征的单一性问题，以及特征之间不匹配的问题。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种姿态引导注意力的抗遮挡行人重识别方法，包括：
[0008]获取行人图像，分别通过姿态估计网络提取关节点热力图及关节点置信度，通过
全局特征提取网络提取全局特征图；
[0009]将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征图，然后将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图；
[0010]将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力特征图；
[0011]在关节点置信度大于等于预设的阈值时，将关节点置信度作为关节点特征权重，否则将关节点特征权重置为零；
[0012]根据待检索行人图像的全局特征图、关节点局部特征图和通道注意力特征图计算待检索行人图像与图库图像之间的相似度距离，选择最相似的图库图像作为最终识别结果，所述相似度距离计算公式如下：
[0013][0014]其中，d
total
表示待检索行人图像与图库图像之间的相似度距离，分别表示待检索行人图像和图库图像中第i个关节点的关节点特征权重，b
global
表示待检索行人图像和图库图像之间全局特征的距离，d
pga
表示待检索行人图像和图库图像之间通道注意力特征的距离，d
i
表示待检索行人图像和图库图像之间第i个关节点的距离，N表示关节点数量。
[0015]进一步的，所述关节点置信度为对应关节点热力图中的最大值。
[0016]进一步的，所述将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图，包括：
[0017]将关节点局部特征图中每个通道中的像素点进行最大池化与ReLU激活函数操作，生成关节点空间注意力图；
[0018]将全局特征图进行卷积操作后，在通道维度上进行全局平均池化操作，生成全局空间注意力图，将关节点空间注意力图与全局空间注意力图进行拼接，得到空间姿态引导特征图；
[0019]将拼接后的空间姿态引导特征图，通过卷积操作和Sigmoid函数，得到空间注意力掩码；
[0020]将空间注意力掩码与全局特征相乘得到空间注意力特征图。
[0021]进一步的，所述将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力特征图，包括：
[0022]将关节点局部特征图中每个空间上的像素点进行最大池化与ReLU激活函数操作，生成关节点通道注意力图；
[0023]将空间注意力特征图进行卷积操作后，在空间维度上进行全局平均池化操作，生成全局通道注意力图，将关节点通道注意力图与全局通道注意力图进行拼接，得到通道姿态引导特征图；
[0024]将拼接后的通道姿态引导特征图，通过卷积操作和Sigmoid函数，得到通道注意力掩码；
[0025]将通道注意力掩码与全局特征相乘得到通道注意力特征图。
[0026]进一步的，所述待检索行人图像和图库图像之间全局特征的距离、待检索行人图像和图库图像之间通道注意力特征的距离、待检索行人图像和图库图像之间第i个关节点的距离均采用余弦距离进行度量。
[0027]进一步的，所述姿态估计网络采用高分辨率网络HRNet
‑
W32，所述全局特征提取网络采用ResNet
‑
50。
[0028]本申请提出的一种姿态引导注意力的抗遮挡行人重识别方法，使用关节点特征图作为注意力来引导特征生成，并在测试时候进行特征匹配，能克服单纯使用全局特征和局部特征的单一性问题，以及特征之间不匹配的问题，提高遮挡行人重识别的准确率。
附图说明
[0029]图1为本申请姿态引导注意力的抗遮挡行人重识别方法流程图；
[0030]图2为本申请实施例高分辨率网络模型结构图；
[0031]图3为本申请实施例姿态引导空间注意力模块示意图；
[0032]图4为本申请实施例姿态引导通道注意力模块示意图。
具体实施方式
[0033]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0034]在一个实施例中，如图1所示，提出了一种姿态引导注意力的抗遮挡行人重识别方法，包括：
[0035]步骤S1、获取行人图像，分别通过姿态估计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态引导注意力的抗遮挡行人重识别方法，其特征在于，所述姿态引导注意力的抗遮挡行人重识别方法，包括：获取行人图像，分别通过姿态估计网络提取关节点热力图及关节点置信度，通过全局特征提取网络提取全局特征图；将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征图，然后将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图；将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力特征图；在关节点置信度大于等于预设的阈值时，将关节点置信度作为关节点特征权重，否则将关节点特征权重置为零；根据待检索行人图像的全局特征图、关节点局部特征图和通道注意力特征图计算待检索行人图像与图库图像之间的相似度距离，选择最相似的图库图像作为最终识别结果，所述相似度距离计算公式如下：其中，d
total
表示待检索行人图像与图库图像之间的相似度距离，分别表示待检索行人图像和图库图像中第i个关节点的关节点特征权重，d
global
表示待检索行人图像和图库图像之间全局特征的距离，d
pga
表示待检索行人图像和图库图像之间通道注意力特征的距离，d
i
表示待检索行人图像和图库图像之间第i个关节点的距离，N表示关节点数量。2.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法，其特征在于，所述关节点置信度为对应关节点热力图中的最大值。3.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法，其特征在于，所述将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图，包括：将关节点...

【专利技术属性】
技术研发人员：宦若虹，占孜伟，池凯凯，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：