基于姿态估计和非局部网络的行人重识别方法技术

本发明专利技术公开了一种基于姿态估计和非局部网络的行人重识别方法，先通过获取行人图像，提取关节点热力图和全局特征图，将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征。然后将关节点局部特征拼接并经过卷积操作得到第一特征图，将第一特征图通过非局部神经网络捕获每个关节点像素之间的相关性，得到局部前景特征图。最后融合全局特征图和局部前景特征图，将融合特征图进行全局平均池化得到的行人特征向量，采用行人特征向量进行比对，输出识别结果。本发明专利技术克服全局特征与局部特征的单一性问题，提高了行人重识别的准确率。率。率。

【技术实现步骤摘要】
基于姿态估计和非局部网络的行人重识别方法


[0001]本申请属于行人重识别
，尤其涉及一种基于姿态估计和非局部网络的行人重识别方法。

技术介绍

[0002]行人重识别是图像检索的子问题，是给定由一台摄像机捕捉到的一个特定人物的图像，从不同视角的不同摄像机捕捉到的图像中重新识别出该人物的技术。近年来，随着人工智能技术的不断发展，现有的视频监控系统也向着智能化方向发展，智能系统被普遍应用于人民的工作和生活当中。行人是视频监控中的主体，其身份、位置和行为在智能监控的多个研究领域中被重点关注，行人重识别正是其中一个与行人位置和身份密切相关的重要研究方向。
[0003]行人重识别主要是解决跨摄像头和跨场景下行人的识别与检索问题。一般是给定一个目标行人的图像，行人重识别技术在其他多个摄像头下采集的行人图像库中进行对比检索，找到与该行人相同身份的图像。若再结合摄像头的位置和捕获时间等信息，就可以快速锁定该行人位置或明确其活动轨迹。行人重识别是根据行人的体态、穿着首饰等外观特征来区分和辨别，但由于监控场景下的复杂性，行人重识别还面临着各种挑战：如摄像头拍摄的分辨率低、不同摄像头的视角和参数不同、不同时间行人的光线不同、场景复杂导致行人图像存在着遮挡现象以及不同行人的姿态和着装的变化，因此，提取一个更具有判别力特征的行人重识别方法仍具有很强的理论和应用价值。
[0004]目前，各种神经网络模型和计算资源的不断成熟和发展，深度学习在图像方面取得了较为优良的性能，卷积神经网络在计算机视觉的各种上游和下游任务上取得了不错的精确度，因此一般都采用卷积神经网络来进行行人重识别。基于深度学习的行人重识别中主要利用了行人的全局特征，将行人图像经过卷积神经网络来提取全局行人特征向量，对每个特征向量进行相似度的比较来进行排序，最终得到排序的结果。然而由于行人图像存在背景干扰，全局特征可能会关注于背景等噪声信息。因此要通过注意力机制或者基于部位的模型来提取出局部信息减少背景变化对于结果的干扰，然而单一的局部特征和全局特征都具有一定的局限性，会影响行人重识别的最终准确率的提高。

技术实现思路

[0005]本申请的目的是提供一种基于姿态估计和非局部网络的行人重识别方法，克服单纯使用全局特征和局部特征的单一性问题，以及基于部件的局部特征中不包含部件关系信息的问题。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种基于姿态估计和非局部网络的行人重识别方法，包括：
[0008]获取行人图像，分别通过姿态估计网络提取关节点热力图，通过全局特征提取网络提取全局特征图；
[0009]将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征，然后将关节点局部特征拼接并经过卷积操作得到第一特征图，将第一特征图通过非局部神经网络捕获每个关节点像素之间的相关性，得到局部前景特征图；
[0010]融合全局特征图和局部前景特征图，得到融合特征图；
[0011]将待检索行人图像的融合特征图进行全局平均池化得到的特征向量，与检索图像库中的各个行人图像的特征向量进行相似度比较，输出识别结果。
[0012]进一步的，所述姿态估计网络、全局特征提取网络采用高分辨率网络HRNet
‑
W32。
[0013]进一步的，所述通过姿态估计网络提取关节点热力图，包括：
[0014]将高分辨率网络HRNet
‑
W32的输出经过卷积操作后得到关节点热力图。
[0015]进一步的，所述通过全局特征提取网络提取全局特征图，包括：
[0016]将高分辨率网络HRNet
‑
W32中子网络的输出通过对应输入通道数的瓶颈块生成对应的特征图，并将这些特征图经过上采样，使得各个上采样后的特征图所对应的宽度和高度相等，然后将上采样后的特征图进行拼接，得到最终的全局特征图。
[0017]进一步的，所述融合全局特征图和局部前景特征图，得到融合特征图，包括：
[0018]将全局特征图F
g
和局部前景特征图F
hp
转换为三个非线性映射特征，如下式所示：
[0019]F
q
＝W
q
·
F
hp
；
[0020]F
k
＝P
k
(W
k
·
F
g
)；
[0021]F
v
＝P
v
(W
v
·
F
g
)；
[0022]其中的W
q
,W
k
,W
v
是三个1
×
1的卷积，P
k
和P
v
是金字塔平均池化；
[0023]对F
q
和F
k
进行点乘计算，然后用SoftMax进行归一化处理得到关系矩阵M，公式如下：
[0024][0025]其中的T为矩阵转置；
[0026]将关系矩阵M与经过金字塔平均池化的F
v
进行矩阵间相乘，得到特征F
c
，F
c
＝M
·
F
v
；
[0027]将特征F
c
与局部前景特征图F
hp
进行拼接，然后通过卷积操作得到最终的融合特征图F
h
，F
h
＝Conv(concat(F
c
,F
hp
))；
[0028]式中，concat表示拼接，Conv表示卷积。
[0029]本申请提出的一种基于姿态估计和非局部网络的行人重识别方法，融合了关节点局部特征和全局特征，能克服局部信息中不包含关系信息的问题，并克服全局特征与局部特征的单一性问题，提高行人重识别的准确率。
附图说明
[0030]图1为本申请基于姿态估计和非局部网络的行人重识别方法流程图。
[0031]图2为本申请实施例网络模型结构示意图。
[0032]图3为本申请实施例高分辨率网络HRNet
‑
W32结构示意图。
[0033]图4为本申请实施例局部前景特征图提取流程图。
[0034]图5为本申请实施例全局特征图和局部前景特征图融合流程图。
具体实施方式
[0035]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0036]在一个实施例中，如图1、图2所示，提出了一种基于姿态估计和非局部网络的行人重识别方法，包括：
[0037]步骤S1、获取行人图像，分别通过姿态估计网络提取关节点热力图，通过全局特征提取网络提取全局特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态估计和非局部网络的行人重识别方法，其特征在于，所述基于姿态估计和非局部网络的行人重识别方法，包括：获取行人图像，分别通过姿态估计网络提取关节点热力图，通过全局特征提取网络提取全局特征图；将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特征，然后将关节点局部特征拼接并经过卷积操作得到第一特征图，将第一特征图通过非局部神经网络捕获每个关节点像素之间的相关性，得到局部前景特征图；融合全局特征图和局部前景特征图，得到融合特征图；将待检索行人图像的融合特征图进行全局平均池化得到的特征向量，与检索图像库中的各个行人图像的特征向量进行相似度比较，输出识别结果。2.根据权利要求1所述的基于姿态估计和非局部网络的行人重识别方法，其特征在于，所述姿态估计网络、全局特征提取网络采用高分辨率网络HRNet
‑
W32。3.根据权利要求2所述的基于姿态估计和非局部网络的行人重识别方法，其特征在于，所述通过姿态估计网络提取关节点热力图，包括：将高分辨率网络HRNet
‑
W32的输出经过卷积操作后得到关节点热力图。4.根据权利要求2所述的基于姿态估计和非局部网络的行人重识别方法，其特征在于，所述通过全局特征提取网络提取全局特征图，包括：将高分辨率网络HRNet
‑
W32中子网络的输出通过对应输入通道数的瓶颈块生成对应的特征图，并将这些特征图经过上采样，使得各个上采样后的特征图所对应的宽度和高度相等，然后将上采样后的特征图进行拼接，得到最终的全局特征图。5.根据权利要求1所述的基于姿态估计和非局部网络的行人重识别方法，其特征在于，所述融合全局特征图和局部前景特征图，得到融合特征图，包括：将全局特征图F
g...

【专利技术属性】
技术研发人员：宦若虹，占孜伟，池凯凯，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：