基于像素和通道注意力机制的行人重识别方法技术

本发明专利技术公开了一种基于像素和通道注意力机制的行人重识别方法，包括：根据人物的boundingbox(检索框)来提取行人的全局特征；将行人图片平均分为两部分和三部分，分别提取行人的局部特征；将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。其利用通道和像素注意力模块来进行特征提取，有效降低背景信息对检索结果的影响；同时，进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛；本发明专利技术所提出的基于通道注意力机制，像素注意力机制和中间层监督的行人重识别网络，能够有效删除人物boudingbox中的冗余信息，使人物信息得到有效聚合，从而显著提高检索精度。

【技术实现步骤摘要】
基于像素和通道注意力机制的行人重识别方法
本专利技术涉及一种行人重识别方法，特别涉及一种基于像素和通道注意力机制的行人重识别方法，属于图像处理

技术介绍
目前，国内国外的各种犯罪行为对社会的持续稳定发展造成了非常大的威胁。在商场、车站、机场和步行街等人流量比较大的场所，遍布着大大小小的监控设备，但是如何从这些监控信息中精确找出我们所需要的人或信息仍然是一个巨大的挑战。特别是在刑侦工作中，民警需要从大量长时间的监控信息中找到犯罪嫌疑人信息，及时了解其情况并进行控制。但是这些监控信息，数量庞大，内容复杂而且监控的视场角较小，快速准确地找出目标人物变得非常困难。尽管目前人脸识别技术已经非常成熟，被广泛应用于各个领域。但是在监控视频中由于相机分辨率和拍摄角度问题，我们无法捕捉到清晰有效的人脸图片，也就无法使用人脸识别技术来检索人物信息。为了解决在复杂情况下的人物检索问题，行人重识别也称行人再识别技术应运而生。该技术使用计算机来检索人物信息，能够节省大量的人力物力。随着深度学习的发展，基于深度学习的重识别方法也成为行人重识别技术的主流。目前基于深度学习的重识别方法主要分为以下五类：基于表征学习、基于度量学习、基于局部特征、基于视频序列和基于GAN造图的重识别方法。这些方法被广泛应用于人物重识别研究中，但是这些方法也存在着许多问题。基于表征学习的方法，使用全局特征作为特征向量，在特征提取上会损失很多细节特征，导致检索结果出现误差。基于度量学习的方法是通过神经网络来比较两张图片的相似距离，如何准确计算图片间的相似度仍然是一个需要研究的课题。基于局部特征的方式目前应用比较广泛，该方法将人物图片在垂直方向上分为几个部分，然后分别提取图片的局部特征。但是在划分图片时常常会因为人物的姿态等导致划分不准确的问题，严重影响系统精确度。基于视频序列的重识别技术在如何删除冗余帧的问题上也需要进一步探索。基于GAN的方法生成的图片，目前一般只能作为负样本来使用，失真比较严重。除了上述方法各自的缺陷之外，相机的低分辨率、遮挡、视角、姿态和光照变化等等因素也会对重识别系统造成许多不良影响。目前基于深度学习的行人重识别方法在提取特征上都使用了池化操作来进行数据降维，但无论是最大池化还是平均池化，对待图片中的各个通道和像素信息都“一视同仁”。特别是在boundingbox(检索框)中，包含了人物信息和背景信息，神经网络无法将两者进行区分，导致特征提取时将背景信息也作为人物特征的一部分，这会对整个重识别系统的精度带来极大的负面影响。如何有效降低背景信息对重识别技术的影响，是一个巨大的挑战。为了有效降低背景信息对检索结果的影响，本专利技术提出利用通道和像素注意力模块来进行特征提取。在最大池化和平均池化操作之前，应用通道和像素注意力模块，删除冗余信息，提高图片特征向量的有效性；同时，本专利技术基于神经网络提取行人的全局和局部特征，还进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛，提高检索精度。
技术实现思路
本专利技术的主要目的在于提供一种基于像素和通道注意力机制的行人重识别方法，以克服现有技术中的不足。为实现前述专利技术目的，本专利技术采用的技术方案包括：根据人物的boundingbox(检索框)来提取行人的全局特征；将行人图片平均分为两部分和三部分，分别提取行人的局部特征；将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。优选地，基于神经网络提取行人的全局和局部特征，所提取的行人的全局特征包括颜色和边缘特征，所提取的行人的局部特征包括行人在垂直方向上不同区域的颜色和边缘特征。优选地，在提取行人的局部特征的过程中使用通道注意力模块和像素注意力模块来聚合人物特征信息，所述提取到的人物特征是经过神经网络进行特征聚合得到的人物特征信息，所述Gallery中人物信息是将Gallery中的图片输入已训练好的模型后输出的人物特征信息。优选地，所述的基于神经网络提取行人的全局和局部特征，具体包括：使用ResNet-50网络作为基础网络来提取图片特征，使用ResNet-50网络的前三层；之后将整个网络分为三个分支，在第一个分支中，提取图像的全局特征，第二个分支将特征张量在垂直方向上分为两部分，第三个分支将特征张量在垂直方向上分为三个部分；之后使用通道注意力模块来聚合特征信息，删除冗余的通道信息；然后使用最大池化来降维；最后使用1*1的卷积层，将特征向量的维度从2048降到256；在ResNet网络的前三层，即layerl、layer2和layer3后加入中层监督，在中层监督模块中，使用像素注意力模块，来减小背景像素的值，增加人物像素的值。优选地，所述的通道注意力模块，其实现过程如下：将输入张量的尺寸设为H×W×C，记为X＝[x1，x2，…，xc]，其中，H表示图像的高，W表示图像的宽，C表示通道；第一步：对每个通道的特征信息进行降维，降维之后每个通道的特征以Fc进行表示，其中，xc(i，j)是通道c上位置(i，j)处的值，该公式对每个通道内张量求平均，可以起到特征聚合的效果；第二步：使用滤波器对各个通道进行滤波处理，删除冗余信息；其中，ωc代表了赋予每个通道的权值，Fc代表了c通道的张量值，f1代表了滤波操作；第三步：进行升维操作；其中，为每个通道的权重，Zc为最终每个通道的权重，f2是升维操作函数，代表了卷积操作；第四步：源张量赋予权重；优选地，所述的像素注意力模块，其实现过程如下：将输入张量的尺寸设为H×W×C，记为Y＝[y1，y2，…，yc]，其中，H表示图像的高，W表示图像的宽，C表示通道；第一步：基于如下公式(5)将通道数压缩为1，以便后续处理；第二步：重新排列张量值；Eα＝g0(D)，α＝3·j+i(6)第三步：进行筛选；{I1，I2，…，Ic}＝g1({η1，η2，…，ηα}·{E1，E2，…，Eα})(7){J1，J2，…，Jα}＝g2({γ1，γ2，…，γN}.{I1，I2，…，IN})(8)第四步：将得到的向量恢复成原始的mapsize(特征图尺寸大小)；K＝g4(J)(9)第五步：为每个像素赋予权重；Yresult-c(i，j)＝K(i，j)·Y(i，j)(10)。与现有技术相比，本专利技术的优点包括：(1)采用本专利技术提出的利用通道和像素注意力模块来进行特征提取，在最大池化和平均池化操作之前，应用通道和像素注意力模块，删除冗余信息，提高图片特征向量的有效性；同时，本专利技术基于神经网络提取行人的全局和局部特征，还进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛，提高检索精度；(2)本专利技术提出了一个基于通道注意力机制，像素注本文档来自技高网...

【技术保护点】
1.一种基于像素和通道注意力机制的行人重识别方法，其特征在于，包括如下步骤：/n根据人物的检索框来提取行人的全局特征；/n将行人图片平均分为两部分和三部分，分别提取行人的局部特征；/n将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。/n

【技术特征摘要】
1.一种基于像素和通道注意力机制的行人重识别方法，其特征在于，包括如下步骤：
根据人物的检索框来提取行人的全局特征；
将行人图片平均分为两部分和三部分，分别提取行人的局部特征；
将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。


2.根据权利要求1所述的基于像素和通道注意力机制的行人重识别方法，其特征在于包括：基于神经网络提取行人的全局和局部特征，所提取的行人的全局特征包括颜色和边缘特征，所提取的行人的局部特征包括行人在垂直方向上不同区域的颜色和边缘特征。


3.根据权利要求2所述的基于像素和通道注意力机制的行人重识别方法，其特征在于包括：在提取行人的局部特征的过程中使用通道注意力模块和像素注意力模块来聚合人物特征信息，所述提取到的人物特征是经过神经网络进行特征聚合得到的人物特征信息，所述Gallery中人物信息是将Gallery中的图片输入已训练好的模型后输出的人物特征信息。


4.根据权利要求3所述的基于像素和通道注意力机制的行人重识别方法，其特征在于，所述的基于神经网络提取行人的全局和局部特征，具体包括：
使用ResNet-50网络作为基础网络来提取图片特征，使用ResNet-50网络的前三层；之后将整个网络分为三个分支，在第一个分支中，提取图像的全局特征，第二个分支将特征张量在垂直方向上分为两部分，第三个分支将特征张量在垂直方向上分为三个部分；之后使用通道注意力模块来聚合特征信息，删除冗余的通道信息；然后使用最大池化来降维；最后使用1*1的卷积层，将特征向量的维度从2048降到256；
在ResNet网络的前三层，即layer1、layer2和layer3后加入中层监督，在中层监督模块中，使用像素注意力模块，来减小背景像素的值，增加人物像素的值。


5.根据权利要求3所述的基于像素和通道注意力机制的...

【专利技术属性】
技术研发人员：王敏杰，李现，张加焕，肖江剑，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：浙江;33