基于孔洞卷积与注意力学习机制的行人再识别方法技术

本发明专利技术公开了一种基于孔洞卷积与注意力学习机制的行人再识别方法，用于解决现有行人再识别方法实用性差的技术问题。技术方案是首先设计基于孔洞卷积的瓶颈模块，并将多个瓶颈模块串联组成主干网络；对主干网络进行预训练，得到预训练模型；在主干网络的不同层次提取注意力特征图，并限制多层注意力特征图一致，自主学习不同层次注意力特征；采用交叉熵损失函数、三元组损失函数以及注意力特征图约束损失函数对网络进行训练；利用主干网络直接提取最终的特征，并在行人检索库中搜索与待搜索行人特征距离最小的行人图片，将身份赋予待搜索行人，完成再识别过程。本发明专利技术将卷积神经网络与注意力学习机制相结合，能够精确进行行人再识别，实用性好。

Pedestrian Recognition Based on Hole Convolution and Attention Learning Mechanism

The invention discloses a pedestrian recognition method based on hole convolution and attention learning mechanism, which is used to solve the technical problem of poor practicability of the existing pedestrian recognition method. The technical scheme is to design the bottleneck module based on hole convolution, and connect several bottleneck modules in series to form the backbone network; pre-train the backbone network to get the pre-training model; extract the attention feature maps at different levels of the backbone network, and restrict the consistency of multi-layer attention feature maps, and autonomously learn different levels of attention features; adopt cross-entropy loss function and ternary. Group loss function and attention feature map constraint loss function are used to train the network; the final features are extracted directly from the backbone network, and pedestrian images with the smallest distance between pedestrian features to be searched are searched in the pedestrian retrieval database, and the identity of pedestrians to be searched is given to complete the re-recognition process. The invention combines convolution neural network with attention learning mechanism, can accurately recognize pedestrians, and has good practicability.

【技术实现步骤摘要】
基于孔洞卷积与注意力学习机制的行人再识别方法
本专利技术涉及一种行人再识别方法，特别涉及一种基于孔洞卷积与注意力学习机制的行人再识别方法。
技术介绍
行人再识别是指在不同摄像头场景下识别出行人身份的技术，是视频监控分析技术中非常重要的一部分。然而由于监控视频比较复杂，受到剧烈变化的光照、天气、视角变换、行人姿态、遮挡等因素的影响，以及成像设备分辨率差的影响，使得在不同摄像头下识别出同一行人比较困难。随着深度学习在图像分类、目标识别等多个计算机视觉领域取得重大突破。将深度学习应用在行人再识别上能够很好地处理上述问题。一般来说，深度学习的行人再识别算法主要包含以下几个步骤：步骤一、对行人图片进行预处理；步骤二、利用交叉熵损失函数将行人再识别对深度卷积神经网络进行训练；步骤三、使用训练好的网络提取待搜索行人与查询库中的行人特征；步骤四、计算待搜索行人特征与检索库行人特征间的距离，并排序；步骤五、将距离最小的检索库行人的身份赋予待查询行人，再识别完成。当前基于深度学习的行人再识别方法主要是通过利用深度卷积神经网络与设计损失函数进行行人再识别。深度卷积神经网络通过不断堆叠卷积层、激活函数层、池化层、全连接层等提取行人图片特征，卷积层中的卷积核根据场景进行调整，以适应复杂环境。通过反向传播，损失函数能够指导网络学习在复杂场景下更加鲁棒、更加具有辨别力的特征。利用上述训练的网络对待查找图片和检索库中所有图片提取特征，并计算特征之间的距离，并认为距离最小的检索图片中行人的身份为待查找图片中行人的身份。Li等人在文献“D.Li,X.Chen,Z.Zhang,K.Huang,LearningDeepContext-awareFeaturesoverBodyandLatentPartsforPersonRe-identification.IEEEInternationalConferenceonComputerVisionandPatternRecognition,384-393,2017.”中提出了一种深度学习的行人再识别的方法，该方法利用卷积神经网络首先将行人图片分成头、躯干、腿三部分，然后再输入到网络中提取3个部分的深层特征，并串联起来，该网络使用交叉熵损失函数进行训练。基于深度学习的方法能够在复杂场景下提取鲁棒并且具有辨别力的特征，目前逐渐成为行人再识别领域的主流算法。虽然该方法中使用了行人的多个部分的深层特征进行匹配，但直接忽略了浅层特征，很多的细节信息只在浅层特征中存在，在深层特征中已经丢失，因此不能直接丢弃浅层特征，深浅层特征应有选择的进行融合。同时，该网络深浅层特征之间的大小不同，不添加额外的上采样或下采样操作无法直接使用。
技术实现思路
为了克服现有行人再识别方法实用性差的不足，本专利技术提供一种基于孔洞卷积与注意力学习机制的行人再识别方法。该方法首先设计基于孔洞卷积的瓶颈模块，并将多个瓶颈模块串联组成主干网络；对主干网络进行预训练，得到预训练模型；在主干网络的不同层次提取注意力特征图，并限制多层注意力特征图一致，自主学习不同层次注意力特征；采用交叉熵损失函数、三元组损失函数以及注意力特征图约束损失函数对网络进行训练；利用主干网络直接提取最终的特征，并在行人检索库中搜索与待搜索行人特征距离最小的行人图片，将身份赋予待搜索行人，完成再识别过程。本专利技术将卷积神经网络与注意力学习机制相结合，能够精确识别出不同摄像头下的行人身份，实用性好。本专利技术解决其技术问题所采用的技术方案：一种基于孔洞卷积与注意力学习机制的行人再识别方法，其特点是包括以下步骤：步骤一、设计基于孔洞卷积的瓶颈模块，将多个瓶颈模块串联组成主干网络。步骤二、使用注意力特征图提取模块，根据注意力特征图公式：提取注意力特征图；其中，input为输入特征，atti,j代表注意力特征图上的(i,j)点的数值，i,j为特征(i,j)点的数值，1≤i≤H，1≤j≤W，H，W分别为输入特征的高和宽，k为特征的一个通道，1≤k≤C，C为特征的通道数。将特征在通道上进行平均，得到注意力特征图。步骤三、对主干网络进行训练。训练采用随机梯度下降法，对分类损失函数、三元组损失函数以及注意力特征图约束损失函数进行优化。分类损失函数公式如下：Lcls＝-logpu，其中，u是真实类别标签，N为类别数目。三元组损失函数公式如下：Ltrip＝max(0,d(f(xi),f(xj))-d(f(xi),f(xk))+α)，其中，xi,xj,xk为输入的三张行人图片，xi,xj行人身份一致，xi,xk行人身份不一致，α为间隔，f(·)为通过卷积神经网络提取的特征，d(·)为欧氏距离。注意力特征图约束损失函数公式如下：Lsac＝|att(l5)-att(l3)|+|att(l5)-att(l4)|，其中，att(·)为不同层次的注意力特征图，l·为各层次中最后一个卷积层输出的特征。通过随机梯度下降训练网络直至收敛，并保存网络权重。步骤四、利用步骤三训练完成的网络提取对应测试行人特征，以及行人检索库的行人特征。步骤五、将步骤四提取的测试行人特征与检索库中行人特征计算距离，并进行排序，将排序中距离最小的检索库行人图片的行人身份赋予待搜索行人，完成行人再识别。本专利技术的有益效果是：该方法首先设计基于孔洞卷积的瓶颈模块，并将多个瓶颈模块串联组成主干网络；对主干网络进行预训练，得到预训练模型；在主干网络的不同层次提取注意力特征图，并限制多层注意力特征图一致，自主学习不同层次注意力特征；采用交叉熵损失函数、三元组损失函数以及注意力特征图约束损失函数对网络进行训练；利用主干网络直接提取最终的特征，并在行人检索库中搜索与待搜索行人特征距离最小的行人图片，将身份赋予待搜索行人，完成再识别过程。本专利技术将卷积神经网络与注意力学习机制相结合，能够精确识别出不同摄像头下的行人身份，实用性好。下面结合附图和具体实施方式对本专利技术作详细说明。附图说明图1是本专利技术基于孔洞卷积与注意力学习机制的行人再识别方法的流程图。图2是本专利技术方法实施例中孔洞卷积示意图。图3是本专利技术方法实施例中基于孔洞卷积的瓶颈模块示意图。图4是本专利技术方法实施例搜索出的行人结果照片。具体实施方式参照图1-4。本专利技术基于孔洞卷积与注意力学习机制的行人再识别方法具体步骤如下：步骤一、设计基于孔洞卷积的瓶颈模块，并将多个瓶颈模块串联起来组成最终的主干网络；参照图2中的孔洞卷积模块，将图3中的瓶颈模块中的3x3卷积替换为孔洞卷积。孔洞卷积包含了三层卷积层，分别使用1x1、3x3和1x1大小的卷积核。第一个1x1卷积操作将输入特征的通道数减少为四分之一，极大地减少了参数数量，提升模型运行速度。第二个3x3卷积，维持通道数不变，学习图像局部结构信息。第三个1x1的卷积将通道数还原为输入特征的通道数，提高特征的表达能力。基于孔洞卷积的瓶颈模块保持网络感受野不变的同时保持特征图空间分辨率不变。步骤二、提取注意力特征图；在resnet50网络的层次3、4、5的最后一个特征图上使用注意力特征图提取模块，提取不同层次的注意力显著区域。注意力特征图的公式为：其中，input为输入特征，atti,j代表注意力特征图上的(i,j)点的数值，i,j为特征(i,j)点的数值，1≤i≤本文档来自技高网...

【技术保护点】
1.一种基于孔洞卷积与注意力学习机制的行人再识别方法，其特征在于包括以下步骤：步骤一、设计基于孔洞卷积的瓶颈模块，将多个瓶颈模块串联组成主干网络；步骤二、使用注意力特征图提取模块，根据注意力特征图公式：

【技术特征摘要】
1.一种基于孔洞卷积与注意力学习机制的行人再识别方法，其特征在于包括以下步骤：步骤一、设计基于孔洞卷积的瓶颈模块，将多个瓶颈模块串联组成主干网络；步骤二、使用注意力特征图提取模块，根据注意力特征图公式：提取注意力特征图；其中，input为输入特征，atti,j代表注意力特征图上的(i,j)点的数值，i,j为特征(i,j)点的数值，1≤i≤H，1≤j≤W，H，W分别为输入特征的高和宽，k为特征的一个通道，1≤k≤C，C为特征的通道数；将特征在通道上进行平均，得到注意力特征图；步骤三、对主干网络进行训练；训练采用随机梯度下降法，对分类损失函数、三元组损失函数以及注意力特征图约束损失函数进行优化；分类损失函数公式如下：Lcls＝-logpu，其中，u是真实类别标签，N为类别数目；三元组损失函数公式如下：Ltrip＝...

【专利技术属性】
技术研发人员：袁媛，王琦，蒋旻悦，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61