一种双金字塔结构引导的多粒度行人重识别方法及系统技术方案

本发明专利技术公开了一种双金字塔结构引导的多粒度行人重识别方法及系统，首先在ResNet50中嵌入注意力金字塔，引导网络由粗到细依次挖掘不同粒度的特征，使网络更倾向于关注复杂环境中行人的显著区域；其次通过结构不对称的双重注意力特征金字塔分支，以提取多尺度的行人特征，丰富特征的多样性，同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征；最后将粒度较粗的全局特征与多层级细粒度的局部特征融合，两种金字塔相互作用，以此获得更多具有鉴别性的多粒度特征，以改善行人遮挡问题。本发明专利技术仅通过较少的计算量，便可有效地解决杂乱场景下难以提取行人关键信息和局部遮挡时全局特征方法失效而造成识别精度不高的问题。的问题。的问题。

【技术实现步骤摘要】
一种双金字塔结构引导的多粒度行人重识别方法及系统


[0001]本专利技术属于数字图像处理、计算机视觉
，涉及一种多粒度行人重识别方法及系统，特别是涉及一种基于双金字塔结构引导的全局特征与局部特征融合的多粒度行人重识别方法。

技术介绍

[0002]行人重识别旨在将不同地点和不同摄像机拍摄到的某个行人图像关联起来，以检索跨监控图像和设备视频中的特定行人。随着该技术被广泛应用于智能视频监控、大规模人员跟踪等领域，越来越多极具挑战性的难题也暴露而出，如行人图像存在背景杂乱、局部遮挡、姿态变化和尺度变化等因素影响。因此，如何在复杂场景下的行人图像中提高特征识别能力是当前ReID研究的首要任务。
[0003]深度学习时代的来临产生了诸多拥有强大学习能力和特征提取能力的网络，其中基于深度学习卷积神经网络的行人重识别基本取代了传统的识别方法，取得了阶段性的进展。在其发展的早期阶段，大多方法的目的是从行人的整体图像中获取显著信息，以此获取行人图像的全局特征表达。但是，如果存在行人部分身体被遮挡或检测错误等情况将会导致摄像机无法捕捉整体行人，且全局特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双金字塔结构引导的多粒度行人重识别方法，其特征在于，包括以下步骤：步骤1：构建双金字塔结构网络模型；所述双金字塔结构网络模型，由嵌入注意力金字塔的骨干网络AP
‑
ResNet50、全局分支网络Global Branch和双重注意力特征金字塔分支网络DFP Branch三个部分组成；所述嵌入注意力金字塔的骨干网络AP
‑
ResNet50，是将APNet注意力金字塔添加到ResNet50的四个残差块之后而构成；所述全局分支网络Global Branch，由广义平均池化层和归一化处理层构成，其输入为所述嵌入注意力金字塔的骨干网络AP
‑
ResNet50的输出；所述双重注意力特征金字塔分支网络DFP Branch，其中第一分支由三个conv1 block层和设置与第一个conv1 block层和第二个conv1 block层之间的SA
‑
DAM双重注意力机制层组成，其输入为所述嵌入注意力金字塔的骨干网络AP
‑
ResNet50第二残差块Layer2的输出；其中第二分支由4个conv3 block层组成，其输入为所述嵌入注意力金字塔的骨干网络AP
‑
ResNet50第三残差块Layer3的输出；所述第一分支的输出输入所述第二分支第三个conv3 block层中，所述第二分支输出，将经过广义平均池化层处理后的输出与所述全局分支网络Global Branch中广义平均池化层处理后的输出进行融合操作，从而得到更具鉴别性的多粒度特征；步骤2：训练所述双金字塔结构网络模型，获得训练好的双金字塔结构网络模型；步骤3：将待识别图像输入所述训练好的双金字塔结构网络模型，进行多粒度行人重识别。2.根据权利要求1所述的双金字塔结构引导的多粒度行人重识别方法，其特征在于：步骤1中，所述APNet注意力金字塔，通过“拆分
‑
关注
‑
合并
‑
堆叠”四步操作逐级实现，首先通过骨干网络的残差块提取特征F，再通过注意力金字塔来提取特征F上多尺度的显著区域；拆分操作时以特征图F作为输入，被拆分数在金字塔层中呈指数增长，金字塔层数越高，特征粒度越细；特征图F被拆分成多组子通道注意力后作为通道注意力的输入，来挖掘每个特征张量中具有判别性的信息；再将所有组子注意力模块以拆分操作的逆过程进行合并，从而得到完整且尺度相同的注意力图。3.根据权利要求1所述的双金字塔结构引导的多粒度行人重识别方法，其特征在于：步骤1中，所述双重注意力特征金字塔分支网络DFP Branch，conv3 block层除采用的是3
×
3的卷积之外，其余结构与conv1 block层一致。4.根据权利要求1所述的双金字塔结构引导的多粒度行人重识别方法，其特征在于：步骤1中，所述双重注意力特征金字塔分支网络DFP Branch，第一分支的第一个conv1 block与第三个conv1 block相连；第二分支的第一个conv3 block与第三个conv3 block相连，用于执行下采样操作。5.根据权利要求1所述的双金字塔结构引导的多粒度行人重识别方法，其特征在于：步骤1中，所述SA
‑
DAM双重注意力机制层，由Self
‑
Attention模块与APNet注意力金字塔进行并行连接构成；其中Self
‑
Attention机制基于位置注意力模块实现，若输入特征X∈R
H
×
W
×
C
，H、W和C分别表示特征图的高与宽和通道数；将每个位置的特征X通过1
×
1卷积映射并重塑至两个较低维度的子空间上，从而得到和其中S＝H
×
W，表示特征空间的
大小，r是用于调节子空间维度的超参数；则X的注意力表达式如下：...

【专利技术属性】
技术研发人员：熊炜，刘粤，许婷婷，田紫欣，强观臣，陈奕博，万相奎，陈云帆，尚萍萍，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：