一种基于深度学习的全监督遮挡行人重识别方法技术

本发明专利技术公开了一种基于深度学习的全监督遮挡行人重识别方法。采用不同相机进行图像的采集，并标注图像中行人标签和对应的相机标签，获得训练集，建立包含全局分支、注意力分支和通道分支的多分支行人重识别网络，利用训练后的多分支行人重识别网络对待测图像进行重识别；全局分支负责提取整体性特征，注意力分支通过限制通道簇之间的关联度，选择簇心进行注意力构建，避免网络错误关注在遮挡区域；通道分支对特征图进行动态切分处理，避免了空间切分带来的误差。本发明专利技术方法综合三个分支的预测结果来对遮挡保持一定的鲁棒性，无需对遮挡进行额外标注和捕捉，只需要图像级别的标签数据集，就可以在遮挡场景中有着较好的行人匹配精度。精度。精度。

【技术实现步骤摘要】
一种基于深度学习的全监督遮挡行人重识别方法


[0001]本专利技术属于计算机视觉
的一种跨相机行人图像检索方法，尤其是涉及了一种基于注意力机制的行人重识别方法。

技术介绍

[0002]行人重识别，又可以称作“行人在识别”，是对指定的行人图像，获得其跨相机下的其余图像，即找到其他相机拍摄的该行人的图像。由于跨相机的约束，图像的光照与角度各不相同，行人的背景与姿态千变万化，都对卷积神经网络的识别精度带来了巨大的挑战，也吸引了一大批研究者投入到了行人重识别问题的研究之中。
[0003]源于现实场景的复杂性，相机未必能够捕捉完整的行人图像，特征的缺失导致神经网络在匹配时会比理想情况下更难匹配到正确的图像，因此遮挡问题也是目前行人重识别任务中的难点之一。
[0004]最早利用卷积神经网络来处理遮挡行人重识别问题是在Lingxiao He等人发表在《IEEE Conference on Computer Vision and Pattern Recognition》的《Deep Spatial Feature Reconstruction for Partial Person Re
‑
identification:Alignment
‑
free Approach》文章中。现有的方法多以Jiaxu Miao等人发表在《IEEE International Conference on Computer Vision》的《Pose
‑
Guided Feature Alignment for Occluded Person Re
‑
Identification》进行延伸。
[0005]现有的方法多是依赖额外的姿态估计模块来对行人部位进行定位从而避免遮挡的影响，但姿态估计模块需要额外的训练且性能无法保证，如何在避免使用姿态估计模块情况下能够有效免疫遮挡的影响仍是值得探究的问题。

技术实现思路

[0006]为了解决遮挡行人重识别中存在的问题，本专利技术提供了一种基于深度学习的遮挡行人重识别方法，在通道注意力模块的基础上，通过限制特征图通道的交互范围设计了高阶显著注意力模块，以此增加注意力覆盖的多样性，设计了特征多切分模块，利用不同稀疏性的参数处理特征，二者综合可以有效地实现遮挡混淆性削弱这一目标，从而让网络在遮挡条件下提取的特征只包含行人信息。
[0007]本专利技术是针对只有图像级别的类别标注遮挡场景下的行人重识别方法。
[0008]本专利技术的技术方案如下：
[0009](1)采用不同的相机对需进行行人重识别的遮挡目标场景进行图像的采集，并标注图像中行人标签和对应的相机标签，获得训练集；
[0010](2)建立多分支行人重识别网络，用步骤(1)中的训练集进行训练；
[0011](3)训练结束后，利用训练后的多分支行人重识别网络对待测图像进行重识别。
[0012]步骤(1)中，进行标注时，无需对遮挡所在与否进行标注，只需标注行人标签Y以及图像对应的相机标签c。
[0013]具体实施中，是将图像按照行人的完整性进行划分为多个分，对靠后的、远离相机的行人作行人标签。
[0014]步骤(2)中，多分支行人重识别网络主要由整体的特征提取网络以及连接在特征提取网络之后的并行的三个分支组成，三个分支分别是全局分支、注意力分支和通道分支；
[0015]特征提取网络是由OSNet模型改造形成，在OSNet模型以第三个瓶颈块(Bottleneck)的输出处作分割进而将OSNet模型分为前部分和后部分的两部分，前部分作为所有分支共有的特征提取部分，后部分复制为两份共计形成三个后部分，三个后部分的输入端并行连接在前部分的输出端，三个后部分不共享权重，三个后部分的输出端分别连接全局分支、注意力分支和通道分支；
[0016]图像先输入特征提取网络的前部分中再分别输入到三个后部分中分别获得全局特征图FG、注意力特征图F、通道特征图FC，三个特征图分别输入到全局分支、注意力分支和通道分支中处理获得全局特征、注意力特征、通道特征。
[0017]全局分支主要由多层模块组成，多层模块均由全局平均池化层、批归一化层和全连接层依次连接构成；全局分支中，进行如下的特征编码：将全局特征图FG经过全局平均池化层处理后得到归一化前特征fg，再经过归一化层BN得到归一化后特征fg_bn，最后经过全连接层得到分类特征fg_c作为全局特征。全局特征图FG用于进行特征编码与训练。
[0018]通道分支主要由特征多切分模块、拼接层、卷积层、多层模块依次组成，多层模块均由全局平均池化层、批归一化层和全连接层依次连接构成；将通道特征图FC先输入到特征多切分模块，得到多个切分后特征图FC，再将多个切分后特征图FC进行拼接，将拼接的结果进行卷积后，再依次经全局平均池化层、批归一化层和全连接层处理获得通道特征；特征多切分模块中，将通道特征图FC，从通道维度依据多切分方法分为n个特征子图，再经过组别的多层传递卷积操作得到合并成唯一组别中的n个特征子图对应的切分后特征图FP。
[0019]特征多切分模块具体如下：对于通道特征图FC，从通道维度将进行两次切分，第一次将整张特征图按照通道维度均等切分为h个特征子图，第二次对上次切分获得的所有特征子图中的j个特征子图均再按照通道维度进行一次二等分获得特征子图，共计获得h+j＝n个特征子图；h的取值按照以下公式设置：
[0020]特征多切分模块包括共计D层的卷积单元层，第l层卷积单元层中包含E
l
个数量的并列独立的卷积操作；
[0021]S1、切分后，对每个特征子图单独分组，一个特征子图加入一个组别；
[0022]S2、将各个组别按照特征子图的通道维度从小到大进行排序，按照排序对每个组别设置卷积处理参数T(S
l
，l)，l＝D，
…
，2，1，S
l
＝1，2，
…
，E
l
，T(S
l
，l)表示该组别内的各个特征子图被第l层卷积单元层的第S
l
卷积操作进行处理：
[0023]D与E
l
的取值计算如下式所示：
[0024][0025]l＝D，
…
，2，1
[0026][0027]其中，代表向下取整，l从D开始依次递减到1；
[0028]S2中，在初始情况下，所有组别内的所有特征子图均设置到被第l层卷积单元层的卷积操作进行处理，对于第S
l
个组别设置卷积处理参数T(S
l
，D)。
[0029]S3、先将各个组别内的特征子图按照上述卷积处理参数的设置经过特征多切分模块的第D层卷积单元层中各个卷积操作；
[0030]S4、将S3处理后获得的各个组别按照通道维度从小到大排序，再以每相邻的两个为一组进行合并，合并时剩余单数的最后一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的全监督遮挡行人重识别方法，其特征在于，方法包括如下步骤：(1)采用不同的相机对需进行行人重识别的遮挡目标场景进行图像的采集，并标注图像中行人标签和对应的相机标签，获得训练集；(2)建立包含全局分支、注意力分支和通道分支的多分支行人重识别网络，用步骤(1)中的训练集进行训练；(3)利用训练后的多分支行人重识别网络对待测图像进行重识别。2.根据权利要求1所述的一种基于深度学习的全监督遮挡行人重识别方法，其特征在于：所述步骤(1)中，进行标注时，只需标注行人标签Y以及图像对应的相机标签c。3.根据权利要求1所述的一种基于深度学习的全监督遮挡行人重识别方法，其特征在于：所述步骤(2)中，多分支行人重识别网络主要由整体的特征提取网络以及连接在特征提取网络之后的并行的三个分支组成，三个分支分别是全局分支、注意力分支和通道分支；特征提取网络是由OSNet模型改造形成，在OSNet模型以第三个瓶颈块的输出处作分割进而将OSNet模型分为前部分和后部分的两部分，后部分复制为两份共计形成三个后部分，三个后部分的输入端并行连接在前部分的输出端，三个后部分的输出端分别连接全局分支、注意力分支和通道分支；图像先输入特征提取网络的前部分中再分别输入到三个后部分中分别获得全局特征图FG、注意力特征图F、通道特征图FC，三个特征图分别输入到全局分支、注意力分支和通道分支中处理获得全局特征、注意力特征、通道特征。4.根据权利要求1所述的一种基于深度学习的全监督遮挡行人重识别方法，其特征在于：所述的全局分支主要由多层模块组成，多层模块均由全局平均池化层、批归一化层和全连接层依次连接构成；所述的全局分支中，进行如下的特征编码：将全局特征图FG经过全局平均池化层处理后得到归一化前特征fg，再经过归一化层BN得到归一化后特征fg_bn，最后经过全连接层得到分类特征fg_c作为全局特征。5.根据权利要求1所述的一种基于深度学习的全监督遮挡行人重识别方法，其特征在于：所述的通道分支主要由特征多切分模块、拼接层、卷积层、多层模块依次组成，多层模块均由全局平均池化层、批归一化层和全连接层依次连接构成；将通道特征图FC先输入到特征多切分模块，得到多个切分后特征图FC，再将多个切分后特征图FC进行拼接，将拼接的结果进行卷积后，再依次经全局平均池化层、批归一化层和全连接层处理获得通道特征；特征多切分模块中，将通道特征图FC，从通道维度依据多切分方法分为n个特征子图，再经过组别的多层传递卷积操作得到n个特征子图对应的切分后特征图FP。6.根据权利要求5所述的一种基于深度学习的全监督遮挡行人重识别方法，其特征在于：所述特征多切分模块具体如下：对于通道特征图FC，从通道维度将进行两次切分，第一次将整张特征图按照通道维度均等切分为h个特征子图，第二次对上次切分获得的所有特征子图中的j个特征子图均再按照通道维度进行一次二等分获得特征子图，共计获得h+j＝n个特征子图；特征多切分模块包括共计D层的卷积单元层，第l层卷积单元层中包含E
l
个数量的卷积操作；S1、切分后，对每个特征子图单独分组，一个特征子图加入一个组别；S2、将各个组别按照特征子图的通道维度从小到大进行排序，按照排序对每个组别设
置卷积处理参数T(S
l
，l)，l＝D，
…
，2，1，S
l
＝1，2，
…
，E
l
，T(S
l
，l)表示该组别内的各个特征子图被第l层卷积单元层的第S
l
卷积操作进行处理：D与E
l
的取值计算如下式所示：l＝D，
…
，2，1其中，代表向下取整，l从D开始依次递减到1；S3、先将各个组别内的特征子图按照上述卷积处理参数的设置经过特征多切分模块的第D层卷积单元层中各个卷积操作；S4、将S3处理后获得的各个组别按照通道维度从小到大排序，再以每相邻的两个为一组进行合并，合并时组...

【专利技术属性】
技术研发人员：李苏莱曼，龚小谨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：