一种面向监控视频的行人重识别方法技术

本发明专利技术给出一种面向监控视频的行人重识别方法。首先，为了有效处理视频帧之间的时间关系，在特征提取阶段采用融合了时空注意力机制的残差卷积模块，对时空信息进行建模，探索不同时空像素之间的关系，产生更具辨别性的特征；然后，为了缓解行人图像中因遮挡、姿态变化使行人特征无法充分表达的问题，在基础网络之后加入双分支网络进行特征提取，局部分支能够集合每个条纹中特定的判别信息，同时可以消除剩余条纹信息的影响，全局分支关注显著信息，用于提供全局特征。通过两个分支的特征级联来提升网络的特征学习能力。本发明专利技术利用时空注意力机制和双分支结构，实现了优异的视频行人重识别性能，具有广泛的适用性。具有广泛的适用性。

【技术实现步骤摘要】
一种面向监控视频的行人重识别方法


[0001]本专利技术涉及图像处理技术，具体来讲，涉及一种面向监控视频的行人重识别方法，该方法结合时空注意力机制和双分支结构分别提取行人全局特征和细粒度局部特征，构建鲁棒的行人重识别网络。

技术介绍

[0002]行人重识别是指利用计算机视觉技术，判断在不同时间段、不同监控下出现的行人图像是否属于同一人员的技术。行人重识别是最近几年在视频分析领域下热门的研究方向，可以看做是人脸识别应用的拓展。现在大街上的监控较多，由于设备质量、成像光线、成像角度、以及成像距离的因素，在监控视频中得到的人的特征往往是不清晰的，人脸的分辨率是不足以做人脸识别的，所以提出了根据行人的穿着、体态、发型等信息认知行人的ReID。可与行人检测、行人跟踪技术相结合，可以弥补目前监控摄像头的视觉局限性，可以广泛应用于监控、安防等领域。
[0003]行人重识别的具体工作包括特征提取和特征匹配两个步骤。传统的识别方法基于低级视觉特征，导致提取图像信息具有较多的局限性，在行人图像复杂多变的情况下不能提取到有效的特征。与传统的行人重识别方法不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向监控视频的行人重识别方法，其特征在于，采用时空注意力对输入的视频图像进行时空信息建模，并构建全局、局部卷积两个分支结构，全局卷积分支提供全局支持，局部卷积分支提供丰富的细粒度信息，所述卷积神经网络计算方法包括：数据集预处理、对行人图像进行特征提取并将提取到的特征划分为全局特征和局部特征、利用提取到的全局特征和局部特征分别计算分类损失和度量损失、网络训练与测试四个部分：第一部分包括两个步骤：步骤1，下载视频行人重识别公开数据集MEVID，选取自然场景复杂、角度多样和光照变化剧烈的图像作为测试集，将测试集图片尺寸统一到256
×
128大小，对测试集不进行任何的图像增强；步骤2，对训练数据集分别进行空间和时间上的预处理，具体实施如下：步骤2
‑
1，对图片大小进行调整，先放大1.125倍，再裁剪为256
×
128像素；步骤2
‑
2，以50%的概率对训练图片进行水平翻转；步骤2
‑
3，随机选取一个图片的矩形区域，将这个矩形区域的像素值用随机值或者平均像素值代替，产生局部遮挡的效果；步骤2
‑
4，在随机位置裁剪给定的帧索引；第二部分包括三个步骤：步骤3，首先通过一个卷积核为7
×
7，步长为2的大核卷积层，尽可能保留原始图像的信息，并将通道数从原来的3通道扩大到64通道，接着采用3
×
3的最大池化进行下采样，得到大小为64
×
32的特征图feat1，然后利用如图1中的三个残差结构OSBlock1、OSBlock2、OSBlock3对feat1提取行人图像信息特征，每个残差结构包含两个bottleneck，具体实施如下：步骤3
‑
1，特征提取残差结构bottleneck如图2所示，bottleneck分为两条支路，其中一条支路，首先经过一个1
×
1卷积减少特征维度，接着经过四个不同感受野的卷积特征流，为了减少参数量，将普通3
×
3卷积分解为1
×
1的点卷积和3
×
3的深度卷积；步骤3
‑
2，不同的权重根据输入图像分配到不同的尺度，将步骤3
‑
1得到的不同尺度的特征以动态的方式进行多尺度融合，所有尺度融合参数共享，此时在多尺度融合之后加入时间注意力机制，随着bottleneck的n次堆叠时间注意力也重复n次，接着通过1
×
1卷积对输出通道进行调整，bottleneck的另一条支路是残差边支路，仅进行一个1
×
1的卷积操作调整通道，最后将bottleneck的两条支路用add进行融合，得到特征图feat2；步骤3
‑
3，将步骤3
‑
2融合后的特征feat2通过一个1
×
1卷积，然后再经过一个卷积核为2

【专利技术属性】
技术研发人员：吴斌，袁明东，张红英，蒲俊涛，曾静超，曾芸芸，杨靖儒，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：