一种基于孪生双流3D卷积神经网络的视频行人再识别方法技术

本发明专利技术涉及一种基于孪生双流3D卷积神经网络的视频行人再识别方法，基于孪生双流3D卷积神经网络的视频行人再识别方法，通过孪生双流3D卷积神经网络的硬线层将行人视频的每一帧图片提取成光流‑x特征图、光流‑y特征图、灰度特征图、水平坐标梯度特征图和垂直坐标梯度特征图；将光流特征图作为动作分支的输入来提取行人的动作信息，其余特征图作为外观分支的输入来提取行人的外观信息；将行人动作信息融合到提取出来的行人外观信息中；将动作信息和外观信息通过融合进行度量对比学习；对网络参数进行更新，并训练新的卷积神经网络；将目标行人图像与相似度排名第一的待识别行人图像进行关联。与现有技术相比，本发明专利技术具有更加接近于现实场景等优点。

A video pedestrian recognition method based on twin dual stream 3D convolutional neural network

【技术实现步骤摘要】
一种基于孪生双流3D卷积神经网络的视频行人再识别方法
本专利技术涉及基于图像处理的机器视觉领域，尤其是涉及一种基于孪生双流3D卷积神经网络的视频行人再识别方法。
技术介绍
行人再识别是在非重叠摄像机上进行人员匹配时所要面对的问题，近年来由于其在实施自动化监测系统方面的重要性，越来越受到关注。视频行人再识别更加接近于现实场景，本专利技术有助于实现城市智能化，有助于在机场等大型公共场所的安全、寻人，有助于实现通过摄像头自动寻找走失老人、小孩，有助于协助公安机关对罪犯的自动识别追踪。在许多应用程序，例如跨摄像机跟踪和行人搜索中，基于外观信息从一组人中识别一个人是可取的。不过由于低分辨率、运动模糊、视图以及个体外观光照的变化，构建适应不同相机条件的差异化表示是非常具有挑战性的，因此在多摄像机系统中，非重叠摄像机视图的匹配越来越受到人们的关注。比如一个人在被多个互不重叠的摄像头覆盖的公共空间的大范围内的行为，当这个人从一个视图中消失时，目标可以在另一个视图同样的一群人中被识别出来。虽然计算机视觉研究人员在过去的十年中已经做出了最大的努力，但是人的本文档来自技高网...

【技术保护点】
1.一种基于孪生双流3D卷积神经网络的视频行人再识别方法，其特征在于，包括：/n步骤S1：通过孪生双流3D卷积神经网络的硬线层将行人视频的每一帧图片提取成光流-x特征图、光流-y特征图、灰度特征图、水平坐标梯度特征图和垂直坐标梯度特征图；/n步骤S2：将步骤S1中提取出来的光流-x特征图、光流-y特征图作为动作分支的输入来提取行人的动作信息，灰度特征图、水平坐标梯度特征图和垂直坐标梯度特征图作为外观分支的输入来提取行人的外观信息；/n步骤S3：孪生双流3D卷积神经网络中将步骤S2提取出来的行人动作信息融合到提取出来的行人外观信息中；/n步骤S4：孪生双流3D卷积神经网络将所述动作信息和外观信息...

【技术特征摘要】
1.一种基于孪生双流3D卷积神经网络的视频行人再识别方法，其特征在于，包括：
步骤S1：通过孪生双流3D卷积神经网络的硬线层将行人视频的每一帧图片提取成光流-x特征图、光流-y特征图、灰度特征图、水平坐标梯度特征图和垂直坐标梯度特征图；
步骤S2：将步骤S1中提取出来的光流-x特征图、光流-y特征图作为动作分支的输入来提取行人的动作信息，灰度特征图、水平坐标梯度特征图和垂直坐标梯度特征图作为外观分支的输入来提取行人的外观信息；
步骤S3：孪生双流3D卷积神经网络中将步骤S2提取出来的行人动作信息融合到提取出来的行人外观信息中；
步骤S4：孪生双流3D卷积神经网络将所述动作信息和外观信息通过融合进行度量对比学习；
步骤S5：通过改善的视频三元组损失对网络参数进行更新，根据更新后的网络参数训练新的卷积神经网络；
步骤S6：利用步骤S5训练好的卷积神经网络在全连接层进行合并，通过比较度量距离识别目标行人图像，并进行相似度排序，将所述目标行人图像与相似度排名第一的待识别行人图像进行关联。


2.根据权利要求1所述的一种基于孪生双流3D卷积神经网络的视频行人再识别方法，其特征在于，所述步骤S2中，将光流-x特征图、光流-y特征图进行光流计算，得出相邻2帧动作信息的变化。


3.根据权利要求1所述的一种基于孪生双流3D卷积神经网络的视频行人再识别方法，其特征在于，所述3D卷积神经网络的卷积核之间实行权重共享。


4.根据权利要求1所述的一种基于孪生双流3D卷积神经网络的视频行人再识别方法，其特征在于，所述...

【专利技术属性】
技术研发人员：魏丹，王子阳，胡晓强，罗一平，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海;31