基于深度学习联合优化的行人重识别方法技术

本发明专利技术公开了一种基于深度学习联合优化的行人重识别方法，步骤为：步骤1、采集筛选数量均衡的正负行人样本对，构建数据集；步骤2、构建深度学习的Siamese神经网络结构模型，包括两路前端卷积神经网络和多层级特征融合模块，将正负行人样本输入模型，提取得到两路不同的行人的Hyper特征；步骤3、将两路不同行人的Hyper特征送入分类网络和验证网络，联合分类网络和验证网络，联合分类损失函数和验证损失函数，优化神经网络结构模型参数。该方法联合采用深度卷积神经网络和HyperNet网络，提取多尺度的特征增强对行人目标的检测能力，联合验证模型和分类模型优化网络结构，得到性能优越的行人重识别神经网络结构模型。

【技术实现步骤摘要】
基于深度学习联合优化的行人重识别方法
本专利技术属于计算机视觉中的行人重识别
，具体涉及一种基于深度学习联合优化的行人重识别方法。
技术介绍
行人重识别是计算机视觉和模式识别领域中的重要课题之一，其中行人重识别是指在多摄像头内检索给定行人目标，并将检索结果进行关联匹配，用以快速、准确地发现目标行人在多摄像头下的活动画面和轨迹。由于其在智能视频监控、多目标追踪等领域具有重要的意义，近年来受到越来越多相关领域科研工作人员及政府、公安部门广泛的关注。行人重识别主要研究使用视觉特征来匹配行人目标。但由于同一行人在不同摄像头视域之间通常存在非常大的视角、照明条件和摄像头设置的变化，这些都给基于外观的跨视域多摄像下的行人图像匹配带来了巨大的挑战。针对这些问题，行人重识别的研究工作主要分为基于表征学习的行人重识别方法、基于度量学习行人重识别方法以及基于深度学习的行人重识别方法。近年来，当前最佳的行人重识别方法都是基于深度卷积神经网络的，卷积神经网络能够学习到优于传统手工特征的具有区分性的特征，如果采用HyperNet网络能够端到端地从原始的场景图像中得到Hyper特征。另外，目前基于深度学习的行人重识别网络结构主要分为验证模型和分类模型，两种模型在训练过程中的输入数据、特征提取和损失函数等都有很大不同，但各有各的优缺点。2017年，Zheng融合了两种神经网络模型提取更具有鲁棒性的行人特征，但是方法仍存在不足：图像中目标遮挡导致的部分特征丢失，不同视角、光照条件等导致同一目标的特征差异，以及不同目标衣服颜色的近似、特征近似都会导致区分度下降，在行人重识别中的性能下降。基于上述三个问题，主要的解决方案可以聚焦在两个关键点，一是提取良好的特征，二是选择合适的距离度量函数。本专利技术提出了提取多尺度的、目标检测能力强的Hyper特征和一种基于深度学习的Siamese神经网络结构模型，结合样本对类别信息和相似度联合优化网路模型参数。经过对现有技术的检索，发现已有的行人重识别方法没有一种采用深度卷积神经网络和HyperNet网络结合，并联合验证模型和分类模型以及多种损失函数的系统的识别方法。深度卷积神经网络相较于传统方法特征学习能力更佳，而HyperNet网络能够获取多尺度的特征，联合两种损失函数能够得到更好的优化网络模型参数，这些都会在行人重识别的应用研究中产生优越的性能。
技术实现思路
本专利技术的目的在于：解决现有的行人重识别方法特征提取存在丢失和差异，以及特征区分度下降的不足，导致行人重识别中的性能下降的问题，提出基于深度学习联合优化的行人重识别方法，联合采用深度卷积神经网络和HyperNet网络，提取多尺度的特征，增强对行人目标的检测能力，联合验证模型和分类模型、联合多损失函数优化网络结构，得到性能优越的行人重识别神经网络结构模型。本专利技术采用的技术方案如下：基于深度学习联合优化的行人重识别方法，方法步骤如下：步骤1、采集筛选数量均衡的正负行人样本对，构建数据集；步骤2、构建深度学习的Siamese神经网络结构模型，包括两路由5个卷积模块构成的前端卷积神经网络和多层级特征融合模块，将数据集中的正负行人样本输入模型，提取得到两路不同的行人的Hyper特征；步骤3、将步骤2得到的两路Hyper特征分别送入两个分类网络，将两路Hyper特征差值送入验证网络，联合分类网络和验证网络，联合分类损失函数和验证损失函数，训练优化步骤2构建的神经网络结构模型参数，得到优化后的行人重识别的深度学习的Siamese神经网络结构模型。进一步，所述步骤2包括：步骤2.1、构建深度学习的Siamese神经网络结构模型，包括两路由5个卷积模块构成的前端卷积神经网络和多层级特征融合模块，将数据集中的正负行人样本分别输入模型的两路，得到具有层级的行人特征图，不同层级的特征图具有不同的隐含特征；步骤2.2、分别提取两路卷积模块1、卷积模块3、卷积模块5的特征图，采用局部响应归一化多个特征图，将之处理融合统一到一个空间内形成行人的Hyper特征，得到两路不同的行人的Hyper特征。进一步，所述步骤2中前端卷积神经网络基本结构来自于VGG-16网络，包括5个卷积模块：卷积模块1、2各包括两个卷积层和修正线性单元层、一个池化层，卷积模块3包括三个卷积层和修正线性单元层、一个池化层，卷积模块4、5各包括三个卷积层和修正线性单元层；多层级特征融合模块包括3路层级特征的提取、融合模块，3路层级特征的提取模块包括：添加最大池化模块执行下采样的卷积模块1、添加反卷积模块执行上采样的卷积模块5和卷积模块3；3路层级特征的融合模块包括：添加在卷积模块1、卷积模块3、卷积模块5后的反卷积模块，每一路通过反卷积模块后做特征融合，形成行人的Hyper特征。进一步，所述步骤3包括：步骤3.1、将步骤2得到的两路Hyper特征分别送入两个分类网络，将两路Hyper特征差值送入验证网络；步骤3.2、分类网络和验证网络的反向传播过程中使用随机梯度下降法联合一个验证损失函数和两个分类损失函数优化网络结构参数，得到优化验证后行人重识别的深度学习的Siamese神经网络结构模型。进一步，所述分类损失函数采用基于多分类建模的随机选择采样Softmax损失函数，验证损失函数采用基于验证损失的二分类Softmax损失函数。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术中，方法采用深度学习的Siamese神经网络结构模型，提取多层级的特征，增强对行人目标的检测能力，联合验证模型和分类模型、联合多损失函数优化网络结构，得到准确率高，性能优越的行人重识别神经网络结构模型，能够有效地解决行人重识别中的背景复杂、姿态多样的问题，最终得到良好的目标行人识别的结果；2、本专利技术中，由于有效训练多分类模型需要大规模、多视角、多样性的数据集来学习大的分类矩阵，且训练验证网络的关键也在于构建的正负样本的质量和数目，采用的数据集样本来源于Market-1501和CUHK-SYSU裁剪出的行人，通过一个在线采样层选取和筛选出合适的正负的样本对构成训练测试集，能够保证正负样本的质量和数目均衡；3、本专利技术中，深度学习的Siamese神经网络结构模型的两路由5个卷积模块构成的前端卷积神经网络提取多层级特征，多层级特征融合模块对于不同的卷积模块采用不同的采样策略来融合行人图像的多层级特征，从而生成Hyper特征向量，正负样本对中提取得到的Hyper特征向量被视为正负实例，并用于生成类向量，这不仅提取了行人图像本身的特征，还融合了行人图像多尺度、多层级的特征，最终得到的变换特征向量将包括更多的层级特征，从而可以更好的描述样本；4、本专利技术中，损失函数可以比较行人图像样本对的相似度，而且分别对得到的两路行人特征图进行多分类的强标签信息监督学习，能够有效地解决行人重识别中的背景复杂、姿态多样的问题，最终得到良好的目标行人识别的结果；5、本专利技术中，分类损失函数采用基于多分类建模的随机选择采样Softmax损失函数，验证损失函数采用基于验证损失的二分类Softmax损失函数，能够适应行人目标稀疏又缺乏多样性的特点，且基于多分类建模的随机选择采样Softmax(RSS)损失能够适应行人重识别网络里的类别数多，类别数量又大本文档来自技高网...

【技术保护点】
1.一种基于深度学习联合优化的行人重识别方法，其特征在于：方法步骤如下：步骤1、采集筛选数量均衡的正负行人样本对，构建数据集；步骤2、构建深度学习的Siamese神经网络结构模型，包括两路前端卷积神经网络和多层级特征融合模块，将数据集中的正负行人样本输入模型，提取得到两路不同的行人的Hyper特征；步骤3、将步骤2得到的两路Hyper特征分别送入两个分类网络，将两路Hyper特征差值送入验证网络，联合分类网络和验证网络，联合分类损失函数和验证损失函数，优化步骤2构建的神经网络结构模型参数，得到优化后的行人重识别的深度学习的Siamese神经网络结构模型。

【技术特征摘要】
1.一种基于深度学习联合优化的行人重识别方法，其特征在于：方法步骤如下：步骤1、采集筛选数量均衡的正负行人样本对，构建数据集；步骤2、构建深度学习的Siamese神经网络结构模型，包括两路前端卷积神经网络和多层级特征融合模块，将数据集中的正负行人样本输入模型，提取得到两路不同的行人的Hyper特征；步骤3、将步骤2得到的两路Hyper特征分别送入两个分类网络，将两路Hyper特征差值送入验证网络，联合分类网络和验证网络，联合分类损失函数和验证损失函数，优化步骤2构建的神经网络结构模型参数，得到优化后的行人重识别的深度学习的Siamese神经网络结构模型。2.根据权利要求1所述的基于深度学习联合优化的行人重识别方法，其特征在于：所述步骤2包括：步骤2.1、构建深度学习的Siamese神经网络结构模型，包括两路由5个卷积模块构成的前端卷积神经网络和多层级特征融合模块，将数据集中的正负行人样本分别输入模型的两路，得到具有层级的行人特征图，不同层级的特征图具有不同的隐含特征；步骤2.2、分别提取两路卷积模块1、卷积模块3、卷积模块5的特征图，采用局部响应归一化多个特征图，将之处理融合统一到一个空间内形成行人的Hyper特征，得到两路不同的行人的Hyper特征...

【专利技术属性】
技术研发人员：程建，王艳旗，苏炎洲，林莉，汪雯，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51