基于Siamese网络的用于行人重识别的方法技术

本发明专利技术公开了一种基于Siamese网络的用于行人重识别的方法。方法为：首先使用两个完全相同的ResNet‑50卷积神经网络构成一个Siamese网络，包括预训练ResNet‑50网络、调整ResNet‑50网络、搭建形成一个Siamese网络、完善Siamese网络；然后预处理训练数据集，并用该训练数据集训练Siamese网络，最后将待查图像与训练数据集中的图像匹配成图像对，进行行人重识别，将两张图像的分类结果和两图像是否一致作为判别条件，判断训练数据集中哪些图像和待查图像属于同一个行人。本发明专利技术提高了图像深度特征的区分程度和行人进行重识别的准确率，减少了在大规模图像集中查询图像的查询时间。 1

Method of pedestrian recognition based on Siamese network

The invention discloses a method for pedestrian recognition based on Siamese network. The method is: first, we use two identical ResNet 50 convolution neural networks to form a Siamese network, including pre training ResNet 50 network, adjusting ResNet network, forming a Siamese network and improving Siamese network; then preprocessing the training data set, and training the Siamese network with this training data set. Finally, the images are matched to the image pairs in the training data set, and the pedestrian weight recognition is carried out. The classification results of the two images and the two images are used as discriminant conditions to judge which images in the training data set and the unchecked images belong to the same pedestrian. The invention improves the distinction degree of the image depth feature and the accuracy rate of the pedestrians to carry on the heavy recognition, and reduces the query time in the large-scale image centralized query image. One

【技术实现步骤摘要】
基于Siamese网络的用于行人重识别的方法
本专利技术涉及计算机视觉
，特别是一种基于Siamese网络的用于行人重识别的方法。
技术介绍
近年来，随着视频监控系统大量普及，视频监控系统在打击犯罪、维护稳定实践中正发挥着越来越重要的作用，视频侦查已成为公安机关侦查办案的新手段。在视频侦查应用中，针对特定嫌疑目标(尤其是人)的检索是重要需求。目前这一过程主要通过人工完成，耗费大量的人力物力以及时间，影响侦查办案效率。特定目标监控视频检索的核心关键问题——行人重识别，是指判断不同监控摄像头下出现的行人图像是否属于同一行人。随着技术发展和应用需求的增加，这一问题正逐渐发展为学术研究和行业应用的热点。为了在多摄像头画面下准确匹配同一行人，相关学者分别在时空线索、生物特征和外貌视觉特征的基础上开展行人重识别研究。虽然特定应用条件下人脸识别技术等于行人身份识别，然而在实际视频监控环境下，存在监控视频画面的分辨率较差、行人对象尺度较小以及行人对象姿态的随意性等因素，导致人脸、步态等生物特征难以提取。相对于时空线索和生物特征，行人的外貌视觉特征容易提取，并且具有一定的个体辨识力，而且在一定的时空范围内，行人对象往往不会换装。因此，现有研究大多采用行人图像的外貌特征。在现有基于外貌的行人重识别研究中，研究者围绕特征提取及相似性度量发展了许多方法。特征提取的重点在于设计鲁棒可靠的行人图像特征表示模型，即能够区分不同行人，同时能够不受光照和视角变化的影响；相似性度量的重点在于学习符合行人图像特征分布特性的距离函数，从而使同一行人图像特征距离较小，不同行人图像特征距离较大。然而，这些方法应用到实际监控业务中仍存在不足，由于行人重识别问题中的图片来源于不同的摄像头，摄像头所处的角度、光照等环境的影响，使同一个行人的不同图片中，外貌特征会有一定程度的变化，而不同行人的外貌特征可能比同一个人的外貌特征更相似。为了尽量减少不可控监控环境因素的干扰，现有的行人重识别技术不得不在每个监控点的识别结果中都提供一组图像供人选择，再通过交互的相关反馈方法提炼识别结果。这种处理方式不仅增加了人工研判的工作量、降低了视频分析的自动化程度，而且，由于视角和光照差异，行人的外貌特征会发生很大的变化，可能导致提供的排序靠前的结果可信度却更低。
技术实现思路
本专利技术的目的在于提供一种基于Siamese网络的用于行人重识别的方法，通过结合卷积神经网络去获取图像特征并得出图像间的相似度，以提高识别的准确率。实现本专利技术目的的技术解决方案为：一种基于Siamese网络的用于行人重识别的方法，包括以下步骤：步骤1，预训练ResNet-50网络：将ImageNet数据集作为训练数据集，训练一个ResNet-50网络，使ResNet-50网络具有初始值；步骤2，调整ResNet-50网络：将ResNet-50网络的softmax输出层替换为一个大小为1*1*4096*n的卷积层，在该卷积层后再加上一个softmax层进行归一化操作；步骤3，搭建形成一个Siamese网络：将步骤2所得的ResNet-50网络进行复制，然后将两个ResNet-50网络做并行连接，形成一个Siamese网络；步骤4，完善Siamese网络：将步骤2中的两个1*1*4096*n卷积层数据输入到一个平方层中，平方层后依次加入一个1*1*4096*2的卷积层和一个softmax层，组成一个完整的Siamese网络；步骤5，预处理训练数据集：将训练数据集中的所有图像进行随机剪裁，得到一组尺寸为224*224的训练数据集，将剪裁后得到的训练数据集顺序打乱，从中抽取相同和不同类别的图像，组成新的训练数据集；步骤6，训练Siamese网络：使用步骤5中所得的训练数据集，训练步骤4中的Siamese网络，利用随机梯度下降法求解损失函数，对网络中的参数进行升级优化；步骤7，将待查图像与训练数据集中的图像匹配成图像对：使用训练好的模型进行行人识别，将一幅待查图像作为Siamese网络的一个输入，将训练数据集中的图像作为Siamese网络的另一个输入，与待查图像匹配成图像对，并得到Siamese网络对两图像的判别和分类结果；步骤8：进行行人重识别：将两张图像的分类结果和两图像是否一致作为判别条件，判断训练数据集中哪些图像和待查图像属于同一个行人。进一步地，步骤1所述的预训练ResNet-50网络，采用dropout或BatchNormalization方法对图像进行优化，使ResNet-50网络具备图像特征提取的能力。进一步地，步骤2所述的调整ResNet-50网络，具体为：将ResNet-50网络的softmax输出层替换为一个大小为1*1*4096*n的卷积层，其中n为训练数据集中图像所属标签总数，经过了这个卷积层后，得到一个1*1*n大小的张量，然后将这个张量输入一个softmax层中进行归一化处理。进一步地，步骤4所述的完善Siamese网络，具体如下：步骤2中卷积层的输入即ResNet-50网络的输出，是一个大小为1*1*4096的张量，这个张量表示ResNet-50网络对输入图像提取的特征；将两个ResNet-50网络提取的图像特征通过平方层做相减平方处理，得到两图像的相似度，再通过一个1*1*4096*2的卷基层和一个softmax层，然后将结果归一化处理。进一步地，步骤6所述的训练Siamese网络，具体如下：将步骤5中生成的新训练集输入到Siamese网络中进行训练，损失函数分为三个部分：两个ResNet-50网络的交叉熵和经过平方层输出的交叉熵，交叉熵表达式如下：其中，K为输入图像的个数，i为输入图像的编号，p为这幅图像所属的真实标签，为通过卷积神经网络分类的概率结果；然后使用随机梯度法对三个损失函数的和求最优解，从而对相应参数优化升级。进一步地，步骤8所述的进行行人重识别，具体如下：步骤4中所构建的Siamese网络具备两个功能：对输入图像分类，度量两个输入图像的相似度；如果两图像的分类结果同属一类并且两图像的判别结果为1，那么训练数据集中的图像和待查询图像是同一个行人；如果两图像的分类结果同属一类或者两图像的判别结果为0，则不是同一个行人。本专利技术与现有技术相比，其显著优点为：(1)提高了图像深度特征的区分程度和行人进行重识别的准确率；(2)减少了在大规模图像集中查询图像的查询时间。附图说明图1为本专利技术基于Siamese网络的用于行人重识别的方法的流程示意图。图2为本专利技术基于Siamese网络的用于行人重识别的方法的系统结构示意图。具体实施方式本专利技术利用经过预训练的ResNet-50网络对图像进行特征提取，为了度量图像间的相似程度，使用了两个相同的ResNet-50网络构成一个Siamese网络，然后使用训练数据集对这个Siamese网络进行训练，这个Siamese网络可以对输入图像进行标签分类，还可以完成两图像间相似程度的度量。结合图1～2，本专利技术基于Siamese网络的用于行人重识别的方法，包括以下步骤：步骤1：预训练ResNet-50网络：将ImageNet数据集作为训练数据集，训练一个ResNet-50网络，使ResNet-50网络具有理想的初始值；理想的初始值是指具本文档来自技高网...

【技术保护点】
1.一种基于Siamese网络的用于行人重识别的方法，其特征在于，包括以下步骤：

【技术特征摘要】
1.一种基于Siamese网络的用于行人重识别的方法，其特征在于，包括以下步骤：步骤1，预训练ResNet-50网络：将ImageNet数据集作为训练数据集，训练一个ResNet-50网络，使ResNet-50网络具有初始值；步骤2，调整ResNet-50网络：将ResNet-50网络的softmax输出层替换为一个大小为1*1*4096*n的卷积层，在该卷积层后再加上一个softmax层进行归一化操作；步骤3，搭建形成一个Siamese网络：将步骤2所得的ResNet-50网络进行复制，然后将两个ResNet-50网络做并行连接，形成一个Siamese网络；步骤4，完善Siamese网络：将步骤2中的两个1*1*4096*n卷积层数据输入到一个平方层中，平方层后依次加入一个1*1*4096*2的卷积层和一个softmax层，组成一个完整的Siamese网络；步骤5，预处理训练数据集：将训练数据集中的所有图像进行随机剪裁，得到一组尺寸为224*224的训练数据集，将剪裁后得到的训练数据集顺序打乱，从中抽取相同和不同类别的图像，组成新的训练数据集；步骤6，训练Siamese网络：使用步骤5中所得的训练数据集，训练步骤4中的Siamese网络，利用随机梯度下降法求解损失函数，对网络中的参数进行升级优化；步骤7，将待查图像与训练数据集中的图像匹配成图像对：使用训练好的模型进行行人识别，将一幅待查图像作为Siamese网络的一个输入，将训练数据集中的图像作为Siamese网络的另一个输入，与待查图像匹配成图像对，并得到Siamese网络对两图像的判别和分类结果；步骤8：进行行人重识别：将两张图像的分类结果和两图像是否一致作为判别条件，判断训练数据集中哪些图像和待查图像属于同一个行人。2.根据权利要求1所述的基于Siamese网络的用于行人重识别的方法，其特征在于，步骤1所述的预训练ResNet-50网络，采用dropout或BatchNormalization方法对图像进行优化，使R...

【专利技术属性】
技术研发人员：伏长虹，高梽强，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32