一种基于全局和局部特征学习的行人再识别方法技术

本发明专利技术公开了一种基于全局和局部特征学习的行人再识别方法，包括以下步骤：S1、获取训练数据集，将训练数据进行预处理以及数据增强；S2、构建深度卷积神经网络；步骤S3、利用训练数据训练所述网络；S4、获取测试数据集，且对其进行预处理，然后利用训练好的网络提取每个测试集图像的特征；S5、计算每个Query数据的特征与Gallery数据集里的特征的相似度得分；S6、对所有的相似度得分排序，得分最高的Gallery行人图像可以认为和与之对应的query行人是同一个行人，进而得到待识别图像的结果。本发明专利技术提出的网络，不仅简单，而且不需要额外的行人信息就能取得比其他经典方法更高的准确率。

A Pedestrian Recognition Method Based on Global and Local Feature Learning

【技术实现步骤摘要】
一种基于全局和局部特征学习的行人再识别方法
本专利技术涉及行人再识别
，具体涉及用一种基于全局和局部特征学习的行人再识别方法。
技术介绍
随着社会经济和科技的逐步发展，智能监控技术越来越受到人们的关注。学校，医院，火车站，机场等人流量较大的公共场所都安装了大量的摄像头，将这些海量的视频数据进行研究分析，这在公共安全，刑侦等领域具有重大意义。行人再识别技术是指在某一个摄像头已经出现过一个行人，当该行人在另一个摄像头在再次出现的时候，我们需要将他识别出来。行人再识别技术不同于人脸识别。人脸识别中使用到的人脸图像背景比较单一，人脸比较清晰，易于辨析。而行人再识别中的行人图像分辨率较低，人脸信息模糊，背景较为复杂，难以正确匹配；其次，不同摄像头之间的拍摄角度存在很大差异，行人在每次出现的姿态或者是体貌特征都有可能发生变化。基于这些特点，使得我们对图像的分析，行人特征的提取都非常困难。目前的行人再识别领域的技术大致分为两类:第一类是研究行人对象的特征表示方法，提取更具有鲁棒性的鉴别特征对行人进行表示；第二类使用距离度量学习方法，通过学习一个有判别力的距离度量函数，使得同一个人的图像距离小于不同行人图像间的距离。最近几年随着深度学习的发展，更多的方法关注在行人的特征表示这一方面，主流的技术有三种：第一类是全局特征，全局特征关注的是全局信息，比如行人的性别，身体形态，衣服颜色等。但是，全局特征往往容易丢失细节上的信息以及行人检测上的错误。第二类是局部特征，很多方法直接将整个行人图片分成几个固定的部分，然后将它们输入神经网络中训练，但是这种方式忽略了行人的姿态变化和遮挡对切分的图片的影响。第三类是结合全局特征和局部信息，这种方式直接融合全局和局部信息来作为行人最后的特征描述符，其缺点是往往会有更大的计算代价和额外的存储空间。由此看来，上述的三类方法，都不能充分挖掘行人的全局与局部特征。
技术实现思路
本专利技术的目的是提出一种基于全局和局部特征学习的行人再识别方法，以解决现有的深度学习方法无法充分挖掘行人的全局和局部特征的技术问题。本专利技术的目的至少通过如下技术方案实现。基于全局和局部特征学习的行人再识别方法，包括以下步骤：步骤S1、获取训练数据集，将训练数据进行预处理以及数据增强；步骤S2、构建深度卷积神经网络；步骤S3、利用处理好的训练数据训练所述深度卷积神经网络；步骤S4、获取测试数据集，且对其进行预处理，然后利用训练好的网络提取每个测试集图像的特征；步骤S5、计算每个查询集(Query)数据的特征与候选集(Gallery)数据集里的特征的相似度得分；步骤S6、对所有的相似度得分排序，得分最高的Gallery行人图像可以认为和与之对应的Query行人是同一个行人，进而得到待识别图像的结果。进一步的，所述测试数据集包括Query数据集和Gallery数据集。进一步的，所述步骤S1的预处理是把每个行人的RGB图像大小调整成256*144，并且对其均值归一化；数据增强方式包括随机裁剪即将图像尺寸大小裁剪为256*128和水平翻转等。进一步的，所述步骤S2深度卷积神经网络的构建包括以下步骤：步骤S21、截取Resnet50的最后一层卷积层(Conv5层)的之前的所有网络层(卷积层Conv5)并且使用在数据集ImageNet上预训练好的参数对其初始化；所述参数包括权重向量θ1,θ2,…,θm,…θn和偏置；步骤S22、在实际中，考虑到行人图像的垂直方向可以直觉地分为不同的部分，例如头部，胸部，腿部，还有脚等。在Conv5层后，对Conv5的输出X进行局部池化(LocalAveragePooling)，即是将该输出切分成k个部分(Part)，再分别对这k个部分池化，其池化的感受野是(H/k)*W，其中H，W和k分别是Conv5的输出的长和宽和切分的部分的数量，每个Part的每个元素表示为：这里，Xc,i,j表示卷积层Conv5输出的每个元素，i,j分别表示在长和宽方向上的索引，c表示第c维通道。Δ＝H/k。步骤S23、对切分得到的每个Part进行映射(Mapping)学习，映射之后的结果为：其中σ1和σ2分别是线性整流函数(ReLU)和Sigmoid函数。均为卷积核参数。步骤S24、考虑到行人图像中相近区域的信息相似，所以将由映射学习得到的每个Part先复制(Repeat)一次，然后在高度(H)维度拼接(Cat)起来；步骤S25、将拼接起来的张量(Tensor)和X逐点相乘，实现局部特征的选择，选择的结果表示为：其中，Xc，i，j表示卷积层Conv5输出的每个元素，Sc,i,j表示映射学习得到的结果，表示逐点相乘的运算。步骤S26、对步骤S25得到的结果进行全局特征的融合，即全局平均池化(GlobalAveragePooling)操作。进一步的，所述步骤S3的训练包括以下步骤：步骤S31、将训练数据按需要组织排列好，输入步骤S2所述网络。步骤S32、设置好所述深度卷积神经网络的损失函数：其中，λ1、λ2、λ3、λ4和u是对应损失函数的系数，分别设置为0.1、0.1、0.1、0.1和0.6，p1、p2、p3、p4和G分别表示分别对应所述k个部分中的各部分，G对应所述切分之前的整体；和分别表示对应部分的损失函数；步骤S33、通过所述损失函数和深度卷积神经网络的参数，得到前向传播损失值；所述参数包括权重向量θ1,θ2,…,θm,…θn。步骤S34、反向传播得到训练误差。进一步的，本方法对局部特征和全局特征都使用Softmax分类函数；对于Softmax损失函数，首先要计算出图像样本(x(z))属于每个类别的概率。假设所有样本共分为n类，对输入样本x(z)(z表示第z个样本)，其属于类别m的概率值为：其中，θ1,θ2,…,θm,…θn是深度卷积神经网络的参数，由Sm的公式得到Softmax损失函数：其中，y是一个1*n的向量，ym表示当该样本对应的位置是真实类别时为1。进一步的，所述步骤S4中的测试数据集其预处理方式是将图像大小调整为256*144，并且对其均值归一化。进一步的，所述步骤S5的相似度量使用欧氏距离，该欧氏距离公式为：其中xu和xv分别表示Query数据集中的第u个行人的特征和Gallery中的第v个行人的特征.本专利技术与现有技术相比，具有的有益效果：本专利技术针对现有的深度学习技术不能充分挖掘行人的全局和局部的特征的问题，提出了一种新的网络结构。该结构能够自动实现局部和全局信息的选择学习，并同时对局部特征和全局特征使用Softmax损失函数来进行约束，得到一个具有非常鲁棒的特征描述符，从而提高行人再识别匹配的正确率。附图说明图1是行人再识别的基本流程；图2为本专利技术基于行人的全局和局部特征选择的深度网络结构图。具体实施方式为了使本专利技术的技术方案和优势更加清晰，下面结合具体实施方式并参照附图来对本专利技术进一步详细说明。如图1所示的一种基于全局和局部特征学习的行人再识别方法，包括以下步骤：步骤S1、获取训练数据集，将训练数据进行预处理以及数据增强本专利技术使用的是三个公开的行人再识别数据库：Market-1501,DukeMTMC-reID和CUHK03。由于原始数据集里的图片大小不同，不能满足神经网络的输入需要，所以把每张R本文档来自技高网...

【技术保护点】
1.一种基于全局和局部特征学习的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1、获取训练数据集，将训练数据进行预处理以及数据增强；步骤S2、构建深度卷积神经网络；步骤S3、利用处理好的训练数据训练所述深度卷积神经网络；步骤S4、获取测试数据集，且对其进行预处理，然后利用训练好的深度卷积神经网络提取测试数据集中所有图像的特征；步骤S5、计算每个查询集(Query)数据的特征与候选集(Gallery)数据集里的特征的相似度得分；所述的特征是指步骤S4中的特征；步骤S6、对所有的相似度得分排序，得分最高的Gallery行人图像则认为和与之对应的Query行人是同一个行人，进而得到待识别图像的结果。

【技术特征摘要】
1.一种基于全局和局部特征学习的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1、获取训练数据集，将训练数据进行预处理以及数据增强；步骤S2、构建深度卷积神经网络；步骤S3、利用处理好的训练数据训练所述深度卷积神经网络；步骤S4、获取测试数据集，且对其进行预处理，然后利用训练好的深度卷积神经网络提取测试数据集中所有图像的特征；步骤S5、计算每个查询集(Query)数据的特征与候选集(Gallery)数据集里的特征的相似度得分；所述的特征是指步骤S4中的特征；步骤S6、对所有的相似度得分排序，得分最高的Gallery行人图像则认为和与之对应的Query行人是同一个行人，进而得到待识别图像的结果。2.根据权利要求1所述的行人再识别方法，其特征在于，所述测试数据集包括Query数据集和Gallery数据集。3.根据权利要求1所述的行人再识别方法，其特征在于，所述步骤S1的预处理是把每个行人的RGB图像大小调整成256*144，并且对其均值归一化；数据增强方式包括随机裁剪即将图像尺寸大小裁剪为256*128以及水平翻转方式。4.根据权利要求1所述的行人再识别方法，其特征在于，所述步骤S2深度卷积神经网络的构建包括以下步骤：步骤S21、截取Resnet50的最后一层卷积层Conv5的之前的所有网络层，包括卷积层Conv5，并且使用在ImageNet数据集上预训练好的参数对其初始化；所述参数包括权重向量θ1，θ2，...，θm，...θn；步骤S22、对Conv5的输出X进行局部池化(LocalAveragePooling)，即是将该输出切分成k个部分(Part)，再分别对这k个部分池化，其池化的感受野是(H/k)*W，其中H，W和k分别是Conv5的输出的长和宽和切分的部分的数量，每个Part的每个元素表示为：这里，Xc，i，j表示卷积层Conv5输出的每个元素，i，j分别表示在长和宽方向上的索引，c表示第c维通道，Δ＝H/k；步骤S23、对切分得到的每个Part进行映射(Mapping)学习，映射之后的结果为：其中，Vc，k表示映射学习得到的结果...

【专利技术属性】
技术研发人员：晋建秀，王鹏，邢晓芬，青春美，徐向民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44