一种基于判别感知融合的行人再识别方法技术

本发明专利技术实施例公开了一种基于判别感知融合的行人再识别方法，该方法包括：确定行人图像特征深度学习模型；获取M个数据源，基于其得到M个行人图像特征深度学习模型；获取每个训练行人图像样本的M个特征向量，提取每个特征向量相同维度的元素值形成新特征向量；将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重；结合行人图像特征深度学习模型和融合权重得到测试行人图像样本的最终特征表达；搜索目标图像得到行人识别结果。本发明专利技术充分利用卷积神经网络的优势，利用不同的训练样本从不同的角度学习图像特征，最终利用学习的融合权重将多个特征融合在一起表示行人图像，进一步提高了行人再识别的正确搜索率。

A Pedestrian Recognition Method Based on Discriminant Perception Fusion

The embodiment of the present invention discloses a pedestrian recognition method based on Discriminant perception fusion, which includes: determining a pedestrian image feature depth learning model; acquiring M data sources and obtaining M pedestrian image feature depth learning models based on them; acquiring M feature vectors of each training pedestrian image sample and extracting element values of the same dimension of each feature vector to form new features. Vector; input the new feature vectors formed by the same dimension of the training pedestrian image samples into the support vector machine to learn the fusion weight; combine the depth learning model of pedestrian image features with the fusion weight to get the final feature expression of the test pedestrian image samples; search the target image to get the results of pedestrian recognition. The method makes full use of the advantages of convolution neural network, uses different training samples to learn image features from different angles, and finally uses the fusion weight of learning to fuse multiple features to represent pedestrian images, thus further improving the correct search rate of pedestrian recognition.

【技术实现步骤摘要】
一种基于判别感知融合的行人再识别方法
本专利技术属于模式识别、人工智能领域，具体涉及一种基于判别感知融合的行人再识别方法。
技术介绍
为了给人们营造一个安全的生活环境，保障人们的生命、财产安全。近年来，学校、公园、医院、商场等一系列的公共场合都安装了监控摄像头，构成了大规模分布式的监控系统。这能够对犯罪嫌疑人进行跟踪与定位，在维护社会稳定中发挥了重要作用。然而，依靠人工监察效率低下，利用计算机快速、准确解决此问题已成为必然的趋势。因此，行人再识别(PersonRe-Identification)技术引起了研究者广泛的关注。然而，由于真实场景中行人姿势、摄像机拍摄角度、光照等因素都在不停的变化，因此行人再识别这项技术面临着巨大的挑战。由于深度学习算法可以提取判别性的特征，它在行人再识别领域引起了广泛的关注。Li等人首先将深度学习算法应用到行人再识别领域，使得行人再识别性能得到显著的提升。Cheng等人利用三元组损失函数减小行人类内变化，增加行人类间变化，进一步提高了行人再识别正确识别率。为了充分利用行人图像的标签信息，Zheng等人对行人图像实施了分类任务，在全连接层后提取行人特征，运用交叉熵损失函数对行人特征进行优化，进一步提高了行人再识别的性能。之后，为了在深度模型中学习判别性特征，一些研究者提出了特征融合策略。Sun等人将卷积激活图水平地划分为六部分来学习行人图像的局部特征，然后将局部特征串联起来表示行人。Zhang等人提出融合卷积神经网络(IntegrationConvolutionalNeuralNetwork，ICNN)，该网络能同时学习行人图像的整体特征和局部特征，然后将这两种特征按不同权重串联起来作为行人图像的最终表示。Wang等人设计多粒度网络(MultipleGranularityNetwork,MGN)融合行人图形的三种特征来提高行人再识别的性能。然而，以上特征融合方法通常只进行了简单的串联操作，或者为特征设置固定的权重。此外，他们主要研究训练单模型，没有考虑利用多模型来提高行人再识别的性能。
技术实现思路
本专利技术的目的是要解决深度模型没有被充分利用，并且多种特征没有充分的融合在一起的技术问题，为此，本专利技术提供一种基于判别感知融合的行人再识别方法。为了实现所述目的，本专利技术提出的一种基于判别感知融合的行人再识别方法包括以下步骤：步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型；步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；步骤S6，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达；步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果。可选地，所述步骤S1包括以下步骤：步骤S11，获取预训练的深度学习模型，并对其使用的模型结构进行参数初始化，得到初始深度模型结构；步骤S12，在所述初始深度模型结构后增加卷积层和全连接层；步骤S13，对于全连接层的输出进行类别预测，得到图像特征属于k类别的类别预测概率p(k)；步骤S14，基于所述类别预测概率，利用交叉熵损失函数对于所述图像特征进行学习优化，得到所述行人图像特征深度学习模型。可选地，所述预测概率p(k)表示为：其中，ak表示全连接层中输出的第k个神经元的激活值，aj表示全连接层中输出的第j个神经元的激活值，C为训练集中行人的总类别数目。可选地，所述交叉熵损失函数L表示为：其中，如果获取的图像特征属于k类，那么q(k)＝1，否则q(k)＝0，C为训练集中行人的总类别数目。可选地，所述步骤S3包括以下步骤：步骤S31，将M个数据源分别进行预处理；步骤S32，将预处理之后的数据源用相同的方法分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型。可选地，所述步骤S31中对数据源进行预处理包括：将行人图像的大小裁剪为预设大小，把所述行人图像所有的像素值按比例缩小至预设范围内，将所述行人图像中的每个像素值减去所述训练集中行人图像的像素平均值，再除以所述训练集中行人图像的像素方差。可选地，所述步骤S4包括以下步骤：步骤S41，基于训练好的M个行人图像特征深度学习模型，对于第p个训练行人图像样本可提取得到M个特征向量；步骤S42，基于获得的训练行人图像样本的M个特征向量，提取这M个特征向量相同维度处对应的元素值形成行人图像新的特征向量，最终每幅训练行人图像样本得到N个新特征向量。可选地，所述第n个支持向量机的决策函数可表示为：其中，wn＝[wn1,wn2,…,wnm,…,wnM]表示支持向量机的法向量，b代表偏置，φ()是一个能把特征向量映射到另一个空间的转换函数，表示第p个训练行人图像样本的M个特征向量的第n个维度组合形成的新特征向量。可选地，所述步骤S6包括以下步骤：步骤S61，将测试行人图像样本进行预处理后输入至训练好的M个行人图像特征深度学习模型中，得到M个特征向量；步骤S62，对第n个支持向量机的法向量中的元素进行归一化操作；步骤S63，重新组合N个法向量中的第m个元素获得第m个行人图像特征深度学习模型对应的融合权重；步骤S64，将M个特征向量中的每个特征向量乘以对应的融合权重并相加，得到所述测试行人图像样本的最终特征表达。可选地，第p个测试行人图像样本的最终特征表达Fp表示为：其中，Wm表示第m个融合权重，⊙表示向量中对应元素相乘，表示第p个测试行人图像样本M个特征向量中的第m个特征向量的值。本专利技术的有益效果为：本专利技术通过判别感知融合利用多个深度模型从不同的角度学习行人图像的特征，同时学习融合权重来选择具有判别性的特征，然后利用学习的融合权重将行人图像特征充分地融合在一起，来表示行人图像，提高了行人再识别搜索的正确率。需要说明的是，本专利技术得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津市高等教育创新团队基金项目的资助。附图说明图1是根据本专利技术一实施例的一种基于判别感知融合的行人再识别方法的流程图；图2是根据本专利技术一实施例的行人特征深度学习模型的结构框架示意图；图3是根据本专利技术一实施本文档来自技高网...

【技术保护点】
1.一种基于判别感知融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型；步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；步骤S6，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达；步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果。...

【技术特征摘要】
1.一种基于判别感知融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型；步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；步骤S6，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达；步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：步骤S11，获取预训练的深度学习模型，并对其使用的模型结构进行参数初始化，得到初始深度模型结构；步骤S12，在所述初始深度模型结构后增加卷积层和全连接层；步骤S13，对于全连接层的输出进行类别预测，得到图像特征属于k类别的类别预测概率p(k)；步骤S14，基于所述类别预测概率，利用交叉熵损失函数对于所述图像特征进行学习优化，得到所述行人图像特征深度学习模型。3.根据权利要求2所述的方法，其特征在于，所述预测概率p(k)表示为：其中，ak表示全连接层中输出的第k个神经元的激活值，aj表示全连接层中输出的第j个神经元的激活值，C为训练集中行人的总类别数目。4.根据权利要求2所述的方法，其特征在于，所述交叉熵损失函数L表示为：其中，如果获取的图像特征属于k类，那么q(k)＝1，否则q(k)＝0，C为训练集中行...

【专利技术属性】
技术研发人员：张重，司统振，刘爽，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12