基于广义相似性度量学习的行人再识别方法技术

本发明专利技术提供了一种基于广义相似性度量学习的行人再识别方法，首先将训练样本的特征表达向量使用主成份分析降维，再进一步将降维后的特征表达向量投影到类内子空间，进而在类内子空间中学习由内积相似性度量矩阵与马氏距离度量矩阵所共同定义的广义相似度函数，最后在测试样本上进行行人再识别。本发明专利技术充分利用了训练样本间的距离信息与角度信息，获得的两种度量矩阵具有互补性。经过在VIPeR数据集上的验证可知，联合学习内积相似性度量与马氏距离度量能够有效地提升行人再识别的性能。

A new method of pedestrian recognition based on generalized similarity measure learning

The present invention provides a method for pedestrian recognition based on generalized similarity metric learning, the features of training samples of expression vector used principal component analysis to reduce the dimension, further will feature after dimension reduction is projected to the sub space expression, then learning metric generalized similarity function matrix and Mahalanobis distance metric matrix together defined by the inner product similarity in sub space, pedestrian finally on a test sample recognition. The invention makes full use of distance information and angle information between training samples, and the two metric matrices obtained are complementary. The verification on the VIPeR data set shows that the joint learning inner product similarity measure and the Mahalanobis distance measure can effectively improve the performance of the pedestrian re recognition.

【技术实现步骤摘要】
基于广义相似性度量学习的行人再识别方法
本专利技术涉及图像处理
，具体地，涉及一种基于广义相似性度量学习的行人再识别方法。
技术介绍
在由多摄像机组成的分布式视频监控系统中常常需要对某一行人实现跨摄像机的连续跟踪，或者是从不同摄像机拍摄的画面中检索出具有特定外观的行人。这项根据衣着外观信息对不同监控机下拍摄到的行人建立身份关联的任务被称为行人再识别，它是实现多摄像机跟踪与行人检索等应用的核心技术。但是受到摄像机内部参数不同、光照变化、拍摄视角变化、行人姿态与成像遮挡等因素，在不同摄像机画面中同一行人的外观会存在巨大的差异，另外在同一摄像机下还会存在不同行人衣着相似的情况，使得根据衣着外观进行身份验证的行人再识别工作相当困难。现有的行人再识别技术大致上可以分为两类：基于特征表达的行人再识别技术与基于匹配模型的行人再识别技术。基于特征表达的方法主要关注从行人图像中获取一些具有判别性的特征描述子，再使用一些无需学习的方法来计算不同摄像机下行人画面间的距离或相似度。但由于特征描述子存在语意模糊性，而且很难找到对有效对抗所有变化的特征，因此基于特征表达的行人再识别技术在匹配性能上相对较弱。与基于特征表达的行人再识别技术相比，基于匹配模型的行人再识别技术更关注于从已标注了身份的行人图像数据中学习匹配模型的参数，并将其应用到新的测试数据中。由于利用了训练数据标签所提供的判别信息，学习匹配模型往往能够取得更为优秀的行人再识别准确率。在已公开的论文及专利中已有大量的关于基于学习匹配模型的行人再识别方法。如文献[1]所述的用于K近邻(KNearestNeighbor,KNN)分类器的大间隔度量学习模型，该模型从训练数据中通过学习一个马氏距离度量矩阵，将具有不同标签的样本距离增大，同时将具有相同标签的样本距离减小。文献[2]中提出一种具有闭合形式解的马氏距离度量学习方法，该方法简单高效无需迭代求解。文献[3]通过最大化不匹配图片对间距离要大于匹配图片对距离的概率，提出了一种基于相对距离比较的度量模型。文献[1]～[3]中的方法仅从训练数据中学习了单个距离度量，样本间的角度信息被忽略掉了，然而样本在高维空间中的角度信息实际上也具有很强的判别性。文献[4]中将行人再识别转化为从不平衡数据中学习SVM分类器与耦合词典的任务，使用学习到的SVM与判别式词典进行行人再识别，但使用SVM模型仅能捕捉到不同行人图像特征表达向量间的一阶关系。文献[5]中采用了深度学习模型来完成行人再识别任务，但是深度模型训练时耗时很长。文献[1]WeinbergerKQ,SaulLK.Distancemetriclearningforlargemarginnearestneighborclassification[J].TheJournalofMachineLearningResearch,2009,10:207–244。文献[2]KoestingerM,HirzerM,WohlhartP,etal.Largescalemetriclearningfromequivalenceconstraints[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.2012:2288–2295。文献[3]ZhengWS,GongS,XiangT.Re-identificationbyrelativedistancecomparison[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2013,35(3):653–668。文献[4]ZhangY,LiB,LuH,etal.Sample-SpecificSVMLearningforPersonRe-identification[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2016:1278-1287。文献[5]ChengD,GongY,ZhouS,etal.PersonRe-identificationbyMulti-ChannelParts-BasedCNNwithImprovedTripletLossFunction[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2016:1335-1344。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于广义相似性度量学习的行人再识别方法。根据本专利技术提供的基于广义相似性度量学习的行人再识别方法，包括获取原始监控视频中所有单个行人的图像；将所述单个行人图像缩放至预设的统一尺寸，得到缩放后的行人图像；提取每一个缩放后行人图像的特征表达向量；将所述特征表达向量及所述特征表达向量对应的行人身份标签，划分为互不相交的训练集与测试集；将所述训练集中所有特征表达向量作主成分分析(PrincipalComponentsAnalysis,PCA)降维处理后，再进一步投影到类内子空间；利用所述训练集中不同摄像机下的行人图像投影到类内子空间的特征表达向量，及所述特征表达向量对应的行人身份标签，通过优化损失函数联合学习获得内积相似性度量矩阵、马氏距离度量矩阵；利用内积相似性度量矩阵与马氏距离度量矩阵对测试集中的行人进行再识别。可选地，所述提取每一个缩放后的行人图像的特征表达向量，包括：步骤A1：将缩放后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口的方法从每个密集图像块中提取特征表达向量，所述特征表达向量包括：(Hue,Saturation,Value，HSV)联合直方图、(RedGreenBlue,RGB)联合直方图、尺度不变(LocalTernaryPattern，LTP)直方图；步骤A2：对相同高度位置上的一行内所有窗口中提取的所述特征向量作最大池化处理，得到缩放后的行人图像对应尺度空间的特征表达向量，记为第一尺度空间特征表达向量；步骤A3：对缩放后的行人图像作平均池化降采样处理，得到降采样后的行人图像；步骤A4：将降采样后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口从每个图像块中提取特征表达向量，所述特征表达向量包括：HSV联合直方图、RGB联合直方图、尺度不变LTP直方图；并对相同高度位置上的一行内所有窗口中提取的特征表达向量作最大池化处理，得到降采样后的尺度空间内行人图像的特征表达向量，记为第二尺度空间特征表达向量；步骤A5：检测缩放后的行人图像中的行人前景，将前景行人划分为8个等高水平条，在去除最顶端与最底端水平条各1/2高度后，再划分为7个等高水平条，从每个切分出的水平条中提取特征表达向量，记为第三尺度空间特征表达向量，所述第三尺度空间特征表达向量包括：HSV联合直方图、RGB联合直方图、颜色名称直方图与尺度不变LTP直方图；步骤A6：将步骤A2、步骤A4、步骤A5中得到的所有第一尺度空间特征表达向量、第二尺度空间特征表达向量、第三尺度空间特征表达向量进行拼接处理，获得每幅行人图像的最终d维特征表达向量，d为拼接的特征向量的维度。可选地，所述将本文档来自技高网...

【技术保护点】
一种基于广义相似性度量学习的行人再识别方法，特征在于，包括获取原始监控视频中所有单个行人的图像；将所述单个行人图像缩放至预设的统一尺寸，得到缩放后的行人图像；提取每一个缩放后行人图像的特征表达向量；将所述特征表达向量及所述特征表达向量对应的行人身份标签，划分为互不相交的训练集与测试集；将所述训练集中所有特征表达向量作主成分分析PCA降维处理后，再进一步投影到类内子空间；利用所述训练集中不同摄像机下的行人图像投影到类内子空间的特征表达向量，及所述特征表达向量对应的行人身份标签，通过优化损失函数联合学习获得内积相似性度量矩阵、马氏距离度量矩阵；利用内积相似性度量矩阵与马氏距离度量矩阵对测试集中的行人进行再识别。

【技术特征摘要】
1.一种基于广义相似性度量学习的行人再识别方法，特征在于，包括获取原始监控视频中所有单个行人的图像；将所述单个行人图像缩放至预设的统一尺寸，得到缩放后的行人图像；提取每一个缩放后行人图像的特征表达向量；将所述特征表达向量及所述特征表达向量对应的行人身份标签，划分为互不相交的训练集与测试集；将所述训练集中所有特征表达向量作主成分分析PCA降维处理后，再进一步投影到类内子空间；利用所述训练集中不同摄像机下的行人图像投影到类内子空间的特征表达向量，及所述特征表达向量对应的行人身份标签，通过优化损失函数联合学习获得内积相似性度量矩阵、马氏距离度量矩阵；利用内积相似性度量矩阵与马氏距离度量矩阵对测试集中的行人进行再识别。2.根据权利要求1所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述提取每一个缩放后的行人图像的特征表达向量，包括：步骤A1：将缩放后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口的方法从每个图像块中提取特征表达向量，所述特征表达向量包括：HSV联合直方图、RGB联合直方图、尺度不变LTP直方图；步骤A2：对相同高度位置上的一行内所有滑动窗口中提取的所述特征向量作最大池化处理，得到缩放后的行人图像对应尺度空间的特征表达向量，记为第一尺度空间特征表达向量；步骤A3：对缩放后的行人图像作平均池化降采样处理，得到降采样后的行人图像；步骤A4：将降采样后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口从每个图像块中提取特征表达向量，所述特征表达向量包括：HSV联合直方图、RGB联合直方图、尺度不变LTP直方图；并对相同高度位置上的一行内所有窗口中提取的特征表达向量作最大池化处理，得到降采样后的尺度空间内行人图像的特征表达向量，记为第二尺度空间特征表达向量；步骤A5：检测缩放后的行人图像中的行人前景，将前景行人划分为8个等高水平条，在去除最顶端与最底端水平条各1/2高度后，再划分为7个等高水平条，从每个切分出的水平条中提取特征表达向量，记为第三尺度空间特征表达向量，所述第三尺度空间特征表达向量包括：HSV联合直方图、RGB联合直方图、颜色名称直方图与尺度不变LTP直方图；步骤A6：将步骤A2、步骤A4、步骤A5中得到的所有第一尺度空间特征表达向量、第二尺度空间特征表达向量、第三尺度空间特征表达向量进行拼接处理，获得每幅行人图像的最终d维特征表达向量，d为拼接的特征向量的维度。3.根据权利要求1所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述将所述训练集中所有特征表达向量作PCA降维处理，包括：假设训练集中的行人图像属于两个视野域不相交的摄像机A和摄像机B；将训练集中摄像机A拍摄的所有行人图像提取的特征表达向量所组成的矩阵记为其中每一列为一张行人图像的d维特征表达向量，n为特征表达向量的个数，也表示摄像机A下的行人图像数；将训练集中摄像机B拍摄的所有行人图像提取的特征表达向量所组成的矩阵记为其中m为特征表达向量的个数，也表示摄像机B下的行人图像数；令T为摄像机A和摄像机B下所有图像的特征表达向量拼合后的矩阵；计算均值向量tk为T矩阵中第k个列向量；再对T中所有列向量作去均值处理，即其中为对n+m维元素全为1的列向量作转置运算；计算矩阵中的所有列向量的协方差矩阵对D作特征值分解运算，将所有特征值按照从大到小的顺序排列，取前d′个特征值所对应的特征向量拼成矩阵，记为使用Wpca将T中的特征表达向量作PCA降维至d′维子空间，即其中U为由n+m列的μ所拼成的矩阵，T的前n列即为PCA降维后的矩阵，记为后m列即为PCA降维后的矩阵，记为4.根据权利要求3所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述投影到类内子空间，包括：步骤B1：计算训练集内不同摄像机下具有相同身份标签的特征表达向量之差的协方差矩阵，式中yi与yj分别为x′i与z′j所代表的行人身份标签，即指代具有相同身份标签的不同摄像机下行人图像对，x′i与z′j分别为X′与Z′的第i、j列；步骤B2：对作特征值分解其中为一对角矩阵，该对角矩阵主对角线上各元素为按降序排列的的特征值，由于为半正定矩阵，所以中各元素均非负，对取次幂后按下式将X′与Z′投影到类内子空间，受的影响，X′与Z′中各列向量具有较大方差的维度将会得到抑制，以降低具有相同身份标签样本间的距离，并增大不同身份标签的行人间距离；步骤B3：使用获得的投影到类内子空间的训练样本矩阵与定义由内积相似性度量矩阵W与马氏距离度量矩阵M所共同参数化的广义相似性度函数：

【专利技术属性】
技术研发人员：董虎胜，陆萍，
申请(专利权)人：苏州经贸职业技术学院，
类型：发明
国别省市：江苏,32