一种结合直接度量和间接度量的行人再识别方法技术

本发明专利技术公开了一种结合直接度量和间接度量的行人再识别方法，其先确定第一待识别图像库和第一目标图像库，并提取第一、第二待识别图像库以及第一、第二目标图像库中的所有行人图像的特征向量；然后基于第一待识别图像库和第一目标图像库训练得到直接相似性得分和间接相似性得分的加权融合模型，作为最终相似性得分模型；接着使用第二待识别图像库与第二目标图像库测试训练好的最终相似性得分模型，依据第二待识别图像库中的每幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分识别第二待识别图像库中的每幅行人图像；优点是充分利用了两幅图像自身的判别信息，及与两幅图像相关的其它图像的判别信息，从而大幅提高了行人识别精度。

【技术实现步骤摘要】
一种结合直接度量和间接度量的行人再识别方法
本专利技术涉及一种图像识别技术，尤其是涉及一种结合直接度量和间接度量的行人再识别方法。
技术介绍
行人再识别是计算机视觉中的核心技术，现如今很多计算机视觉中的高层应用都依赖于准确的行人识别结果，如目标跟踪、智能视频监控等。然而，由于图像存在光照变化、视角变化、遮挡等问题，因此行人再识别一直是计算机视觉中最具有挑战性的任务之一。作为多种视觉应用的基础和富有挑战性的任务，行人再识别技术在计算机视觉领域一直广受关注，如何更好地对行人进行再识别，国内外相关机构进行了深入地研究。度量学习的主要任务是学习一个线性或非线性的映射，将行人高维表观特征映射到目标空间进行度量，使得同一行人的距离更小，不同行人的距离更大。KOSTINGERM,HIRZERM，WOHLHARTP,etal.Largescalemetriclearningfromequivalenceconstraints[C]//ComputerVisionandPatternRecognition(CVPR),2012:2288-2295.(马丁-克斯汀格，马丁-海瑞泽尔，保罗-沃海哈瑞特，等价约束中的大尺度度量学习[C].计算机视觉与模式识别大会，2012，2288-2295)，其提出了保持最简单、最直接度量学习算法，其将两个高斯分布的对数似然比检验作为度量学习算法。ChenD,YuanZ,HuaG,etal.Similaritylearningonanexplicitpolynomialkernelfeaturemapforpersonre-identification[C]//ConferenceonComputerVisionandPatternRecognition,2015:1565-1573(陈大鹏，袁泽建，华刚，基于多项式核特征映射的相似性学习的行人再识别[C].计算机视觉与模式识别大会，2015，1565-1573)，其将内核特征图作为相似性度量学习算法，能够匹配行人图像中某个块与另一行人图像中所有块，也能度量相同位置块的相似性。Carr,Peter.Personre-identificationusingdeformablepatchmetriclearning[C]//IEEEWinterConferenceonApplicationsofComputerVision,2016:1278-1287.(卡尔，彼得，基于弹性块度量学习的行人再识别[C].IEEE,计算机视觉的应用研讨会,2016,1278-1287)，其提出弹性模型，在对探测图像与目标图像中的块进行匹配时，允许错位匹配，且块错位的范围可以调节，有效地解决了不同摄像机下行人图像的视角和姿态的变化问题。ZhangY,LiB,LuH,etal.Sample-specificsvmlearningforpersonre-identification[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2016:1278-1287(张影，李宝华，卢湖川，基于明确样本的SVM训练的行人再识别[C].计算机视觉与模式识别，2016，1278-1287)，其考虑到已有度量学习都是计算探测图像与目标图像的相似性，而忽略了探测图像与目标图像自身的差异性，因此提出将图像自身的差异性也作为度量学习的一部分，学习得到的度量对于每幅图像都有较高的适应性。上述的度量学习算法，直接利用了探测图像与目标图像自身包含的判别信息来计算探测图像与目标图像之间的相似性，而忽略了与探测图像和目标图像相关的其它图像的判别信息对于计算两者之间相似性的重要性。LiW,ZhaoR,WangX.Humanreidentificationwithtransferredmetriclearning[C]//AsianConferenceonComputerVision.SpringerBerlinHeidelberg,2012:31-44(李伟，赵瑞，王小刚，基于转移度量学习的行人再识别[C].计算机视觉亚洲会议，2012,31-44)，其在转移框架下，利用目标图像的k近邻(k-NearestNeighbor，KNN)及其groundtruth下对应的探测图像来训练度量，减少了因摄像头变化导致的识别错误。ZhongZ,ZhengL,CaoD,etal.Re-rankingPersonRe-identificationwithk-reciprocalEncoding[J].ConferenceonComputerVisionandPatternRecognition,2017(钟准，郑亮，曹东林，使用k相互编码的行人再识别重排序[C].计算机视觉与模式识别，2017)，其将探测图像和目标图像各自的k相互近邻的重合数作为两者的相似性，充分利用近邻图像的判别信息来度量探测图像和目标图像的相似性。间接度量方式能够很好地利用与探测图像和目标图像相关的其它图像的识别信息来度量两者之间的相似性，但是却忽略了图像自身的识别信息，从而降低了识别效果。基于以上原因，有必要研究一种结合直接度量和间接度量的行人再识别技术，要求该技术能够充分利用两幅图像所有的信息进行判别，不仅要充分利用两幅图像自身的判别信息，同时还要充分利用与两幅图像相关的其它图像的判别信息进行识别，以提高识别率。
技术实现思路
本专利技术所要解决的技术问题是提供一种结合直接度量和间接度量的行人再识别方法，其不仅充分利用了两幅图像自身的判别信息，而且还充分利用了与两幅图像相关的其它图像的判别信息，从而大幅提高了行人识别精度。本专利技术解决上述技术问题所采用的技术方案为：一种结合直接度量和间接度量的行人再识别方法，其特征在于包括以下步骤：①选取一个包含训练集和测试集的行人图像库，训练集包含有针对多个不同行人的行人图像，测试集也包含有针对多个不同行人的行人图像；其中，行人图像的尺寸大小为M×N像素；设定训练集中包含的行人图像的总幅数为num；然后根据训练集中的num幅行人图像，将训练集分为第一待识别图像库和第一目标图像库，具体过程为：在训练集中，针对每个行人对应的多幅行人图像，从中任意挑选，以两幅行人图像作为一组组对，若每对行人图像来自不同摄像头，则将该对行人图像中的一幅行人图像归入第一待识别图像库、另一幅行人图像归入第一目标图像库；若该对行人图像来自同一摄像头，则丢弃该对行人图像；再设定第一待识别图像库中包含的行人图像的总幅数为total1，设定第一目标图像库中包含的行人图像的总幅数也为total1；其中，num和total1均为正整数，total1≥100，num≥2total1；设定测试集中的第二待识别图像库中包含的行人图像的总幅数为total2，设定测试集中的第二目标图像库中包含的行人图像的总幅数为total2'；其中，total2和total2'均为正整数，total2≥1，total2'≥10；提取第一待识别图像库和第一目标图像库及第二待识别图像库和第二目标图像库各自中的每幅行人图像的特征向量；其中，特征向量的维数为符号为向下取整符号；②采用结本文档来自技高网...

【技术保护点】
一种结合直接度量和间接度量的行人再识别方法，其特征在于包括以下步骤：①选取一个包含训练集和测试集的行人图像库，训练集包含有针对多个不同行人的行人图像，测试集也包含有针对多个不同行人的行人图像；其中，行人图像的尺寸大小为M×N像素；设定训练集中包含的行人图像的总幅数为num；然后根据训练集中的num幅行人图像，将训练集分为第一待识别图像库和第一目标图像库，具体过程为：在训练集中，针对每个行人对应的多幅行人图像，从中任意挑选，以两幅行人图像作为一组组对，若每对行人图像来自不同摄像头，则将该对行人图像中的一幅行人图像归入第一待识别图像库、另一幅行人图像归入第一目标图像库；若该对行人图像来自同一摄像头，则丢弃该对行人图像；再设定第一待识别图像库中包含的行人图像的总幅数为total1，设定第一目标图像库中包含的行人图像的总幅数也为total1；其中，num和total1均为正整数，total1≥100，num≥2total1；设定测试集中的第二待识别图像库中包含的行人图像的总幅数为total2，设定测试集中的第二目标图像库中包含的行人图像的总幅数为total2'；其中，total2和total2'均为正整数，total2≥1，total2'≥10；提取第一待识别图像库和第一目标图像库及第二待识别图像库和第二目标图像库各自中的每幅行人图像的特征向量；其中，特征向量的维数为...

【技术特征摘要】
1.一种结合直接度量和间接度量的行人再识别方法，其特征在于包括以下步骤：①选取一个包含训练集和测试集的行人图像库，训练集包含有针对多个不同行人的行人图像，测试集也包含有针对多个不同行人的行人图像；其中，行人图像的尺寸大小为M×N像素；设定训练集中包含的行人图像的总幅数为num；然后根据训练集中的num幅行人图像，将训练集分为第一待识别图像库和第一目标图像库，具体过程为：在训练集中，针对每个行人对应的多幅行人图像，从中任意挑选，以两幅行人图像作为一组组对，若每对行人图像来自不同摄像头，则将该对行人图像中的一幅行人图像归入第一待识别图像库、另一幅行人图像归入第一目标图像库；若该对行人图像来自同一摄像头，则丢弃该对行人图像；再设定第一待识别图像库中包含的行人图像的总幅数为total1，设定第一目标图像库中包含的行人图像的总幅数也为total1；其中，num和total1均为正整数，total1≥100，num≥2total1；设定测试集中的第二待识别图像库中包含的行人图像的总幅数为total2，设定测试集中的第二目标图像库中包含的行人图像的总幅数为total2'；其中，total2和total2'均为正整数，total2≥1，total2'≥10；提取第一待识别图像库和第一目标图像库及第二待识别图像库和第二目标图像库各自中的每幅行人图像的特征向量；其中，特征向量的维数为符号为向下取整符号；②采用结构为的BP神经网络将第一目标图像库中的所有行人图像各自的特征向量和第一待识别图像库中的所有行人图像各自的特征向量映射到嵌入空间中；然后采用内积法求解第一待识别图像库中的每幅行人图像在嵌入空间中的嵌入特征向量与第一目标图像库中的各幅行人图像在嵌入空间中的嵌入特征向量之间的相似性得分，并作为第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的直接相似性得分记为Gdirect(Su,Tv)，Gdirect(Su,Tv)＝<f(Su),f(Tv)>＝(f(Su))Tf(Tv)；其中，x表示第一目标图像库中的行人图像的特征向量或第一待识别图像库中的行人图像的特征向量，f(x)表示x映射到嵌入空间中后得到的嵌入特征向量，也即为第一目标图像库中的行人图像在嵌入空间中的嵌入特征向量或第一待识别图像库中的行人图像在嵌入空间中的嵌入特征向量，tanh()为BP神经网络的激活函数，WT为W的转置，W表示维数为d1×d2的映射矩阵，d1表示x的维数，d2表示f(x)的维数，b表示维数为d2的偏差向量，||tanh(WTx+b)||2表示求tanh(WTx+b)的2-范数，u和v均为正整数，1≤u≤total1，1≤v≤total1，Su表示第一待识别图像库中的第u幅行人图像的特征向量，Tv表示第一目标图像库中的第v幅行人图像的特征向量，符号“<>”为内积运算符号，(f(Su))T为f(Su)的转置，f(Su)表示Su映射到嵌入空间中后得到的嵌入特征向量，f(Tv)表示Tv映射到嵌入空间中后得到的嵌入特征向量；③采用BP算法构建映射矩阵求解最优化模型，描述为：然后采用梯度下降法求解上述映射矩阵求解最优化模型，得到W和b各自的值；其中，min()为求最小值函数，||W||F为求W的F-范数，Th表示第一目标图像库中的第h幅行人图像的特征向量，h为正整数，1≤h≤total1，Gdirect(Su,Th)表示第一待识别图像库中的第u幅行人图像在嵌入空间中的嵌入特征向量f(Su)与第一目标图像库中的第h幅行人图像在嵌入空间中的嵌入特征向量f(Th)之间的相似性得分，也即表示第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分，表示Su对应的正样本集合，若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人，则将第一目标图像库中的该幅行人图像的特征向量归入中，表示Su对应的负样本集合，若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人，则将第一目标图像库中的该幅行人图像的特征向量归入中，表示求中的元素的总个数，表示求中的元素的总个数，[]+为铰链损失函数；④计算第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的间接相似性得分，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的间接相似性得分记为Gindirect(Su,Tv)，其中，k为正整数，R(Su,k)表示由第一待识别图像库中的第u幅行人图像的k相互近邻组成的集合，R(Tv,k)表示由第一目标图像库中的第v幅行人图像的k相互近邻组成的集合，符号“∩”为集合交运算符号，符号“∪”为集合并运算符号，|R(Su,k)∩R(Tv,k)|表示求R(Su,k)∩R(Tv,k)中的元素的总个数，|R(Su,k)∪R(Tv,k)|表示求R(Su,k)∪R(Tv,k)中的元素的总个数；⑤根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分和间接相似性得分，对第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分进行描述，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的最终相似性得分记为G(Su,Tv)，描述为：G(Su,Tv)＝βdirect×Gdirect(Su,Tv)+βindirect×Gindirect(Su,Tv)，其中，βdirect为Gdirect(Su,Tv)的权值参数，βindirect为Gindirect(Su,Tv)的权值参数，βdirect+βindirect＝1；⑥根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分的描述，训练获取βdirect和βindirect的值；...

【专利技术属性】
技术研发人员：蒋桧慧，郭立君，张荣，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33