一种基于一致迭代多视角迁移学习的行人再辨识方法技术

本发明专利技术涉及一种基于一致迭代多视角迁移学习的行人再辨识方法，所述的方法包括以下步骤：对行人图像进行特征提取，获得局部和全局多视角图像视觉词；采用迁移学习和鉴别分析方法构建一致迭代多视角迁移学习优化模型并对模型求解，获取中层次图像特征描述符；对得到的低层次特征描述符和中层次特征描述符进行计算，获得最终的多层次图像特征描述符；利用基于交叉视角二次鉴别分析方法来度量行人的相似性，进而获得行人图像相似度排序结果。与现有技术相比，本发明专利技术具有对于多视角下产生的光照、旋转等因素变化有着较好的鲁棒性和可靠性，能够提取图像底层次和中层次的特征描述符，具有良好的行人辨识能力等优点。

【技术实现步骤摘要】
一种基于一致迭代多视角迁移学习的行人再辨识方法
本专利技术涉及智能监控视频分析领域，尤其是涉及一种基于一致迭代多视角迁移学习的行人再辨识方法。
技术介绍
行人再辨识(Re-ID)的核心问题是研究在多摄像机无重叠系统中，如何精准匹配同一个行人。由于受到视角变化、光照条件和姿势变化等环境因素和人自身因素的影响，摄像机捕获到的同一行人的图像存在很大差异，这也使得行人再辨识问题具有一定的挑战性。目前，该问题的解决方案主要分为两种：基于行人外观特征的方法和基于度量学习的方法。其中，基于行人外观特征的方法主要是从行人的外观上提取鲁棒的特征描述符。然而，由于环境的复杂和不可控制或者小样本的限制，该方法难以提取到有效的特征。而基于度量学习的方法则试图学习一个相似性度量函数或者一个鲁棒距离来优化匹配结果。基于上述两种不同的方案，国内外学者已经提出了各种不同的算法和模型。目前，大多数基于行人外观特征的方法主要关注低层视觉特征，例如颜色和纹理。此外，为了提高行人再辨识的识别效果，各种各样的融合性方法也被提了出来，例如：分层高斯特征描述符(GOG)、局部极大出现特征描述符(LOMO)、基于结构学习的特征描述符和基于显著性的特征描述符。除了这些方法，基于深度学习的特征提取方法也表现出优异的识别效果。另外，专利CN104992142A提出了一种基于深度学习和属性学习相结合的行人识别方法，能够从更高语义层描述行人特征，然而，训练模型过于复杂，并且受限于行人属性的选择。进一步，由于光照变化、姿态、视角、遮挡、图像分辨率等各方面因素的影响，这使得在监控视频智能分析中行人再辨识性能依然不佳。基于度量学习的行人再辨识方法主要包括了基于相对距离比较的度量学习(RDC)、基于局部Fisher鉴别分析的方法(LFDA)、基于核的方法，基于交叉视角二次鉴别分析的方法(XQDA)，基于双规KISS的方法(DR-KISS)，基于鉴别零空间的方法，基于图模型的方法和基于深度度量学习的方法。还有许多其他种类的方法，例如：通过排序方法(RankSVM等)来试图解决行人再辨识问题。虽然这些基于度量的方法比现存的行人再辨识方法效果好，但是它们仍被一些经典问题所局限，例如：模型学习时，多个视角数据分布不一致分布和小样本等问题。在传统机器学习模型中，往往存在一个重要的前提，即：假设训练集和测试集样本数据分布存在一致性，然而，在实际生活中采集到的数据，很难保证这一假设的成立。同样在，行人再辨识问题中，不同视角下采集到的行人图像也存在数据分布不一致这样的问题，而采用迁移学习的方法，找到一个具有一致分布的新空间，能够在数据分布一致前提下，进行后续的再辨识，能够为该问题的解决提供了新的思路。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于一致迭代多视角迁移学习的行人再辨识方法。涉及行人再辨识(personre-identification)中的多视角视觉词模型、多视角迁移学习和鉴别分析技术。本专利技术的目的可以通过以下技术方案来实现：一种基于一致迭代多视角迁移学习的行人再辨识方法，所述的方法包括以下步骤：S1、对行人图像进行特征提取，获得局部和全局多视角图像视觉词，即低层次图像特征描述符的提取；S2、根据S1得到的低层次图像特征描述符，采用迁移学习和鉴别分析方法构建一致迭代多视角迁移学习优化模型；S3、利用扩展的增广拉格朗日乘子法求解S2中的一致迭代多视角迁移学习优化模型，并获取中层次图像特征描述符；S4、对S1得到的低层次特征描述符和S3得到的中层次特征描述符进行计算，获得最终的多层次图像特征描述符；S5、针对S4中的多层次图像特征描述符，利用基于交叉视角二次鉴别分析方法来度量行人的相似性，进而获得行人图像相似度排序结果，即行人再辨识结果。步骤S1具体为：S11、将行人图像在垂直方向上平均划分成n个水平条纹，并从不同条纹中分别提取n组局部图像视觉词，同时从整体的行人图像中提取1组全局图像视觉词；S12、利用一种聚类方法K-means方法来融合多视角信息，获得n+1组多视角图像视觉词，定义为：MvVW＝{Di}，i＝1,2,3,…n,n+1；其中，D表示不同行人图像结构区域下的多视角图像视觉词；{Di},i＝1,2,3,…n表示局部多视角图像视觉词，{Di}，i＝n+1表示全局多视角图像视觉词。步骤S2具体为：利用局部和全局多视角图像视觉词，对原始样本进行重构，对MvVm的每一个组多视角图像视觉词，分别利用迁移学习找到一个使原始样本和多视角视觉词具有一致数据分布的投影子空间，原始样本在该投影子空间下利用MvVM来进行重构；引入鉴别分析，将鉴别优化问题同迁移优化问题相结合，定义为一致迭代多视角迁移学习优化模型：约束条件为：s.t.PTX＝PTDZ+E,PTP＝IP,Zh∈Z其中，α,β为惩罚因子，||*||1为1范数约束，P为迁移矩阵，E为噪声矩阵，Z为重构系数矩阵，φ(Zh)为基于Fisher准则的鉴别度量学习函数，||Z||*矩阵的核范数，Zh∈Z是有标签样本的重构系数矩阵，D表示视觉词矩阵。步骤S3具体为：采用扩展的增广拉格朗日乘子法方法求解一致迭代的多视角迁移学习模型中的参数的闭形式解，得到中层次图像特征描述符。步骤S3具体为：引进变量Z1和新约束Z＝Z1，并引进拉格朗日乘子L1∈Rm×n、L2∈Rm×p和L3∈Rm×n，将S1中得到的优化模型转换为：其中，α，β，γ，μ表示惩罚因子，P表示迁移矩阵，PT表示矩阵P的转置，φ(Zh)为基于Fisher准则的鉴别度量学习函数，||||*为矩阵的核范数，||*||1为1范数约束，D表示字典矩阵，表示矩阵的2范式，E为噪声矩阵，Z为重构系数矩阵，Zh为有标签样本的重构系数矩阵，Z1为Z的近似解；S32，分步求解迁移矩阵P，并计算其闭形式解；S33，分步求解重构系数矩阵Z，并计算其闭形式解；S34，分步求解对于有标签样本的重构系数矩阵Zh，并计算其闭形式解；S35，分步求解Z1，并计算其闭形式解；S36，分步求解噪声矩阵E，并计算其闭形式解；S37，对于拉格朗日乘子和和迭代步长μ，进行更新；所述的中层次图像特征描述符即为重构系数矩阵Z，Z*、Zh和Z1均为Z的近似解。与现有技术相比，本专利技术具有以下优点：(1)结合行人图像在垂直方向分布的特点，将行人图像平均分为6块(分别为头部、躯干和腿，并结合身体的对称性，划分为6个局部块)，并分别从6个局部块区域内提取局部视觉词，同时从整体行人图像中提取全局视觉词(1个全局)，获得初始的7组(6个局部+1个全局)不同结构下的单视角下的视觉词组。(2)利用非监督聚类方法(k-means)对7组单视角下的视觉词组进行聚类操作，一方面融合多视角信息，另一方面去掉视觉词中的冗余信息，获得多视角视觉词。(3)提出一致迭代的多视角迁移学习(CIMvTL)模型，来求解基于多视角视觉词的原始样本重构问题。其中该模型重点在于寻找一个迁移子空间，能够确保多视角视觉词同原始样本空间的数据分布的一致性，同时，在低秩和稀疏的约束下，确保在利用多视角视觉词对原始样本进行重构表示时，能够具有保持一定的结构信息和尽可能少的视觉词来重构原始样本。另外，在鉴别分析约束的前提下，本专利技术提取重构系数本文档来自技高网...

【技术保护点】
一种基于一致迭代多视角迁移学习的行人再辨识方法，其特征在于，所述的方法包括以下步骤：S1、对行人图像进行特征提取，获得局部和全局多视角图像视觉词，即低层次图像特征描述符的提取；S2、根据S1得到的低层次图像特征描述符，采用迁移学习和鉴别分析方法构建一致迭代多视角迁移学习优化模型；S3、利用扩展的增广拉格朗日乘子法求解S2中的一致迭代多视角迁移学习优化模型，并获取中层次图像特征描述符；S4、对S1得到的低层次特征描述符和S3得到的中层次特征描述符进行计算，获得最终的多层次图像特征描述符；S5、针对S4中的多层次图像特征描述符，利用基于交叉视角二次鉴别分析方法来度量行人的相似性，进而获得行人图像相似度排序结果，即行人再辨识结果。

【技术特征摘要】
1.一种基于一致迭代多视角迁移学习的行人再辨识方法，其特征在于，所述的方法包括以下步骤：S1、对行人图像进行特征提取，获得局部和全局多视角图像视觉词，即低层次图像特征描述符的提取；S2、根据S1得到的低层次图像特征描述符，采用迁移学习和鉴别分析方法构建一致迭代多视角迁移学习优化模型；S3、利用扩展的增广拉格朗日乘子法求解S2中的一致迭代多视角迁移学习优化模型，并获取中层次图像特征描述符；S4、对S1得到的低层次特征描述符和S3得到的中层次特征描述符进行计算，获得最终的多层次图像特征描述符；S5、针对S4中的多层次图像特征描述符，利用基于交叉视角二次鉴别分析方法来度量行人的相似性，进而获得行人图像相似度排序结果，即行人再辨识结果。2.根据权利要求1所述的一种基于一致迭代多视角迁移学习的行人再辨识方法，其特征在于，步骤S1具体为：S11、将行人图像在垂直方向上平均划分成n个水平条纹，并从不同条纹中分别提取n组局部图像视觉词，同时从整体的行人图像中提取1组全局图像视觉词；S12、利用一种聚类方法K-means方法来融合多视角信息，获得n+1组多视角图像视觉词，定义为：MvVW＝{Di}，i＝1,2,3,…n,n+1；其中，D表示不同行人图像结构区域下的多视角图像视觉词；{Di},i＝1,2,3,…n表示局部多视角图像视觉词，{Di}，i＝n+1表示全局多视角图像视觉词。3.根据权利要求2所述的一种基于一致迭代多视角迁移学习的行人再辨识方法，其特征在于，步骤S2具体为：利用局部和全局多视角图像视觉词，对原始样本进行重构，对MvVm的每一个组多视角图像视觉词，分别利用迁移学习找到一个使原始样本和多视角视觉词具有一致数据分布的投影子空间，原始样本在该投影子空间下利用MvVM来进行重构；引入鉴别分析，将鉴别优化问题同迁移优化问题相结合，定义为一...

【专利技术属性】
技术研发人员：赵才荣，王学宽，苗夺谦，陈亦鹏，张婷，刘翠君，章宗彦，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31