基于无监督交叉视角度量学习的行人再识别方法及系统技术方案

本发明专利技术公开了一种基于无监督交叉视角度量学习的行人再识别方法及系统，主要解决难以对行人进行精确建模的问题，以及传统度量学习方法需要大量监督信息的问题。其实现步骤是：(1)特征提取；(2)共性和特性投影矩阵的构建；(3)无监督交叉视角度量学习；(4)约束不同摄像机下行人特征的分布一致；(5)投影矩阵优化；(6)将查询样本与测试样本集投影到潜在特征空间，对比特征距离，得到测试样本集的排序结果。本发明专利技术将行人特征分解为共性特征和特性特征，提升了行人特征表达的精度。同时，提出的无监督度量学习方法，更能满足现今大量监控网络的实际需求，可用于智能监控、交通管制以及刑侦辅助等领域。

Pedestrian Recognition Method and System Based on Unsupervised Cross-View Metric Learning

【技术实现步骤摘要】
基于无监督交叉视角度量学习的行人再识别方法及系统
本专利技术属于信息处理
，特别涉及一种监控场景下的行人再识别技术，可用于公共安全智能监控、交通管制以及刑侦辅助等领域。
技术介绍
随着监控技术的发展，越来越多的摄像机被用于安防系统中。行人再识别就是要从空间不重叠的监控摄像机中找出同一个行人的技术。在大尺度的监控网络中，行人再识别技术对于目标追踪和行为分析都是非常重要的。由于成像条件的差异，不同摄像机下行人的表观特性差异很大，比如亮度、姿态、遮挡情况等，这给行人再识别带来了巨大的挑战。目前，研究者们已提出许多基于度量学习的行人再识别技术。这些技术学习一个度量矩阵，将不同摄像机下的行人特征投影到一个潜在的子空间中，在该子空间中使得同一个行人的表达更相似，不同行人的表达更不同。等人在文献“M.M.Hirzer,P.Wohlhart,P.Roth,andH.Bischof,LargeScaleMetricLearningfromEquivalenceConstraints,inProceedingsofIEEEComputerVisionandPatternRecognition,pp.2288-2295,2012”中利用高斯分布似然比来推断样本对是否属于同一个行人，进而利用协方差矩阵计算度量矩阵。这类方法只考虑了不同摄像机下行人目标的共性，而忽略了摄像机间的差异，导致建模精度不高。由于成像条件和成像时间上的不一致，摄像机间的行人特征具有较大的差异。为了解决这些差异带来的挑战，研究者们提出交叉视角的行人再识别方法。该类方法为每一个摄像机学习一个投影矩阵，从而校正摄像机之间的差异。Chen等人在文献“Y.Chen,W.Zheng,J.Lai,andP.Yuen,AnAsymmetricDistanceModelforCross-ViewFeatureMappinginPersonReidentification,IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.27,no.8,pp.1661-1675,2017”中提出一种非对称度量学习方法，为每个摄像机学习不同的投影矩阵。然而，这类方法在建模过程中忽略了摄像机之间的共性，难以对行人进行精确建模。此外，已有的度量学习方法大都需要利用标注的样本进行训练，标注过程需要耗费大量的人力物力、在标注过程也会引入精度不一致的干扰，这对于持续发展的监控网络来说是一项巨大的负担。
技术实现思路
为了解决现有技术中难以对行人进行精确建模及建模过程费时费力的问题，本专利技术提供一种基于无监督交叉视角度量学习的行人再识别方法，利用海量无标签的行人数据，学习摄像机之间的共性和特性，进而挖掘行人之间的潜在关系。本专利技术的技术解决方案是提供一种基于无监督交叉视角度量学习的行人再识别方法，包括以下步骤：S1、获取行人图像，构建训练集；获取多个空间不重叠的摄像机中的图像数据，构建训练集；S2、行人图像特征提取：S21、利用训练集以外的已标注好的行人数据训练卷积神经网络；S22、利用步骤S21训练好的卷积神经网络对训练集中的每幅图像分别提取行人特征表达为第v个摄像机下第i幅行人图像的特征表达；S3、构建交叉视角下的最终投影矩阵及行人特征表达模型；交叉视角下的最终投影矩阵为：Wv＝U0+Uv，Wv为第v个摄像机交叉视角下的最终投影矩阵，U0为共性投影矩阵，用于提取所有摄像机之间的共同特性；Uv为特性投影矩阵，用于提取每个摄像机独有的特性；交叉视角下的最终行人特征表达为S4、构建目标函数及其约束项，所述目标函数包括聚类目标函数与行人特征分布一致性函数；S41、聚类目标函数：其中，K为聚类的类别数，V是摄像机的总数，ck为第k个聚类的类中心，Ck为聚类中心的集合；S42、构建目标函数的约束项：约束共性和特性行人特征之间正交，彼此没有交集，即S43、行人特征分布一致性函数：其中，mp和mq分别为第p和第q个摄像机下行人的特征表达均值，Np和Nq分别为对应摄像机下行人样本的数量；Wp为第p个摄像机的交叉视角下的最终的投影矩阵；为第q个摄像机下第j幅行人图像的特征表达，为第p个摄像机下第i幅行人图像的特征表达；S5、解算最终目标函数，获得优化矩阵；S51、根据步骤S4构建的目标函数及其约束项，获取最终目标函数：其中，是正则项，α和β是最终目标函数的正则化参数，I为单位矩阵；S52、更新ck：利用k-means算法对进行聚类，得到更新后的ck和聚类结果；S53、更新共性投影矩阵U0与特性投影矩阵Uv：基于步骤S52更新后的ck，利用拉格朗日乘子法对公式(4)进行优化求解，得到更新后共性投影矩阵U0与特性投影矩阵Uv；S54、再次更新ck：基于步骤S53得到的共性投影矩阵U0与特性投影矩阵Uv，利用k-means算法对投影空间中的行人特征表达进行聚类，得到再次更新后的ck；S55、再次更新共性投影矩阵U0与特性投影矩阵Uv：基于S54更新后的ck，利用拉格朗日乘子法对公式(4)进行优化求解，得到再次更新后的共性投影矩阵U0与特性投影矩阵Uv；S56、迭代更新：重复步骤S54和S55的操作，直到模型收敛或达到最大迭代次数；S6、利用步骤S5获得的矩阵，将测试集投影到潜在特征空间，对比特征距离，得到查询结果，识别行人。进一步地，上述步骤S6具体为：S61、提取多个待测试摄像机图像数据，构建测试集，所述测试集包括查询样本与图片库；S62、利用步骤S21中得到的卷积神经网络，对查询样本及图片库中的每幅图像进行行人特征提取；S63、利用步骤S5中学习的最终投影矩阵对测试集中的行人样本进行投影；获得最终测试集中的行人特征表达；S64、计算查询样本与图片库中行人特征表达之间的距离，确定图片库中的行人与查询样本是否属于同一个行人。本专利技术还提供一种基于无监督交叉视角度量学习的行人再识别系统，包括处理器及存储器，其特殊之处在于：所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行上述基于无监督交叉视角度量学习的行人再识别方法的过程。本专利技术还提供一种计算机可读存储介质，其特征在于：储存有计算机程序，计算机程序被执行时实现基于无监督交叉视角度量学习的行人再识别方法的方步骤。本专利技术的有益效果是：1)、本专利技术利用无标签的行人数据进行学习，省去了标注样本的过程，节省人力物力，同时也不会引入标注过程中的精度干扰，同时对摄像机间的共性和特性进行建模，有效地提取了同一行人相同的属性，并减小了相机间视角、姿态、亮度等差异带来的干扰提高了模型的判别能力；2)在投影空间中，构建行人特征分布一致性函数，使不同摄像机间的样本分布保持一致，提升了度量的精度。附图说明图1为本专利技术基于无监督交叉视角度量学习的行人再识别方法流程图。具体实施方式下面结合附图及具体实施例对本专利技术实现的步骤作进一步地详细描述：参照图1，本专利技术实现的步骤如下：步骤1、获取多个空间不重叠的摄像机中的图像数据，构建训练集。步骤2、训练集中行人图像特征提取；(2a)、利用训练集以外的已标注好的行人数据训练卷积神经网络。(2b)、在训练集上，利用训练好的卷积神经网络对每幅图像分别提取行人特征表达。步骤3、构建共性和本文档来自技高网...

【技术保护点】
1.一种基于无监督交叉视角度量学习的行人再识别方法，其特征在于，包括以下步骤：S1、获取行人图像，构建训练集；获取多个空间不重叠的摄像机中行人的图像数据，构建训练集；S2、行人图像特征提取：S21、利用训练集以外的已标注好的行人数据训练卷积神经网络；S22、利用步骤S21训练好的卷积神经网络对训练集中的每幅图像分别提取行人特征表达

【技术特征摘要】
1.一种基于无监督交叉视角度量学习的行人再识别方法，其特征在于，包括以下步骤：S1、获取行人图像，构建训练集；获取多个空间不重叠的摄像机中行人的图像数据，构建训练集；S2、行人图像特征提取：S21、利用训练集以外的已标注好的行人数据训练卷积神经网络；S22、利用步骤S21训练好的卷积神经网络对训练集中的每幅图像分别提取行人特征表达为第v个摄像机下第i幅行人图像的特征表达；S3、构建交叉视角下的最终投影矩阵及行人特征表达模型；交叉视角下的最终投影矩阵为：Wv＝U0+Uv，Wv为第v个摄像机交叉视角下的最终投影矩阵，U0为共性投影矩阵，用于提取所有摄像机之间的共同特性；Uv为特性投影矩阵，用于提取每个摄像机独有的特性；交叉视角下的最终行人特征表达为S4、构建目标函数及其约束项，所述目标函数包括聚类目标函数与行人特征分布一致性函数；S41、聚类目标函数：其中，K为聚类的类别数，V是摄像机的总数，ck为第k个聚类的类中心，Ck为聚类中心的集合；S42、构建目标函数的约束项：约束共性和特性行人特征之间正交，彼此没有交集，即S43、行人特征分布一致性函数：其中，mp和mq分别为第p和第q个摄像机下行人的特征表达均值，Np和Nq分别为对应摄像机下行人样本的数量；Wp为第p个摄像机的交叉视角下的最终的投影矩阵；为第q个摄像机下第j幅行人图像的特征表达，为第p个摄像机下第i幅行人图像的特征表达；S5、解算最终目标函数，获得优化矩阵；S51、根据步骤S4构建的目标函数及其约束项，获取最终目标函数：其中，是正则项，α和β是最终目标函数的正则化参数，I为单位矩阵；S52、更新ck：利用k-means算法对进行聚类，得到更新后的ck和聚...

【专利技术属性】
技术研发人员：冯亚闯，卢孝强，吴思远，屈博，黄举，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西,61