一种基于无监督局部度量学习和重排序的行人再识别方法技术

本发明专利技术公开了一种基于无监督局部度量学习和重排序的行人再识别方法，其实现过程为：首先获取行人图片，确定查询样本，并形成训练样本集和图片库；然后将获得的行人图片进行特征提取，并描述为特征向量；再为查询样本和/或图片库中各样本学习局部度量，得到对应的度量矩阵；最后通过学习得到的度量矩阵进行相似度计算，根据相似度大小进行初始排序；通过重排序优化初始排序得到最终的排序结果。本方法基于无监督局部度量学习，不需要人工标注样本，具有一定实用性和扩展性，通过重排序，进一步提高了匹配准确度。

A pedestrian rerecognition method based on unsupervised local metric learning and reordering

The invention discloses a method for pedestrian recognition unsupervised local metric learning and reordering based on the realization process is as follows: firstly, to obtain the human images, determine the query sample, and the formation of the training set and the picture gallery; pedestrian images and then the feature extraction and description as the feature vector for each sample; learn a query sample and / or picture library in local measurement, get the corresponding metric matrix; finally, through the study of metric matrix similarity calculation, initial sorting according to the similarity; by reordering the initial optimization ranked by the final results. This method is based on unsupervised local metric learning, and does not need manual annotation. It is practical and extensible, and the accuracy of matching is further improved by re ranking.

【技术实现步骤摘要】
一种基于无监督局部度量学习和重排序的行人再识别方法
本专利技术涉及计算机视觉和图像处理领域，尤其涉及一种可用于智能化视频监控等领域的基于无监督局部度量学习和重排序的行人再识别方法。
技术介绍
跨摄像头的行人再识别是目前智能视频监控领域的热点研究问题，它的主要目的是获取特定目标在一个特定摄像头网络覆盖区域特定时间内的行动轨迹。这在目前大数据时代、视频监控自动化、平安城市建设等背景下具有重要意义。随着监控设备相关技术的成熟和成本的降低，数以万计的监控设备无时无刻地在采集数据，形成了海量数据库。如何有效管理和利用监控大数据就成了目前广受关注的问题。目前，以人工为主的监控方式在大数据背景下遭到了巨大的挑战。人工监控的相关工作人员需要时刻监视视频画面，并分析相关目标和场景，这不仅费时费力，而且错误率会随着数据量的增大而上升。因此，自动化监控技术以其成本低，效率高，扩展性强等优点受到了人们的广泛关注。如何利用各种技术手段如计算机视觉、机器学习、深度学习等有效地解决行人在跨摄像头过程中产生的各种变化，从而使得最终的查询结果符合人们的期望是现在学者们的主要研究方向。目前，行人再识别面临的主要挑战有：背景复杂多变、光照变化、视角变化、姿态变化、行人遮挡、相似行人干扰、摄像头参数变化等影响因素造成的干扰问题。这些因素极大地影响了行人再识别技术在实际场景中的使用。针对这些问题，研究者们提出了许多算法和解决方案。大部分行人再识别方法主要由特征表示和距离度量两部分构成。行人再识别本质上是要计算样本之间的相似度或者距离，然后根据相似度或者距离对样本进行排序，进而找到与查询样本属于同一个人的样本图像。度量学习本质上是学习一个特征的映射空间，使得对于不同的场景，可以通过数据学习适合特定场景的映射子空间。现有的度量学习方法存在的问题有：(1)监督学习。现有的大部分度量学习方法主要基于监督学习，即通过标定数据学习获取适用于特定场景的度量参数。然而，训练数据的获取需要大量人力物力进行数据标定，同时随着监控网络的进一步扩大，用于监督学习的训练数据的标定也会随之变得更加困难(在一个摄像头中出现的行人大概率不出现在另一个摄像头中)。这限制了度量方法的实际应用。(2)迁移能力。由于监督学习得到的度量参数是针对特定场景的，在其他场景下会有很严重的性能损失，无法很好地在另一个场景中使用。(3)全局度量。即在整个训练集上学习得到一个度量。由于训练数据有限，实际场景中不同行人之间差异巨大，通过有限的数据集训练得到的全局度量无法对场景中出现的所有行人都保持较好的判别性。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，提出一种基于无监督局部度量学习或者叫基于样本的度量学习(SBML)、和重排序的行人再识别方法。针对数据标定问题，本方法基于无监督学习，只需要相关场景中的无标定数据进行训练，可行性和实用性大大提高；针对全局度量的缺陷，本方法为每一个查询样本训练局部度量，相当于为每个查询样本进行了调优，保证距离度量的精准性，从而完成本专利技术。本专利技术提供了一种基于无监督局部度量学习和重排序的行人再识别方法，技术方案主要包括以下几个方面：1.一种基于无监督局部度量学习的行人再识别方法，所述方法包括以下步骤：步骤1)，行人检测：获取行人图片，确定查询样本，并形成训练样本集和图片库；步骤2)，特征表示：将获得的行人图片进行特征提取，并描述为特征向量；步骤3)，度量学习：为查询样本和/或图片库中各样本学习局部度量，得到查询样本的局部度量矩阵M，和/或图片库中样本所对应的局部度量矩阵Mi；步骤4)，匹配排序：通过学习得到的度量矩阵进行查询样本和图片库中样本的相似度计算，根据相似度大小进行排序。(2)根据上述(1)所述的方法，在步骤4)后，还包括重排序步骤：通过基于K近邻交集重排序方法对步骤4)中排序进行重排序；优选地，重排序步骤包括以下子步骤：步骤5.1)，根据步骤4)中得到初始排序结果，确定初始排序得分；步骤5.2)，计算查询样本和初始排序中样本之间k近邻中相同样本的数量，确定k近邻得分；步骤5.3)，根据初始排序得分和k近邻得分，获得查询样本和初始排序中样本的最终相似度。根据本专利技术提供的一种基于无监督局部度量学习和重排序的行人再识别方法，具有以下有益效果：(1)本方法基于无监督学习，只需要相关场景中的无标定数据进行训练，可行性和实用性大大提高；(2)针对全局度量的缺陷，本方法为每一个查询样本训练局部度量，相当于为每个查询样本进行了调优，保证距离度量的精准性；(3)本方法使用基于支持向量机(SVM)的判别模型，只使用和查询样本不是同一个行人的训练样本集以及图片库模型，不加入其他假设，具有较好的判别性和低时间复杂性。(4)针对实际场景中图片库中反例样本尤其是相似反例样本的干扰，本方法提出了基于样本k近邻交集的重排序算法，通过引入样本之间的近邻关系来减少在查询匹配时，图片库中与查询样本相似的反例样本的干扰，使得本方法具有进一步增强的实用性。附图说明图1示出本专利技术中行人再识别方法的步骤模块图；图2示出行人检测时正常检测、漏检和误检示意图；图3示出本专利技术中局部度量学习算法示意图；图4示出本专利技术一种优选实施方式中包含重排序的行人再识别方法步骤模块图；图5示出根据本专利技术中行人再识别方法确定的在PRID2011数据集上的累计匹配特性(CMC)曲线。具体实施方式下面通过附图对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。如图1所示，本专利技术提供了一种基于无监督度量学习的行人再识别方法，所述方法包括以下步骤：步骤1)，行人检测：获取行人图片，确定查询样本，并形成训练样本集和图片库；步骤2)，特征表示：将获得的行人图片进行特征提取，并描述为特征向量，即每张行人图片拥有一个特定的特征向量；步骤3)，度量学习：为查询样本和/或图片库中各样本学习局部度量，得到查询样本的局部度量矩阵M，和/或图片库中样本所对应的局部度量矩阵Mi；步骤4)，匹配排序：通过学习得到的度量矩阵进行查询样本和图片库中样本的相似度计算，根据相似度大小进行排序，相似度越大，排序越靠前。步骤1)，行人检测：获取行人图片，确定查询样本，并形成训练样本集和图片库。在一种优选的实施方式中，在和查询样本相同场景的摄像头的监控视频帧中获取行人图片，形成训练样本集。在进一步优选的实施方式中，查询样本与训练样本集选自相同的摄像头场景，其中，所述查询样本(设为x0)与训练样本集中的样本(设为x1，……xi，……xn)无重叠样本。由于查询样本的度量学习是基于训练样本集进行的，查询样本与训练样本集中样本选自相同的摄像头场景，保证查询样本度量学习的准确性。在一种优选的实施方式中，在待查询场景的摄像头的监控视频帧中获取行人图片，形成图片库。图片库中样本来源于一个或多个摄像头场景。在步骤3)中，对图片库中样本进行度量学习时，图片库中某个样本所需的相应的训练样本来自图片库中和这个样本相同的摄像头场景下的其他样本。优选的情况下，图片库中的样本来源于一个摄像头场景，便于对查询样本的目标样本进行摄像头场景定位。在一种优选的实施方式中，通过目标检测算法从原始的监控视频中获取行人目图片。在进一步优选的实施方式中，通过可变形部件模本文档来自技高网...

【技术保护点】
一种基于无监督局部度量学习的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤1)，行人检测：获取行人图片，确定查询样本，并形成训练样本集和图片库；步骤2)，特征表示：将获得的行人图片进行特征提取，并描述为特征向量；步骤3)，度量学习：为查询样本和/或图片库中各样本学习局部度量，得到查询样本的局部度量矩阵M，和/或图片库中样本所对应的局部度量矩阵Mi；步骤4)，匹配排序：通过学习得到的度量矩阵进行查询样本和图片库中样本的相似度计算，根据相似度大小进行排序。

【技术特征摘要】
1.一种基于无监督局部度量学习的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤1)，行人检测：获取行人图片，确定查询样本，并形成训练样本集和图片库；步骤2)，特征表示：将获得的行人图片进行特征提取，并描述为特征向量；步骤3)，度量学习：为查询样本和/或图片库中各样本学习局部度量，得到查询样本的局部度量矩阵M，和/或图片库中样本所对应的局部度量矩阵Mi；步骤4)，匹配排序：通过学习得到的度量矩阵进行查询样本和图片库中样本的相似度计算，根据相似度大小进行排序。2.根据权利要求1所述的方法，其特征在于，步骤1)中，在相同场景的摄像头的监控视频帧中获取行人图片，形成训练样本集；和/或在待查询场景的摄像头的监控视频帧中获取行人图片，形成图片库；优选地，查询样本与训练样本集中样本选自相同的摄像头场景，且查询样本与训练样本集中的样本无重叠样本。3.根据权利要求1所述的方法，其特征在于，步骤1)中，通过目标检测算法DPM自动获取监控视频中行人图片；优选地，调节目标检测算法DPM中候选区域得分阈值参数threshold，控制漏检率和误检率。4.根据权利要求1所述的方法，其特征在于，步骤2)包括以下子步骤：步骤2.1)，将行人图片划分成设定数量的水平条带，在每一个水平条带中分别提取HSV、RGB、Lab颜色直方图并级联成颜色特征；步骤2.2)，在整张行人图片中提取HOG和LBP特征，获得图片的边缘和纹理信息；步骤2.3)，将步骤2.1)中颜色特征和步骤2.2)中边缘和纹理特征级联，形成行人图片的最终特征表示。5.根据权利要求1所述的方法，其特征在于，步骤3)中，使用主成分分析PCA降维算法将步骤2)中获得的特征向量进行降维。6.根据权利要求1所述的方法，其特征在于，步骤3)中，查询样本的局部度量矩阵M，通过最大化查询样本和训练样本集中距离最小的样本的距离学习得到：其中，x0表示查询样本的特征向量；xi表示训练样本集中样本的特征向量；和/或图片库中样本所对应的局部度量矩阵Mi，通过最大化某样本和图片库中其他样本中...

【专利技术属性】
技术研发人员：韩振军，赵恒，叶齐祥，焦建彬，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京,11