一种行人重识别方法及系统技术方案

本发明专利技术提供了一种行人重识别方法及系统，基于行人姿态归一化与时间金字塔池化，包括如下步骤：接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐；提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征；使用时间金字塔池化算法，融合所述视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。与传统方法相比，在多个基于视频的行人再识别数据集上，本发明专利技术的识别准确率超过了多个最新的方法，且具有更低的算法复杂度。

A method and system for pedestrian weight recognition

The present invention provides a pedestrian weight recognition method and system, which is based on the normalization of pedestrian attitude and the pooling of time in Pyramid, including the following steps: receiving video image sequence, completing spatial alignment of the video image sequence through spatial two-dimensional affine transformation, and extracting the video image sequence after two dimensional affine transformation. The global feature of multiple frames; using the time Pyramid pooling algorithm to fuse the global features of the multiple frames in the video sequence to obtain an equal length sequence level image feature. Compared with traditional methods, in multiple video based pedestrian re recognition datasets, the recognition accuracy of the present invention exceeds the most recent methods and has a lower algorithm complexity.

【技术实现步骤摘要】
一种行人重识别方法及系统
本专利技术涉及图像识别
，尤其是涉及一种基于行人姿态归一化与时间金字塔池化的行人重识别方法及系统。
技术介绍
近年来，随着人们对社会的公共安全越来越关注，视频监控系统大量普及。诸如机场、火车站、校园和办公大楼等公众场所，都亟需监控，为安防保驾护航。面对海量的监控视频数据，大量的人力需要投入到视频信息的监控与检索中去，这种方式的效率不仅低，还造成了额外资源浪费。如果能够利用计算机视觉分析技术，自动化监控及分析视频信息，必然可以极大地加快“平安城市”的建设。行人重识别是计算机视觉的研究中关键的任务。一般来说，给定关于行人的一张图片或者一段视频，行人重识别就是在没有重叠区域的摄像头拍摄到的图片或者视频中，将同一个人识别出来的过程。尽管相关的研究越来越受到重视，行人重识别的准确率也已经提高了不少，但仍有许多困难需要解决。由于待识别的行人图片与原图片拍摄于不同的相机，设备的差异会给成像条件带来误差；不同的场景下的环境不一致，采集的数据也会产生不同的偏差；且光照的改变会使得同一种颜色的表现不同；更重要的是，行人在摄像头下的姿态变化以及遮挡问题，都使得对同一个人的辨别难度相当大。近年来，由于深度学习的浪潮，卷积神经网络被广泛应用于行人重识别领域，通过深度网络提取图像特征，并且在相应的特征空间上使用深度学习或者传统方法进行距离度量，大大提高了行人重识别的准确率。这些工作的进展皆得益于深度卷积网络模型在特征提取上的能力，但在判别能力的探索上却局限于给定的特征空间，也因此限制了深度模型判别能力的提高。
技术实现思路
为解决以上问题，本专利技术提出了一种简单、高效地从视频序列中提取高判别力行人特征的方法。该特征可以用于行人身份对比，并应用于行人再识别系统中。根据本专利技术的一个方面，提供了一种行人重识别方法，基于行人姿态归一化与时间金字塔池化，包括如下步骤：接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐；提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征；使用时间金字塔池化算法，融合所述视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。优选的，所述空间二维仿射变换包括按照空间变换网络的结构学习6个仿射变换参数。优选的，所述空间变换网络包括三个组成部分：定位网络、参数化采样网格、可微分的图像采样器。优选的，采用卷积神经网络提取所述全局特征。优选的，所述视频图像序列不等长。根据本专利技术的另一个方面，还提供了一种行人重识别系统，基于行人姿态归一化与时间金字塔池化，包括：对齐模块，用于接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐；特征提取模块，用于提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征；特征融合模块，用于使用时间金字塔池化算法，融合所述视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。与传统方法相比，在多个基于视频的行人再识别数据集上，本专利技术的识别准确率超过了多个最新的方法，且具有更低的算法复杂度。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术基于行人姿态归一化与时间金字塔池化的行人重识别方法的流程图；图2为本专利技术时间金字塔池化方法(L＝3，d＝1024)示意图。图3为本专利技术行人重识别系统的结构图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施方式。虽然附图中显示了本专利技术的示例性实施方式，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。本专利技术使用空间对齐的时间金字塔池化(spatialalignedtemporalpyramidpooling，SATPP)网络，有效并易于重复视频图像特征学习基础方法。本专利技术提出空间对齐的时间金字塔池化基于以下两点考虑：处理不整齐的行人包围盒；提取并融合后续视频图像中的区别性特征。图1为本专利技术基于行人姿态归一化与时间金字塔池化的行人重识别方法的流程图，包括如下步骤：S1、接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐。虽然可以采用在FasterRCNN的输出上训练另一个行人检测器来校正图像排列的不对齐现象，但是这种方法使得网络变得非常复杂并且难于计算。受空间变换网络(spatialtransformernetworks，STN)的启发，本专利技术提出通过学习一组仿射变换参数来校正图像。在这个步骤中，本专利技术对行人检测误差进行了修正。空间变换网络包括三个组成部分：定位网络、参数化采样网格、可微分的图像采样器，本专利技术按照空间变换网络的结构来学习一组仿射变换参数(6个维度参数)，行人图像可以被平移、旋转、改变大小以产生一个更好的准直图像。空间位置校准后的行人图像能够提供更准确的、更加具有区分性特征。这样对原始的行人检测框进行变换，得到更加准确的行人检测框。S2、提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征。在这个步骤中，采用卷积神经网络(CNN，convolutionneuralnetwork)提取图像的全局特征。S3、使用时间金字塔池化算法，融合视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。由于视频图像序列可能具有不同长度的帧数，本专利技术将多个图像级特征融合为视频级特征，并具有固定维度。现有技术中往往采用两种池化策略，例如平均池化和最大池化，分别计算每个特征维度上的平均值或最大值。因此，不同的池化策略可以用于不同类型的特征。例如最大池化主要适用于稀疏特征。因此很难确定哪种池化策略最优。并且，大部分的池化策略丢弃了时间维度上的信息，而这对于区分行人身份非常重要。在S3这个步骤中，本专利技术采用时间金字塔池化层(TPP)以求获得更好的池化效果，从不等长的视频图像序列中提取等长的视觉特征。如图2所示，假设所述视频图像序列的维度为d，并具有n个图像特征，时间金字塔池(TPP)通过在第i层中均分n个图像的特征为2i-1组，建立了一个L层时间金字塔。平均池化L层上的每组中，获得具有固定维度D的特征F。该时间金字塔池化层可以从长时和短时视频序列中学习鲁棒的视频特征，并同时融合视频中的时序与视觉信息。实施例1本专利技术所述的方法可以广泛应用于行人搜索，跨摄像头行人检测等实际系统中，服务于视频监控、安保等领域，提升监控视频数据处理与使用的效率。可用于大型公共场所或者智慧城市的目标人追踪应用，例如寻找丢失儿童、犯罪嫌疑人等。例如，给定一张特定行人的图片，该方法可以在海量监控视频数据中自动寻找和匹配该行人，进而推断出该行人的出行路线和规律等信息。表1为不同特征和池化策略识别不同的行人图片数据集(PRID、iLIDS-VID、MARS)的性能表现。其中，image表示从视频图像序列中的第一帧图像中提取的图像特征；Max-pool、avg-pool分别表示最大池化和平均池化算法；mAP(meanaverageprecision)代表平均准确率；LO本文档来自技高网...

【技术保护点】
一种行人重识别方法，基于行人姿态归一化与时间金字塔池化，其特征在于，包括如下步骤：接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐；提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征；使用时间金字塔池化算法，融合所述视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。

【技术特征摘要】
1.一种行人重识别方法，基于行人姿态归一化与时间金字塔池化，其特征在于，包括如下步骤：接收视频图像序列，通过空间二维仿射变换完成所述视频图像序列的空间对齐；提取经过二维仿射变换后所述视频图像序列内多个帧的全局特征；使用时间金字塔池化算法，融合所述视频图像序列中多个帧的全局特征，以获得等长的序列级别的图像特征。2.根据权利要求1所述的行人重识别方法，其特征在于：所述空间二维仿射变换包括按照空间变换网络的结构学习6个仿射变换参数。3.根据权利要求2所述的行人重识别方法，其特征在于：所述空间变换网络包括三个组成部分：定位网络、参数化采样网格、可微分的图像采样器。4.根据权利要求1所述的行人重识别方法，其特征在于：采用卷积神经网络提取所述全局特征。5.根据权利要求1所述的行人重识别方法，其特征在于：所述视频图像序列的长度不等。6.一种行人重识别系统，基于行...

【专利技术属性】
技术研发人员：张史梁，田奇，高文，李佳宁，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11