行人再识别方法及设备技术

公开了行人再识别方法、设备和计算机程序产品。所述方法包括：在深度视频的每一帧深度图像中检测行人；对于每一帧深度图像中的每个行人，进行骨架关节点提取；根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。利用所述方法、设备和计算机程序产品，提高了在不同的背景环境以及多摄像头设置的情况下行人再识别的准确度。

Pedestrian re identification method and apparatus

Pedestrian re identification method, apparatus and computer program product. The method includes: detecting pedestrians in each frame of the video image depth depth; for each pedestrian in each frame depth image, skeleton extraction of joints; according to the skeleton extraction of joints, the attitude normalization of each pedestrian in each frame depth image is pre fixed from the perspective of attitude; for each pedestrian in each frame depth image, feature extraction of the pedestrian posture after normalization; and based on the characteristics of the corresponding attribute similarity features and target of pedestrians, pedestrians from the depth of target recognition in video. By using the method, the device and the computer program product, the accuracy of pedestrian re identification is improved under different background environment and multi camera settings.

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像处理，并且具体涉及行人再识别方法、设备和计算机程序产品。
技术介绍
行人再识别(Personre-identification)是指从来源于非交叠的多个摄像机视场的行人图像库或视频流中识别出目标行人。不同于单摄像头下普通的行人跟踪，行人再识别可以在不同的背景环境以及多摄像头设置下实现对特定行人的长期跟踪与监视，因此其在监控领域有着非常大的应用前景。比如，对于商场消费者的行人再识别使得可以跟踪该行人在多个摄像头下的运动轨迹，进而可以对其可能的消费行为进行分析和统计。再比如，在智能视频监控系统中，通过行人再识别技术能够自动识别出目标行人并向监控系统操作人员进行报告，从而使得操作人员无需进行费时费力的人工观察和识别。目前，行人再识别通常是依据来自图像或视频中的行人的颜色、纹理等底层信息来进行的，其效果往往并不理想，主要原因在于：行人在不同摄像头下的视角可能差别很大；不同摄像头所覆盖的区域往往并不交叠；不同摄像头所在位置处的光照条件可能不同，从而导致同一物体在不同摄像头下的外貌可能相差很大；行人可能背对或侧面朝向摄像头行走，导致无法捕捉到人脸信息，或者即使能捕捉到人脸信息，由于监控摄像头的分辨率通常较低，也无法清晰的看到人脸。
技术实现思路
根据本公开的一个方面，提供一种行人再识别方法，包括：在深度视频的每一帧深度图像中检测行人；对于每一帧深度图像中的每个行人，进行骨架关节点提取；根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。根据本公开的另一方面，提供一种行人再识别设备，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令。所述计算机程序指令在被所述处理器运行时执行以下步骤：在深度视频的每一帧深度图像中检测行人；对于每一帧深度图像中的每个行人，进行骨架关节点提取；根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。根据本公开的另一方面，提供了一种用于行人再识别的计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令可由处理器执行以使得所述处理器：在深度视频的每一帧深度图像中检测行人；对于每一帧深度图像中的每个行人，进行骨架关节点提取；根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。根据本公开的另一方面，提供了一种行人再识别设备，包括：检测装置，配置为在深度视频的每一帧深度图像中检测行人；骨架提取装置，配置为对于每一帧深度图像中的每个行人，进行骨架关节点提取；正规化装置，配置为根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；特征提取装置，配置为对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及识别装置，配置为基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。根据本公开的上述方面的方法、设备和计算机程序产品有效利用图像和视频中行人的深度信息，大大提高了在不同的背景环境以及多摄像头设置的情况下行人再识别的准确度。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出了根据本公开实施例的行人再识别方法的示意性流程图。图2例示了对前景区域进行分割之后得到的一个示例性的子图像区域。图3示出了某个行人的示意性的骨架关节点分布。图4示出了在对于某一帧深度图像中的某个行人进行骨架关节点提取处理时、对于该帧深度图像中对应于该行人的子图像区域中的每个像素执行的处理。图5例示了一个拍摄的预定视角的示例性示意图。图6示出了根据本公开实施例的行人再识别设备的示例性结构框图。图7示出了用于实现本公开的实施例的示例性计算设备的框图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。如前所述，目前依据来自图像或视频中的行人的颜色、纹理等底层信息进行行人再识别的效果往往并不理想。针对这一情况，在本公开中，将有效地利用图像或视频中行人的深度信息来进行行人的再识别。更明确的说，在本公开中将利用深度图像来进行行人的再识别。本领域中公知，深度图像是图像中每一像素的值表示场景中某一点与摄像机之间的距离的图像。相比于灰度图像(彩色图像)，深度图像具有物体的深度(距离)信息，并且不受光照条件的影响，因此适合于需要立体信息或场景变换的各种应用。下面，参照图1来描述根据本公开实施例的行人再识别方法。如图1所示，在步骤S110，在深度视频的每一帧深度图像中检测行人。如上文中提到的，不同于单摄像头下普通的行人跟踪识别，根据本公开的行人再识别技术可以应用于背景环境不同以及采用多个摄像头进行拍摄的情形。更明确的说，根据本公开的行人再识别技术，包含作为识别对象的目标行人的目标深度视频与需要从中识别该目标行人的待分析深度视频可以由不同的摄像头拍摄，或者由单个摄像头在不同时刻(不同背景环境下)拍摄。该步骤中所述的深度视频即需要从中识别目标行人的待分析深度视频，其是由与拍摄目标行人的深度摄像头不同的单个深度摄像头在某一时刻拍摄的。可选的，拍摄所述待分析深度视频的深度摄像头与拍摄目标行人的深度摄像头以相同的方式进行配置。例如，深度摄像头均安装在高于2米的高度，并且以俯视的角度进行拍摄。在该本文档来自技高网...

【技术保护点】
一种行人再识别方法，包括：在深度视频的每一帧深度图像中检测行人；对于每一帧深度图像中的每个行人，进行骨架关节点提取；根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态；对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特征；以及基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视频中识别目标行人。

【技术特征摘要】
【国外来华专利技术】1.一种行人再识别方法，包括：
在深度视频的每一帧深度图像中检测行人；
对于每一帧深度图像中的每个行人，进行骨架关节点提取；
根据提取的骨架关节点，将每一帧深度图像中的每个行人的姿态正规化
为预定视角下的姿态；
对于每一帧深度图像中的每个行人，提取姿态正规化后该行人的属性特
征；以及
基于所述属性特征与目标行人的对应属性特征的相似度，从所述深度视
频中识别目标行人。
2.如权利要求1所述的行人再识别方法，其中所述目标行人包含在由深
度摄像头拍摄的目标深度视频中，并且所述目标深度视频和所述深度视频是
由不同的深度摄像头拍摄的，或者所述目标深度视频和所述深度视频是单个
深度摄像头在不同时刻拍摄的。
3.如权利要求1所述的行人再识别方法，还包括：
对每一帧深度图像中检测出的每个行人进行跟踪，以获得该行人的跟踪
片段，所述跟踪片段包括描述该行人在所述深度视频中的哪些帧深度图像中
出现以及该行人在各帧深度图像中的位置的数据。
4.如权利要求3所述的行人再识别方法，其中对于每一帧深度图像中的
每个行人进行骨架关节点提取包括：
对于该帧深度图像中对应于该行人的子图像区域中的每个像素：
确定预先建立的训练集中与其匹配的匹配像素，所述训练集中包含
有多张行人深度图像，并且每张行人深度图像中预先标明了行人的骨架
关节点；
提取该匹配像素的标记数据，所述标记数据包括该匹配像素相对于
其所在的行人深度图像中行人的骨架关节点的偏移量；
基于所述标记数据及该像素在该子图像区域中的相对位置，对该行
人的各骨架关节点进行投票；
对于该行人的每一个待提取的骨架关节点，确定所述子图像区域中的各
个像素投票次数最多的点作为该骨架关节点。
5.如权利要求4所述的行人再识别方法，其中对于该帧深度图像中对应
于该行人的子图像区域中的每个像素确定预先建立的训练集中与其匹配的匹
配像素包括：
对于所述每个像素，基于该像素的特征描述及该像素在该子图像区域中
的相对位置，确定所述匹配像素。
6.如权利要求4所述的行人再识别方法，其中对于每一帧深度图像中的
每个行人进行骨架关节点提取还包括：
基于该行人的跟踪片段，确定该帧深度图像的前m帧包含有该行人的深
度图像和后n帧包含有该行人的深度图像；
对于所确定的该帧深度图像中的该行人的各骨架关节点，基于所述前m
帧深度图像和后n帧深度图像中的该行人的各骨架关节点进行优化。
7.如权利要求1所述的行人再识别方法，其中根据提取的骨架关节点将
每一帧深度图像中的每个行人的姿态正规化为预定视角下的姿态包括：
确定该行人的运动方向，作为其朝向；
根据所述朝向，通过对该行人的骨架关节点的位置坐标进行空间坐标变
换以得到正规化后的骨架关节点的位置坐标，将行人的姿态正规化为预定视
角下的姿态。
8.如权利要求7所述的行人再识别方法，其中所述预定视角包括第一视
角和第二视角，所述第一视角为行人的正面正对摄像头，并且摄像头水平对
齐行人正面预定位置，所述第二视角为行人的背面正对摄像头，并且摄像头
水平对齐行人背面预定位置。
9.如权利要求7所述的行人再识别方法，其中对于每一帧深度图像中的
每个行人提取姿态正规化后该行人的属性特征包括：提取该行人的中层语义
特征，该中层语义特征至少包括该行人在现实世界的高度。
10.如权利要求9所述的行人再识别方法，其中对于每一帧深度图像中
的每个行人提取姿态正规化后该行人的属性特征还包括：提取该行人的底层
语义特征、人脸特征和运动特征中的一个或多个。
11.如权利要求10所述的行人再识别方法，其中该行人的运动特征通过
其在当前帧深度图像中的姿态正规化后的骨架关节点的位置坐标与其在前若
干帧深度图像中的姿态正规化后的骨架关节点的位置坐标的变化来表示。
12.如权利要求3所述的行人再识别方法，其中基于所述属性特征与目

\t标行人的对应属性特征的相似度，从所述深度视频中识别目标行人包括：
根据每一帧深度图像中的每个行人的跟踪片段，确定所述深度视频
中出现的所有不同行人；
判断所述深度视...

【专利技术属性】
技术研发人员：俞刚，李超，尚泽远，何奇正，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京;11