光场监控的人脸空间去重方法技术

本发明专利技术涉及光场监控的人脸空间去重方法，包括：分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；对人脸群进行空间关联，形成人脸组；筛选人脸组并去重，获得最优人脸；形成人脸集。本发明专利技术采用若干彩色相机、深度相机联合形成一个较大的视野范围，能够获得深度信息，深度信息能够复原场景内的被遮挡人员，能够极大的提高人脸检测的效率；还可以关联三维信息，对已检测或识别的人员进行三维空间的轨迹跟踪和定位。

Facial Space Reduplication Method for Light Field Monitoring

The present invention relates to a method of facial space de-duplication for light field monitoring, which includes: obtaining face group and scene depth information from several color cameras and several depth cameras respectively; spatial association of face group to form face group; screening and de-duplication of face group to obtain optimal face; and forming face set. The invention uses several color cameras and depth cameras to form a large field of vision, which can obtain depth information. The depth information can restore the occluded person in the scene, greatly improve the efficiency of face detection, and can also correlate three-dimensional information to track and locate the trajectory of the detected or recognized person in three-dimensional space.

【技术实现步骤摘要】
光场监控的人脸空间去重方法
本专利技术涉及光场相机监控应用中的人脸识别领域，具体地说是一种光场监控的人脸空间去重方法。
技术介绍
在现代智慧城市的相机监控应用中，人脸识别技术是一个非常重要的技术手段，它能够主动地进行场景人员的搜索和识别，对危险人员进行预警。人脸识别技术应用背景广泛，可用于公安系统的罪犯身份识别、身份证与持证人的交叉比对、监控系统以及智能门禁系统等。人脸识别技术的一般流程分为人脸检测、人脸对齐和人脸识别，其中：人脸检测是在相机拍摄场景中，通过算法搜索与检测存在人脸的区域，并对人脸位置和大小等信息进行标识。人脸检测是人脸识别技术的第一个步骤，这一步骤的所获得的精度与速度直接影响整个系统的性能；人脸对齐是在人脸检测结果中对人脸的诸如眉毛、眼睛、鼻子、嘴巴以及脸颊等脸部特征进行关键点提取，形成对人脸的关键点描述。人脸对齐在人脸识别、搜索和姿态表情分析等领域中起到关键作用，其对齐效率和准确度直接影响后期算法效果；人脸识别是利用算法对对齐后的人脸进行特征描述，然后与人脸数据库已有人脸数据进行比对匹配，从而对检测人脸进行识别。在现有的监控系统中，人脸识别技术大部分以单台监控相机为单位进行人脸识别。首先，由于单台相机视场角有一定的限制，安装位置和姿态固定，从而限制了相机可以覆盖的视野范围。其次大部分人脸识别技术的前提是需要最大限度的保持人脸正对相机，以保证人脸检测和人脸对齐的步骤能够更为准确，进而提高人脸识别率。但是实际场景中的人员的姿态随机性比较大，当人员侧对相机，或以一定的俯、仰角度面对相机时候，单台相机的人脸检测可能会失效或者人脸对齐模块失去鲁棒性。再次，在人流较为密集的场景，人员之间存在遮挡关系，这将会直接导致单台相机的人脸检测模块对于被遮挡人员的检测失效。最后，单台相机只能捕获三维场景的二维投影信息，无法关联人员的三维空间信息，从而无法有效的对人员进行轨迹跟踪和定位。CN201310504743.8号专利技术专利公开了一种基于人脸聚类的视频编目方法、检索方法及其系统，包括：对视频文件进行镜头切分；对视频镜头进行人脸检测，得到人脸图片及相关信息；对检测出的人脸图片进行去重；对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；根据人脸特征，对人脸图片进行特征聚类；对人脸类别库中存储的各个人脸类别进行人工标注；根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。是一种对单相机的人脸检测过程中的去重和时间维度去重的技术方案，无法解决上述因人员侧向角度、相互遮挡而产生的问题。CN201710846556.6号公开了一种多摄像头协同的人脸追踪的方法，利用多摄像进行人脸跟踪，在监控场景的感兴趣区域内可以获取多张不同光照，不同姿态，模糊度不同等目标人脸图像。通过此方案有效地提高了人脸图像采集的效率，提高了人脸的识别率。CN201610316057.1号专利技术公开了回头客自动识别方法及系统，包括以下步骤：追踪监控区域内的人脸并记录人脸信息；对所述人脸信息进行去重处理；判断所述人脸信息是否为人脸数据库中已有的人脸信息；其说明书0046-56段提供了人脸去重的技术手段，可以做到更高的匹配准确率；通过对特征向量投影可以进一步的提高回头客识别的准确率。CN201710937599.5号一种基于人脸识别的客流计数方法，E步骤也给出了比对去重的参考内容。此外，CN201210527836.8号公开了一种大规模人脸图像检索方法，提供了人脸的特征表述的技术方案；CN201510154919.0号专利公开了一种面向视频监控的正面人脸快速评价方法，提供了人脸正面脸特征处理的技术参考。
技术实现思路
本专利技术为解决现有的问题，旨在提供一种光场监控的人脸空间去重方法。为了达到上述目的，本专利技术采用的技术方案，包括：步骤一，分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；步骤二，对人脸群进行空间关联，形成人脸组；步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集。其中，步骤一中，基于场景深度信息在监控场景内生成点云模型。其中，根据彩色相机的内参数、旋转矩阵以及平移向量，将点云模型中的每一个三维点映射至彩色相机的像素点，形成深度信息。其中，步骤二中对人脸群进行空间关联的步骤如下：首先，对于彩色相机采集的图像进行人脸检测和人脸对齐，获取二维人脸群；其次，求取人脸特征点的重心位置，并以此点为中心点计算对应世界坐标系下的三维坐标，从而形成三维人脸群；最后，对全部三维人脸群进行关联，形成若干仅含同一人员的人脸组。其中，步骤三中，在人脸组中分别筛选，得到人员的最正脸，形成人脸集。其中，对人脸组同一人员的多张人脸，与最优参考人脸模型计算二范数距离，最后选取距离最小的人脸作为最正脸。和现有技术相比，本专利技术采用若干彩色相机、深度相机联合形成一个较大的视野范围，能够获得深度信息，深度信息能够复原场景内的被遮挡人员，能够极大的提高人脸检测的效率；还可以关联三维信息，对已检测或识别的人员进行三维空间的轨迹跟踪和定位。多台相机的设置消除了单台相机视野小的限制，应对不同的场景的问题，减小了单台相机由于人员姿态原因导致的人脸检测失效。附图说明图1为本专利技术一个实施例的流程示意图。具体实施方式现结合附图对本专利技术作进一步地说明。本实施例中，光场监控系统搭载7个彩色相机，通过不同的姿态和位置的相机对同一场景进行布防监控；同时搭载了2个深度相机，以获取场景的深度信息。在分别对不同的相机应用人脸检测模块时，不同的相机获得的人脸集合有交叉，即同一人员的人脸将会在不同的相机中以不同的姿态被人脸检测模块获取。第一，这对于人脸识别模块而言，存在人脸数据的冗余性，即对同一人的不同姿态人脸分别与数据库进行比对，影响了人脸识别系统的效率。第二，每个相机获取人脸信息的过程相对独立，在对人脸的跟踪和定位过程中，数据的冗余性将会影响这一过程的准确性和效率。监控系统应用只需要获取每一时刻每个人员的一幅最优脸，从而要求光场监控系统搭建人脸去重模块，降低数据的冗余性。在本实施例中，每个相机独自进行人脸检测获取各自的人脸群，根据人脸检测结果的空间位置关系，对多个人脸群中的人脸元素进行关联形成人脸组，并对存在冗余性的人脸组筛选得到最优人脸，最终在光场监控系统中获取一组不重复的人脸集。最优人脸的定义为，在人脸组中选取最正人脸，以期提高后续的人脸对齐和人脸识别的准确性；人脸群的定义为，人脸检测模块输出的人脸结果，以相机编号为索引；人脸组的定义为人脸群通过空间关联技术形成的以人员编号为索引的人脸结果；而人脸集的定义为，正脸筛选器输出的人脸结果，以人员为编号，每个人员编号下只存在一个人脸。基于上述系统和定义，本实施例利用计算机视觉中的相机标定技术，分别获得N个彩色相机和M个深度相机的内参和旋转矩阵和以及平移向量和tDj。其中i∈[1,N]和j∈[1,M]。设定图像中像素点表示为p＝(x,y)T，对应三维世界物点表示为P＝(X,Y,Z)T。参见图1，图1展示的是本专利技术的一个实施例的流程示意图。步骤一，分别从7个彩色相机、2个深度相机中分别获取监控场景内的人脸群、场景深度信息，通过点云模型重映射生本文档来自技高网...

【技术保护点】
1.一种光场监控的人脸空间去重方法，其特征在于包括如下步骤：步骤一，分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；步骤二，对人脸群进行空间关联，形成人脸组；步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集。

【技术特征摘要】
1.一种光场监控的人脸空间去重方法，其特征在于包括如下步骤：步骤一，分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；步骤二，对人脸群进行空间关联，形成人脸组；步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集。2.根据权利要求1所述的一种光场监控的人脸空间去重方法，其特征在于：步骤一中，基于场景深度信息在监控场景内生成点云模型。3.根据权利要求2所述的一种光场监控的人脸空间去重方法，其特征在于：根据彩色相机的内参数、旋转矩阵以及平移向量，将点云模型中的每一个三维点映射至彩色相机的像素点，形成深度信息。4.根据权利要求1、2或3所述的一种光场监控的人脸空间...

【专利技术属性】
技术研发人员：朱康，吴旻烨，石志儒，
申请(专利权)人：曜科智能科技上海有限公司，
类型：发明
国别省市：上海,31