一种基于RGBD相机的人脸检测和修复方法技术

一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤2：在两个图像数据上分别进行人脸检测；步骤3：确定图像数据中的人脸特征向量；步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系，所以深度图像人脸和红外图像人脸有相同的位置；通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能。

A face detection and repair method based on RGBD camera

A face detection and restoration method based on RGBD camera is proposed. The following steps are adopted: 1. RGB camera and infrared camera are used to form a binocular camera system, and image data are obtained from RGB camera and infrared camera respectively; 2. face detection is performed on two image data; 3. determination of the image data in the image data. Step 4: Use the corresponding matrix of two cameras to calculate the approximate coordinate position of the key point coordinate vectors on the RGB image on the infrared image, and select the smallest distance among the key feature vectors detected on the infrared image as the optimal matching result; because the depth image is by The infrared image is computed, so the depth image and the infrared image pixels generally keep one-to-one correspondence, so the depth image face and the infrared image face have the same location; through the joint processing of the RGB camera image and the depth image, the RGBD data can be collected at the same time to complete the face detection on the two kinds of data. Match. This makes it possible for high-level applications in the field of face image processing based on RGBD.

【技术实现步骤摘要】
一种基于RGBD相机的人脸检测和修复方法
本专利技术涉及人脸识别领域，具体涉及一种基于RGBD相机的人脸检测和修复方法。
技术介绍
人脸识别在安防领域发挥着重要作用,而在目前的人脸识别系统以及相关应用中,绝大部分使用的都是RGB图像数据,RGB图像数据有一些固有缺陷,作为二维数据,它在将三维信息投影到二维空间的过程中,丢失了深度信息,我们无法从二维图像中获取物体或者人脸的立体信息。高精度的三维重建方案能重建场景中不同物体的三维信息,但是高成本和低速率导致此类产品无法在目前的普通场景中得到大量应用。深度相机相对来说价格便宜,数据帧率高,可以实时反馈数据,它除了提供RGB图像之外还能提供红外图像和深度图像,其中深度图像提供场景中物体的立体信息。但是深度相机的缺点是精度稍低,而且利用算法产生的深度数据可能是不完整的。在使用深度相机完成人脸识别以及相关应用的时候,我们不能只获取深度图像,因为深度图像虽然包含立体信息,但是它并不包含物体的纹理信息,而纹理信息是RGB图像提供的,所以我们需要同时采集包含人脸信息的RGB图像和深度图像。但是一般来说RGB图像和深度图像上的点并不是一一对应的,所以当我们想要把RGB图像上的人脸与深度图像上的人脸关联起来的时候就会出现找不到深度图像上的人脸的问题,或者当RGB图像上同时出现几张人脸的时候,我们就没有办法在深度图像上找到RGB图像上对应的人脸。而且深度图像上的人脸信息有可能因为无法正常反射激光导致数据缺失。以上的问题都给基于RGBD的人脸识别以及相关应用带来了困难。
技术实现思路
本专利技术针对现有技术的不足，提出一种基于RGBD相机的人脸检测和修复方法，具体技术方案如下：一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；步骤6：对拟合完成的3D人脸进行点云修复；步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。进一步地：所述步骤6包括以下步骤，步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；步骤62：利用深度图像重建的点云数据作为该点的修复数据；步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域上有数据，如果是，则进入步骤64，否则进入步骤65；步骤64：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；步骤65：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点。进一步地：所述步骤1包括如下步骤：所述步骤1包括如下步骤：步骤1-1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤1-2：在两个图像数据上分别进行人脸检测,因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；步骤1-3：确定图像数据中的人脸特征向量；步骤1-4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果。本专利技术的有益效果为：本专利技术在目前国内外市场上的主流深度相机的基础上完成了基于RGBD图像的人脸检测与匹配系统,通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能,比如基于RGBD的活体检测,3D人脸识别,3D人脸重建等。同时基于RGBD的人脸修复可以让活体检测和3D人脸识别在原来的基础上提高准确度。附图说明图1为本专利技术的工作流程图。具体实施方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。如图1所示：一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤2：在两个图像数据上分别进行人脸检测因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；步骤3：确定图像数据中的人脸特征向量；步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；步骤5：利用RGB图像人脸数据，基于3DMM技术，该3DMM技术为3DMorphableModel，建立3D人脸点云模型；步骤6：使用深度图像数据重建人脸点云，该具体方式为该步骤只需要利用已经得到的深度图像人脸数据搭配摄像机内参，将深度图像数据转换为由现实坐标中的三维坐标(x，y，z)组成的点云，具体的转换方法如下，其中Zc是深度图像上点(u，v)的深度值，u0和v0是摄像机主点在图像上的坐标，f为摄像机焦距：xw＝zc*(u-u0)*dx/fyw＝zc*(v-v0)*dy/fzw＝zc；步骤7：将步骤5和步骤6得到的两个人脸点云进行拟合，该拟合方法具体为采用最近迭代点算法或者其改进算法，可以将两个点云经过不断的迭代，不断地缩小两个点云之间的距离，达到点云数据配准拟合的效果；步骤8：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；步骤9：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤10，否则，进入步骤11；步骤10：利用深度图像重建的点云数据作为该点的修复数据步骤11：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域点上有数据，如果是，则进入步骤12，否则进入步骤13；步骤12：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；步骤13：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点；步骤14：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。本文档来自技高网...

【技术保护点】
1.一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；步骤6：对拟合完成的3D人脸进行点云修复；步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。

【技术特征摘要】
1.一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；步骤6：对拟合完成的3D人脸进行点云修复；步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。2.根据权利要求1所述一种基于RGBD相机的人脸检测和修复方法，其特征在于：所述步骤6包括以下步骤，步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；步骤62：利用深度图像重建的点云数据作为该点的修复数据；步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻...

【专利技术属性】
技术研发人员：程子翰，周曦，
申请(专利权)人：广州云从信息科技有限公司，
类型：发明
国别省市：广东,44