一种基于RGB-D相机的人脸识别方法及系统技术方案

本发明专利技术公开了一种基于RGB‑D相机的人脸识别方法及系统，属于安防监控技术领域，包括分别获取人脸的RGB图像和深度图像；对当前环境的光强度进行检测，得到当前环境的光强度；将当前环境的光强度与设定的光强阈值进行比较；在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像进行人脸检测，随后提取对应的人脸三维点云进行人脸识别。本发明专利技术在光线较好的情况下，直接使用RGB图像进行2D图像识别；在光线较差时，2D图像只是提供检测人脸作用，而不进行2D识别，采用3D点云进行人脸识别，提高了不同光线强度下人脸识别的稳定性和准确性。

A face recognition method and system based on rgb-d camera

The invention discloses a face recognition method and system based on RGB \u2011 D camera, belonging to the field of security monitoring technology, including obtaining RGB image and depth image of face respectively; detecting the light intensity of current environment to obtain the light intensity of current environment; comparing the light intensity of current environment with the set light intensity threshold; the light intensity of current environment is greater than or equal to the set light intensity threshold When the intensity threshold is set, the RGB image is used for face recognition; when the light intensity of the current environment is less than the set intensity threshold, the RGB image is used for face detection, and then the corresponding 3D face point cloud is extracted for face recognition. In the case of good light, the invention directly uses RGB image for 2D image recognition; in the case of poor light, 2D image only provides the function of detecting human face, instead of 2D recognition, adopts 3D point cloud for face recognition, which improves the stability and accuracy of face recognition under different light intensity.

【技术实现步骤摘要】
一种基于RGB-D相机的人脸识别方法及系统
本专利技术涉及安防监控
，特别涉及一种基于RGB-D相机的人脸识别方法及系统。
技术介绍
目前，普遍应用与人脸识别的摄像头均是RGB摄像头，识别算法也均是基于2D人脸图像提取特征，进行特征匹配来识别人脸。其存在的缺陷在于：一是，RGB摄像头在光线较差时，拍摄的图像质量会严重下降，从而降低了人脸识别的精度；二是，即使采取了补光灯也是高强度的白光灯，白光对人眼刺激比较强烈，会给用户带来不适感。
技术实现思路
本专利技术的目的在于解决上述
技术介绍
存在的问题，以提高人脸识别的准确度。为实现以上目的，一方面，采用一种基于RGB-D相机的人脸识别方法，包括如下步骤：分别获取人脸的RGB图像和深度图像；对当前环境的光强度进行检测，得到当前环境的光强度；将当前环境的光强度与设定的光强阈值进行比较；在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。进一步地，所述对当前环境的光强度进行检测，得到当前环境的光强度，包括：将所述RGB图像转换成HSI图像，并提取I通道的图像；根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。进一步地，所述在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别，包括：在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；在当前环境的光强度大于或等于设定的强度阈值时，实时采集的人脸RGB图像进行特征提取，得到特征向量；将该特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别。进一步地，在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别，包括：在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像；提取该RGB图像上人脸所在的区域(ui,vi)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。进一步地，所述映射公式为：其中，(u,v)是所述RGB图像上对应点的坐标值，Ir是彩色相机内参，T是RGB摄像头坐标系和深度摄像头坐标系之间的[Rt]位姿变换矩阵，p＝(x,y,z,1)T表示三维点坐标，*表示乘积。进一步地，在所述在当前环境的光强度小于或等于设定的强度阈值时，还包括：启动红外补光灯，对当前环境的红外线强度进行补光。另一方面，采用一种基于RGB-D相机的人脸识别系统，包括RGB-D相机和识别设备，RGB-D相机输出端和识别设备连接，识别设备包括图像采集模块、光强度计算模块、比较模块、第一人脸识别模块和第二人脸识别模块；RGB-D相机用于拍摄人脸的RGB图像和深度图像；图像采集模块用于对RGB-D相机拍摄的RGB图像和深度图像进行采集；光强度计算模块对当前环境的光强度进行检测，得到当前环境的光强度；比较模块用于将当前环境的光强度与设定的光强阈值进行比较；第一识别模块用于在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；第二识别模块用于在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。进一步地，所述光强度计算模块包括转换单元和计算单元：转换单元用于将所述RGB图像转换成HSI图像，并提取I通道的图像；计算单元用于根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。进一步地，所述第二识别模块包括第一映射单元、提取单元、第二映射单元和匹配单元；第一映射单元用于在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像，并提取该RGB图像上人脸所在的区域(ui,vi)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；提取单元用于对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；第二映射单元用于在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；匹配单元用于对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。进一步地，还包括与所述识别设备连接的门禁执行模块；门禁执行模块用于根据所述识别设备输出的识别结果，控制闸机口打开/关闭。与现有技术相比，本专利技术存在以下技术效果：本专利技术在光线较好的情况下，直接使用RGB图像进行2D图像识别；在光线较差时，2D图像只是提供检测人脸作用，而不进行2D识别，采用3D点云进行人脸识别，提高了不同光线强度下人脸识别的稳定性和准确性。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种基于RGB-D相机的人脸识别方法的流程示意图；图2是一种基于RGB-D相机的人脸识别系统的结构示意图；图3是人脸识别的原理框图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1所示，本实施例公开了一种基于RGB-D相机的人脸识别方法，包括如下步骤S1-S5：S1、分别获取人脸的RGB图像和深度图像；需要说明的是，可以利用RGB-D相机进行人脸图像采集，RGB-D相机包括两类摄像头，一类是RGB摄像头，用于拍摄人脸的RGB图像，另一类是深度摄像头，用于拍摄人脸的深度图像。S2、对当前环境的光强度进行检测，得到当前环境的光强度；S3、将当前环境的光强度与设定的光强阈值进行比较；S4、在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；S5、在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。需要说明的是，本实施例中强度阈值的设置是在实验室条件下，控制室内的光线，通过采集人脸的RGB图像的识别效果上来进行设定。当RGB图像上识别错误率较高时，此时可以大致判定为当前光本文档来自技高网...

【技术保护点】
1.一种基于RGB-D相机的人脸识别方法，其特征在于，包括：/n分别获取人脸的RGB图像和深度图像；/n对当前环境的光强度进行检测，得到当前环境的光强度；/n将当前环境的光强度与设定的光强阈值进行比较；/n在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；/n在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。/n

【技术特征摘要】
1.一种基于RGB-D相机的人脸识别方法，其特征在于，包括：
分别获取人脸的RGB图像和深度图像；
对当前环境的光强度进行检测，得到当前环境的光强度；
将当前环境的光强度与设定的光强阈值进行比较；
在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别；
在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别。


2.如权利要求1所述的基于RGB-D相机的人脸识别方法，其特征在于，所述对当前环境的光强度进行检测，得到当前环境的光强度，包括：
将所述RGB图像转换成HSI图像，并提取I通道的图像；
根据I通道的图像，计算I通道的图像的平均值并将其作为当前环境的光强度值。


3.如权利要求1所述的基于RGB-D相机的人脸识别方法，其特征在于，所述在当前环境的光强度大于或等于设定的强度阈值时，利用所述RGB图像进行人脸识别，包括：
在环境光强度大于或等于设定的强度阈值时，预先采集人脸的RGB图像和深度图像构成第一训练数据集，并对第一训练集中的RGB图像进行特征提取，将得到的第一特征向量存储至数据库；
在当前环境的光强度大于或等于设定的强度阈值时，对实时采集的人脸RGB图像进行特征提取，得到特征向量；
将该特征向量与数据库中存储的第一特征向量进行匹配，进行人脸识别。


4.如权利要求1所述的基于RGB-D相机的人脸识别方法，其特征在于，在当前环境的光强度小于设定的强度阈值时，利用所述RGB图像和深度图像进行人脸识别，包括：
在环境的光强度小于设定的强度阈值时，预先采集人脸的RGB图像和深度图像；
提取该RGB图像上人脸所在的区域(ui,vi)(i＝1,2,....n)，并利用映射公式将所述RGB图像映射到所述深度图像上，得到三维点云数据以构建第二训练数据集；
对第二训练数据集中的三维点云数据进行特征提取，并将提取到的第二特征向量存储至数据库；
在当前环境的光强度小于设定的强度阈值时，利用所述映射公式对实时采集的人脸的RGB图像和深度图像进行处理，得到实时三维点云数据；
对实时三维点云数据特征进行提取，并将提取到的特征向量与数据库中的第二特征向量进行匹配，进行人脸识别。


5.如权利要求4所述的基于RGB-D相机的人脸识别方法，其特征在于，所述映射公式为：



其中，(u,v)是所述RGB图像上对应点的坐标值，Ir是彩色相机内参，T是RGB摄像头坐标系和深度摄像头坐标系之间的[Rt]位姿变换矩阵，p＝(x...

【专利技术属性】
技术研发人员：石雪梅，万磊，朱克亮，邵先锋，刘流，杨泰朋，朱栋，
申请(专利权)人：国网安徽省电力有限公司建设分公司，
类型：发明
国别省市：安徽;34