基于TOF摄像模组的人脸识别方法、人脸识别装置和电子设备制造方法及图纸

本发明专利技术涉及基于TOF摄像模组的人脸识别方法、人脸识别装置和电子设备。该人脸识别方法包括：获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；对所述被测人脸的RGBD融合图像进行人脸检测，以获得人脸区域框，所述人脸区域框，用于界定所述被测人脸的深度点云数据中的人脸区域；基于所述人脸区域框，提取所述被测人脸的深度点云数据中的人脸区域点云；对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征；对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征；融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征；通过分类器对所述融合人脸特征进行处理，以获得人脸识别结果。

Face recognition method, face recognition device and electronic equipment based on TOF camera module

【技术实现步骤摘要】
基于TOF摄像模组的人脸识别方法、人脸识别装置和电子设备
本专利技术涉及人脸识别领域，尤其涉及基于TOF摄像模组的人脸识别方法、人脸识别装置和电子设备。
技术介绍
现代社会中，准确可靠地个人身份确认越来越受到人们的重视。识别技术主要包括基于指纹、虹膜、人脸等人体生物特征的方法，其中，基于指纹和虹膜的身份认证具有很高的准确性和可靠性，这些特征都具有唯一性，但由于使用时需要用户配合等因素使其应用受到限制，而人脸识别因其具有自然、友好等优势有着更广阔的应用前景。传统的二维人脸识别是基于图像的亮度信息进行身份确认的，但因为受光照、姿态及化妆等因素影响较大，故而近年来人脸识别研究开始从二维图像扩展到三维空间上。现有技术中，进行三维空间上的人脸识别研究时，完全抛弃了二维人脸信息，计算复杂且对三维人脸精度要求过高，效率低下。比如在专利CN107247916A和专利CN106096503A中，尤其是在CN106096503A中，采用三维人脸关键点并对比特征点信息的方法衡量两个人脸曲面的相似度，特征点提取算法复杂且准确性有待验证，三维信息有所损失，而且精度也不高。尽管三维信息能够更准确地描述人脸的面部特征，提取的某些特征具有缸体变换不变性，不易受找光照和姿态影响，能够有效地放置图片和视频造成的入侵，但是三维信息量庞大，对算法的要求太高。
技术实现思路
本专利技术的一个主要优势在于提供一种基于TOF摄像模组的人脸识别方法、人脸识别装置和电子设备，其中所述人脸识别方法基于被测人脸的二维信息和三维信息进行人脸识别，以具有更优的性能。本专利技术的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。依本专利技术的一个方面，本申请提供一种基于TOF摄像模组的人脸识别的方法，其包括：通过TOF摄像模组，获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；对所述被测人脸的RGBD融合图像进行人脸检测，以获得人脸区域框，所述人脸区域框，用于界定所述被测人脸的深度点云数据中的人脸区域；基于所述人脸区域框，提取所述被测人脸的深度点云数据中的人脸区域点云；对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征；对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征；融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征；以及通过分类器对所述融合人脸特征进行处理，以获得人脸识别结果。在本专利技术一实施例中，对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征，包括：对所述人脸区域点云进行预处理，其中，所述预处理过程，包括：对所述人脸区域点云进行滤波处理；去除所述人脸区域点云中的离群点；对经过滤波处理和离群点去除处理之后的所述人脸区域点云进行点云网格重建；对经过点云网格重建的所述人脸区域点云进行非刚体配准；以及通过深度神经网络模型对经过预处理之后的所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征。在本专利技术一实施例中，对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征，包括：对所述RGB图像进行归一化处理；将经过归一化处理之后的所述RGB图像对齐至标准模板；以及通过深度神经网络模型对对齐至标准模板之后的所述RGB图像进行处理，以获得所述RGB图像中的人脸特征。在本专利技术一实施例中，在对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征之前，还包括：对所述被测人脸的RGBD融合图像进行人脸检测，以获得所述RGBD融合图像中的人脸特征点；基于该TOF摄像模组，获得所述RGBD融合图像中的人脸特征点所述人脸特征点的三维坐标；以及基于所述人脸特征点的三维坐标，确定具有所述被测人脸的被测对象是否为活体。在本专利技术一实施例中，基于所述人脸特征点的三维坐标，确定被测对象是否为活体，包括：基于所述人脸特征点的三维坐标，拟合出一个参考平面；获得各所述人脸特征点至所述参考平面的距离之和；以及响应于该距离之和大于预设阈值，确定所述被测对象为活体。在本专利技术一实施例中，融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征，包括：分别赋值一相乘系数于所述RGB图像中的人脸特征有关的数据和所述人脸区域点云中的人脸特征有关的数据，以融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征。根据本专利技术的另一个方面，还提供一种基于TOF摄像模组的人脸识别装置，其包括：图像获取单元，用于获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；人脸检测单元，用于对所述被测人脸的RGBD融合图像进行人脸检测，以获得人脸区域框，所述人脸区域框，用于界定所述被测人脸的深度点云数据中的人脸区域；人脸区域点云提取单元，用于基于所述人脸区域框，提取所述被测人脸的深度点云数据中的人脸区域点云；人脸特征提取单元，用于对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征；以及，对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征；融合单元，用于融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征；以及人脸识别单元，用于通过分类器对所述融合人脸特征进行处理，以获得人脸识别结果。根据本专利技术一实施例，所述人脸特征提取单元，还用于：对所述人脸区域点云进行预处理，其中，所述预处理过程，包括：对所述人脸区域点云进行滤波处理；去除所述人脸区域点云中的离群点；对经过滤波处理和离群点去除处理之后的所述人脸区域点云进行点云网格重建；对经过点云网格重建的所述人脸区域点云进行非刚体配准；以及通过深度神经网络模型对经过预处理之后的所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征。在本专利技术一实施例中，所述人脸特征提取单元，还用于：对所述RGB图像进行归一化处理；将经过归一化处理之后的所述RGB图像对齐至标准模板；以及通过深度神经网络模型对对齐至标准模板之后的所述RGB图像进行处理，以获得所述RGB图像中的人脸特征。在本专利技术一实施例中，所述的人脸识别装置，还包括：活体检测单元，用于：对所述被测人脸的RGBD融合图像进行人脸检测，以获得所述RGBD融合图像中的人脸特征点；基于该TOF摄像模组，获得所述RGBD融合图像中的人脸特征点所述人脸特征点的三维坐标；以及基于所述人脸特征点的三维坐标，确定具有所述被测人脸的被测对象是否为活体。根据本专利技术一实施例，所述活体检测单元，还用于：基于所述人脸特征点的三维坐标，拟合出一个参考平面；获得各所述人脸特征点至所述参考平面的距离之和；以及响应于该距离之和大于预设阈值，确定所述被测对象为活体。...

【技术保护点】
1.一种基于TOF摄像模组的人脸识别方法，其特征在于，包括：/n通过TOF摄像模组，获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；/n对所述被测人脸的RGBD融合图像进行人脸检测，以获得人脸区域框，所述人脸区域框，用于界定所述被测人脸的深度点云数据中的人脸区域；/n基于所述人脸区域框，提取所述被测人脸的深度点云数据中的人脸区域点云；/n对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征；/n对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征；/n融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征；以及/n通过分类器对所述融合人脸特征进行处理，以获得人脸识别结果。/n

【技术特征摘要】
1.一种基于TOF摄像模组的人脸识别方法，其特征在于，包括：
通过TOF摄像模组，获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；
对所述被测人脸的RGBD融合图像进行人脸检测，以获得人脸区域框，所述人脸区域框，用于界定所述被测人脸的深度点云数据中的人脸区域；
基于所述人脸区域框，提取所述被测人脸的深度点云数据中的人脸区域点云；
对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征；
对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征；
融合所述RGB图像中的人脸特征和所述人脸区域点云中的人脸特征，以获得融合人脸特征；以及
通过分类器对所述融合人脸特征进行处理，以获得人脸识别结果。


2.根据权利要求1所述的人脸识别方法，其特征在于，对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征，包括：
对所述人脸区域点云进行预处理，其中，所述预处理过程，包括：对所述人脸区域点云进行滤波处理；去除所述人脸区域点云中的离群点；对经过滤波处理和离群点去除处理之后的所述人脸区域点云进行点云网格重建；对经过点云网格重建的所述人脸区域点云进行非刚体配准；以及
通过深度神经网络模型对经过预处理之后的所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征。


3.根据权利要求1所述的人脸识别方法，其特征在于，对所述被测人脸的RGB图像进行处理，以获得所述RGB图像中的人脸特征，包括：
对所述RGB图像进行归一化处理；
将经过归一化处理之后的所述RGB图像对齐至标准模板；以及
通过深度神经网络模型对对齐至标准模板之后的所述RGB图像进行处理，以获得所述RGB图像中的人脸特征。


4.根据权利要求1-3任一所述的人脸识别方法，其特征在于，在对所述人脸区域点云进行处理，以获得所述人脸区域点云中的人脸特征之前，还包括：
对所述被测人脸的RGBD融合图像进行人脸检测，以获得所述RGBD融合图像中的人脸特征点；
基于该TOF摄像模组，获得所述RGBD融合图像中的人脸特征点所述人脸特征点的三维坐标；以及
基于所述人脸特征点的三维坐标，确定具有所述被测人脸的被测对象是否为活体。


5.根据权利要求4所述的人脸识别方法，其特征在于，基于所述人脸特征点的三维坐标，确定被测对象是否为活体，包括：
基于所述人脸特征点的三维坐标，拟合出一个参考平面；
获得各所述人脸特征点至所述参考平面的距离之和；以及
响应于该距离之和大于预设阈值，确定所述被测对象为活体。


6.一种基于TOF摄像模组的人脸识别装置，其特征在于，包括：
图像获取单元，用于获取被测人脸的RGBD融合图像、RGB图像和深度点云数据；
人脸检测单元，用...

【专利技术属性】
技术研发人员：刘静，陈文，戴怡洁，豆彩霞，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：浙江;33