人脸识别方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种人脸识别方法、装置、电子设备及存储介质，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。提高了3D人脸识别精度。

Face recognition methods, devices, electronic devices and storage media

【技术实现步骤摘要】
人脸识别方法、装置、电子设备及存储介质
本申请涉及人脸识别
，更具体地说，涉及一种人脸识别方法、装置、电子设备及存储介质。
技术介绍
人脸识别广泛应用于身份鉴定、信息安全、刑事侦破、出入口控制等领域。目前，主流的人脸识别方法是二维(2D)人脸识别方法，2D人脸识别方法虽然具有运算量小，识别快的特点，但是因为提取的特征比较局限，在复杂的场景中容易判别错误。为了弥补这一不足，三维(3D)人脸识别应用而生。然而，专利技术人研究发现，基于传统方法(传统方法主要采用数据方法，从图像数据中提取特征，基于提取的特征进行人脸识别)的3D人脸识别方法只提取脸部的一些局部特征(如眼、口、鼻等区域的特征)进行人脸匹配，对于脸部稍微相似的人就容易判断错误，识别精度较低。而基于神经网络的3D人脸识别方法虽然可以提高识别精度，但其是以具有足够多的训练样本为前提的，而事实是，目前的3D人脸数据非常少，因而，目前基于神经网络的3D人脸识别方法的识别精度也较低。
技术实现思路
本申请的目的是提供一种人脸识别方法、装置、电子设备及存储介质，以提高3D人脸识别精度，具体包括如下技术方案：一种人脸识别方法，包括：获取深度图像；根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；从姿态校正后的人脸区域中裁剪出目标区域；对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；将所述归一化的点云数据映射为平面三通道图像；将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。上述方法，优选的，所述根据所述深度图中的人脸区域的点云数据，对所述人脸区域进行姿态校正，包括：对与所述深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标；根据所述人脸区域坐标和多个关键点坐标，从所述深度图像中确定待处理人脸区域和多个关键点；根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵；利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正。上述方法，优选的，所述多个关键点包括：两个眼球点、鼻尖和两个嘴角点；在根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵之前还包括：获取所述鼻尖点周围预设区域内各个像素的深度值；将所述预设区域内所有像素的深度值的中值作为所述鼻尖点最终的深度值。上述方法，优选的，在确定所述鼻尖点最终的深度值之后，在利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正之前还包括：将所述深度图中深度值小于所述鼻尖点最终的深度值的像素点，以及深度值与所述鼻尖点最终的深度值的差值大于预设阈值的像素点删除。上述方法，优选的，所述人脸区域的点云数据利用如下公式获取得到：z＝(double)I(i，j)/sx＝(j-cx)*z/fxy＝(i-cy)*z/fy其中，I代表一帧深度图像；I(i，j)是指图像矩阵中(i，j)位置的深度值；double是用来数据格式转换；fx，fy是采集所述深度图的摄像头的焦距；cx，cy是像主点坐标；s是倾斜参数；x，y，z是转换之后的点云坐标。上述方法，优选的，第二类样本数据通过如下方法获得：对应图像采集装置采集的每一帧深度图像，以鼻尖点为中心，从该帧深度图像的点云数据中截取距离鼻尖点最近的第一预设数量的点云数据作为人脸点云数据；对于图像采集装置采集的任意两帧深度图像，根据截取的人脸点云数据计算该两帧深度图像的差异；按照差异由大到小的顺序，将差异最大的第二预设数量的深度图像对作为目标深度图对；对应每一目标深度图像对，利用该目标深度图像对中两帧深度图像的点云数据，计算得到新的人脸点云数据；对于每一新的人脸点云数据，对该新的人脸点云数据进行多种增强处理，得到增强的人脸点云数据，每一种增强处理均进行一次姿态旋转并增加噪声；对于每一增强的人脸点云数据，对该增强的人脸点云数据进行归一化处理；将归一化的增强的人脸点云数据映射为平面三通道图像，得到第二类样本数据。上述方法，优选的，所述人脸识别模型为四层卷积神经网络。一种人脸识别装置，包括：获取模块，用于获取深度图像；校正模块，用于根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；裁剪模块，用于从姿态校正后的人脸区域中裁剪出目标区域；归一化模块，用于对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；映射模块，用于将所述归一化的点云数据映射为平面三通道图像；识别模块，用于将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。一种电子设备，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如上任一项所述的人脸识别方法的各个步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的人脸识别方法的各个步骤。通过以上方案可知，本申请提供的一种人脸识别方法、装置、电子设备及存储介质，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。由于训练人脸识别模型所使用的样本数据中增加了基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，增加了训练样本的数量，结合对待识别的深度图像中的人脸进行了姿态校正，从而提高3D人脸识别精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图本文档来自技高网...

【技术保护点】
1.一种人脸识别方法，其特征在于，包括：/n获取深度图像；/n根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；/n从姿态校正后的人脸区域中裁剪出目标区域；/n对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；/n将所述归一化的点云数据映射为平面三通道图像；/n将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。/n

【技术特征摘要】
1.一种人脸识别方法，其特征在于，包括：
获取深度图像；
根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
从姿态校正后的人脸区域中裁剪出目标区域；
对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
将所述归一化的点云数据映射为平面三通道图像；
将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图中的人脸区域的点云数据，对所述人脸区域进行姿态校正，包括：
对与所述深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标；
根据所述人脸区域坐标和多个关键点坐标，从所述深度图像中确定待处理人脸区域和多个关键点；
根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵；
利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正。


3.根据权利要求2所述的方法，其特征在于，所述多个关键点包括：两个眼球点、鼻尖和两个嘴角点；
在根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵之前还包括：
获取所述鼻尖点周围预设区域内各个像素的深度值；
将所述预设区域内所有像素的深度值的中值作为所述鼻尖点最终的深度值。


4.根据权利要求3所述的方法，其特征在于，在确定所述鼻尖点最终的深度值之后，在利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正之前还包括：
将所述深度图中深度值小于所述鼻尖点最终的深度值的像素点，以及深度值与所述鼻尖点最终的深度值的差值大于预设阈值的像素点删除。


5.根据权利要求1所述的方法，其特征在于，所述人脸区域的点云数据利用如下公式获取得到：
z＝(double)I(i，j)/s
x＝(j-cx)*z/fx
y＝(i-cy)*z/fy
其中，I代表一帧深度图像；I(i，j)是指图像矩阵中(i，j)位置的深度值；double是用来数据格式转换；fx...

【专利技术属性】
技术研发人员：张彦博，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11