三维人脸识别方法、装置、终端设备及计算机可读介质制造方法及图纸

本发明专利技术实施例提供了一种三维人脸识别方法、装置、终端设备及计算机可读介质，所述方法包括：获取实际场景的近红外图像和深度图像；对近红外图像和深度图像进行归一化处理，并提取实际场景中的人脸的第一多维度特征向量；根据近红外图像中的人脸的关键点，计算人脸的偏转角度，将预先录入的人脸三维模型按照所述偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；归一化处理，并提取第二多维度特征向量；计算第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别，从而可有效识别不同偏转角度的人脸，并提升三维识别效率，且降低背景对人脸识别精度的影响。

3D face recognition method, device, terminal equipment and computer readable medium

【技术实现步骤摘要】
三维人脸识别方法、装置、终端设备及计算机可读介质
本专利技术属于人工智能
，具体是涉及到一种三维人脸识别方法、装置、终端设备及计算机可读介质。
技术介绍
人脸识别是指通过对人脸部特征的比较而识别出身份的过程，目前通用的技术是二维人脸识别，即通过彩色（RGB）或者灰度人脸图像进行二维平面的特征提取并进行身份识别。三维人脸识别指在三维空间中进行人脸特征提取和认证的过程，与二维相比，增加了人脸的深度信息，能够有效提取人脸的三维空间信息，具备天然的防伪能力，能够防止照片和视频的攻击，具有更强的实用价值。已有的基于深度学习的三维人脸识别方法中，一类方法是直接使用彩色图像和深度信息直接作为输入，通过卷积神经网络提取特征，进行比较；另一类方法则是通过彩色和深度图进行重构，得到三维人脸模型后，通过三维卷积神经网络提取特征进行比较。第一类方法识别速度快，精度与二维方法相当，且能够防伪，但受光线影响较大，且人脸偏转时无法识别；第二类方法消耗时间较长，往往需要多帧RGB和深度（depth）图像才能重构出三维人脸模型，而且三维卷积神经网络抽取特征时间较长，这导致这类方法在实际中应用受限。
技术实现思路
有鉴于此，本专利技术实施例提供一种三维人脸识别方法、装置、终端设备及计算机可读介质，能够有效识别不同偏转角度的人脸，同时可提升三维识别效率，并降低背景对人脸识别精度的影响。本专利技术实施例的第一方面提供了一种三维人脸识别方法，包括：获取实际场景的近红外图像和深度图像；对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。本专利技术实施例的第二方面提供了一种三维人脸识别装置，包括：获取模块，用于获取实际场景的近红外图像和深度图像；第一特征提取模块，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；偏转计算模块，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；旋转投影模块，用于将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；第二特征提取模块，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；识别模块，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述三维人脸识别方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述三维人脸识别方法的步骤。本专利技术实施例提供的三维人脸识别方法，获取实际场景的近红外图像和深度图像，对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量，将预先录入的人脸三维模型按照实际场景获取的人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像，对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量，计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别，从而可有效识别不同偏转角度的人脸，同时可提升三维识别效率，并降低背景对人脸识别精度的影响。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种三维人脸识别方法的流程图；图2是本专利技术实施例提供的另一种三维人脸识别方法的流程图；图3本专利技术实施例提供的一种三维人脸识别装置的结构示意图；图4是图3中的第一特征提取模块的细化结构示意图；图5是图4中的预处理单元的细化结构示意图；图6是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。请参阅图1，图1是本专利技术实施例提供的一种三维人脸识别方法。如图1所示，本实施例的三维人脸识别方法包括以下步骤：S101：获取实际场景的近红外图像和深度图像。在本专利技术实施例中，在实际场景下，可通过深度摄像头设备获取待识别的对齐的近红外（ir）图像和深度（depth）图像。深度图像中的每个像素点的值表示该像素点上的物体距离深度摄像头的距离值。近红外图像中的每个像素点与深度信息中的每个点是一一对应的，即二者是对齐的。此外，在获取实际场景的近红外图像和深度图像之前，还可录入人脸三维模型。具体地，待录入人员可位于摄像头正前方50-80厘米处，保持人脸正对深度摄像头，并按照提示向上、下、左、右偏转头部，此时可获得待录入人员的人脸的不同角度的近红本文档来自技高网...

【技术保护点】
1.一种三维人脸识别方法，其特征在于，包括：/n获取实际场景的近红外图像和深度图像；/n对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；/n根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度

【技术特征摘要】
1.一种三维人脸识别方法，其特征在于，包括：
获取实际场景的近红外图像和深度图像；
对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度；其中，表示所述人脸的俯仰角度，表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，表示所述人脸的左右偏转角度；
将预先录入的人脸三维模型按照所述人脸的偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。


2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述获取实际场景的近红外图像和深度图像之前，还包括：
录入人脸三维模型。


3.根据权利要求2所述的三维人脸识别方法，其特征在于，所述录入人脸三维模型，包括：
录入待录入人员的人脸的不同角度的近红外图像和深度图像；所述近红外图像中的每个像素点与深度信息中的每个点一一对应的；
基于所述不同角度的近红外图像和深度图像，通过三维人脸重建算法，得到录入的人脸三维模型。


4.根据权利要求1所述的三维人脸识别方法，其特征在于，所述对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量，包括：
对所述实际场景的近红外图像中的人脸中的关键点进行定位；
根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像；
将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络的输出所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。


5.根据权利要求4所述的三维人脸识别方法，其特征在于，所述根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像，包括：
对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；
使用所述关键点的位置坐标，获取所述完整的深度图像上对应关键点的深度值，并计算这些深度值的最大值和最小值；
将仅包含人脸区域的深度图像中所有深度值小于或者深度值大于的点赋值为0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；
将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围...

【专利技术属性】
技术研发人员：陈俊逸，
申请(专利权)人：长沙小钴科技有限公司，
类型：发明
国别省市：湖南;43