一种融合2D与3D的人脸识别方法及系统技术方案

本公开公开了一种融合2D与3D的人脸识别方法及系统，该方法包括：接收2D图像数据和3D图像数据，分别进行图像预处理；将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。

A face recognition method and system combining 2D and 3D

The present disclosure discloses a face recognition method and system integrating 2D and 3D. The method includes: receiving 2D image data and 3D image data, respectively performing image preprocessing; detecting and aligning 2D face of the preprocessed 2D image, performing face recognition to obtain 2D recognition result; automatically aligning and recognizing 3D face of the preprocessed 3D image and 2D recognition result to obtain 3D recognition The final face recognition result is obtained by fusing 2D recognition result with 3D recognition result.

【技术实现步骤摘要】
一种融合2D与3D的人脸识别方法及系统
本公开属于人脸识别的
，涉及一种融合2D与3D的人脸识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。2D与3D人脸识别是多学科交叉的研究课题，同属计算机视觉领域。2D人脸识别的发展历史较长，取得了较多的研究成果并已经被广泛应用。然而，专利技术人在研究过程中发现，3D人脸识别的仍是一个待解决的难题，分析和识别3D人脸已经成为三维数据处理的一个重要分支。由于2D图像是三维物体在平面上的投影，2D人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。因此，如何充分利用人脸的二维和三维信息，提高系统的识别性能是近年来的研究热点。在现有技术中，通常的人脸识别手段以2D图像为主，分为局部的人脸识别方法与全局的人脸识别方法。局部的人脸识别通常需要进行人脸关键点定位，提取关键点周围的图像块进行识别。全局的人脸识别则直接输入整个人脸所在的矩形区域进行识别，可以包括背景。在现有技术中还有部分研究通过2D图像来恢复3D人脸结构信息，如三维人脸主动形变模型，通过统计三维人脸空间中的典型样本进行线性组合，恢复出带有二维纹理的三维面片。相较直接获取深度信息的方式，这种估计方法的误差较大，带来的识别性能提升有限。专利技术人在研究过程中发现，现有的人脸识别方法主要存在以下问题：1)2D图像是三维物体在平面上的简约投影，算法对光照、表情变化或附属物对人脸的遮挡不具有稳定性，会影响识别效果；2)没有充分利用人脸的三维信息，在实际应用中容易被照片、视频等手段欺骗，无法做到静态的活体识别，识别准确率较低。
技术实现思路
针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种融合2D与3D的人脸识别方法及系统，通过融合2D与3D的数据自动预处理和识别结果融合，包括精准3D人脸对齐、深度图差值快速分类等步骤，有效解决2D人脸识别中光照、姿态、表情等外界因素的干扰问题，同时能够区分目标是否为活体目标，保持系统良好的人脸识别性能。根据本公开的一个或多个实施例的一个方面，提供一种融合2D与3D的人脸识别方法。一种融合2D与3D的人脸识别方法，该方法包括：接收2D图像数据和3D图像数据，分别进行图像预处理；将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。进一步地，在该方法中，所述2D图像数据和3D图像数据均包括彩色图像和深度数据，且按照深度信息逐像素对应；所述2D图像数据的图像预处理和所述3D图像数据的图像预处理同时在两个线程进行。进一步地，在该方法中，所述2D图像数据的图像预处理为JPEG格式的图像压缩；所述3D图像数据的图像预处理为3D图像的平滑去燥，具体步骤包括：采用高斯滤波核对三维点云数据进行平滑滤波，剔除滤波后结果数据和原始3D图像数据差值超过预设阈值的外点；采用相同的高斯滤波核，根据周围有效点计算当前深度值期望，进行空洞填充；采用不同的高斯滤波核对对空洞填充厚度三维点云数据进行平滑滤波，得到预处理后的3D图像。进一步地，在该方法中，所述2D图像的人脸识别的具体步骤包括：采用训练好的卷积神经网络对预处理后的2D图像进行人脸检测，同时预测人脸所在矩形框位置和类别；根据预测的人脸所在矩形框位置和类别，进行2D人脸关键点定位；根据定位的2D人脸关键点估计刚性变换，并在预处理后的2D图像的每个像素应用该变换，进行2D人脸对齐将人脸矫正到标准位置；根据2D人脸对齐结果提取关键点周围的图像块，进行2D人脸识别得到2D识别结果。进一步地，在该方法中，所述3D图像的人脸识别的具体步骤包括：根据2D识别结果从预处理后的3D图像的深度数据中分割出人脸所在区域；采用ICP算法匹配轴对称的人脸，计算人脸中轴所在平面的位置，进行3D人脸中轴定位；根据中轴位置将距离中轴基线最远且位于中轴基线最上方的点确定为鼻尖点，进行3D人脸鼻尖定位；根据鼻尖点将其附近靠近眉心侧的点确定为鼻梁，进行3D人脸鼻梁定位；根据定位的鼻尖点和鼻梁确定3D人脸姿态，进行3D人脸对齐将3D人脸矫正到标准的位置，并重新采样，缩放到统一大小，得到当前待识别人脸的深度图；计算当前待识别人脸的深度图与预先存储的深度图计算差值图，采用级联分类器分类差值图得到的分类器分数较高的作为3D识别结果。进一步地，在该方法中，所述人脸所在区域的分割方法的具体步骤包括：根据2D识别结果中2D人脸框内的三维点，拟合一个平面，区分预处理后的3D图像脸前部和后部的点；根据在人脸框中间三分之二区域距离平面距离最大的点，初步确定为预处理后的3D图像的鼻尖点；距离鼻尖点距离小于预设阈值的所有三维点，为三维人脸的所在区域。进一步地，在该方法中，所述将2D识别结果和3D识别结果进行结果融合的具体步骤包括：将2D识别结果和3D识别结果与其对应的分类器权重的乘积之和作为最终的识别结果。根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种融合2D与3D的人脸识别方法。根据本公开的一个或多个实施例的一个方面，提供一种终端设备。一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种融合2D与3D的人脸识别方法。根据本公开的一个或多个实施例的一个方面，提供一种融合2D与3D的人脸识别装置。一种融合2D与3D的人脸识别装置，基于所述的一种融合2D与3D的人脸识别方法，包括：人脸数据采集模块，被配置为接收2D图像数据和3D图像数据，分别进行图像预处理；2D人脸识别模块，被配置为将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；3D人脸识别模块，被配置为将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；识别结果融合模块，被配置为将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。本公开的有益效果：(1)本公开提供的一种融合2D与3D的人脸识别方法及系统，将快速有效的3D人脸识别方法与2D人脸识别的结果相结合，减弱外界环境对系统性能的影响，能够有效避免2D人脸识别中光照、姿态、表情等外界因素的干扰，保持系统良好的人脸识别性能。(2)本公开提供的一种融合2D与3D的人脸识别方法及系统，充分利用了人脸的三维信息，解决2D人脸识别中光照、姿态、表情等外界因素的干扰问题，同时能够区本文档来自技高网...

【技术保护点】
1.一种融合2D与3D的人脸识别方法，其特征在于，该方法包括：/n接收2D图像数据和3D图像数据，分别进行图像预处理；/n将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；/n将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；/n将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。/n

【技术特征摘要】
1.一种融合2D与3D的人脸识别方法，其特征在于，该方法包括：
接收2D图像数据和3D图像数据，分别进行图像预处理；
将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。


2.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像数据和3D图像数据均包括彩色图像和深度数据，且按照深度信息逐像素对应；所述2D图像数据的图像预处理和所述3D图像数据的图像预处理同时在两个线程进行。


3.如权利要求2所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像数据的图像预处理为JPEG格式的图像压缩；所述3D图像数据的图像预处理为3D图像的平滑去燥，具体步骤包括：
采用高斯滤波核对三维点云数据进行平滑滤波，剔除滤波后结果数据和原始3D图像数据差值超过预设阈值的外点；
采用相同的高斯滤波核，根据周围有效点计算当前深度值期望，进行空洞填充；
采用不同的高斯滤波核对对空洞填充厚度三维点云数据进行平滑滤波，得到预处理后的3D图像。


4.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像的人脸识别的具体步骤包括：
采用训练好的卷积神经网络对预处理后的2D图像进行人脸检测，同时预测人脸所在矩形框位置和类别；
根据预测的人脸所在矩形框位置和类别，进行2D人脸关键点定位；
根据定位的2D人脸关键点估计刚性变换，并在预处理后的2D图像的每个像素应用该变换，进行2D人脸对齐将人脸矫正到标准位置；
根据2D人脸对齐结果提取关键点周围的图像块，进行2D人脸识别得到2D识别结果。


5.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述3D图像的人脸识别的具体步骤包括：
根据2D识别结果从预处理后的3D图像的深度数据中分割出人脸所在区域；
采用ICP算法匹配轴对称的人脸，计算人脸中轴所在平面的位置，进行3D人脸中轴定位；
根据中轴位置将距离中轴基线最远且位于中轴基线最上方...

【专利技术属性】
技术研发人员：王跃明，王海滨，
申请(专利权)人：青岛根尖智能科技有限公司，
类型：发明
国别省市：山东;37