一种基于二维和三维融合的特殊人脸表情识别的方法技术

本发明专利技术公开了是一种基于二维和三维融合的特殊人脸表情识别的方法，装置主要包括左摄像头、右摄像头、投影仪和棋盘标定板，左摄像头、右摄像头位于装置的左右两边，投影仪位于左摄像头和右摄像头中点处，棋盘标定板在两摄像头前的共同视野处，三维数据的处理时提出了对深度图进行区域划分的方法，提取出有效区域作为输入数据，其作用是能够降低数据计算量，同时也不会对识别率有太大的影响，将二维数据与三维数据的识别结果进行融合，其作用是提高现有的单独使用二维数据时的识别率，同时降低妆容、光线等环境因素对表情识别的影响。

【技术实现步骤摘要】
一种基于二维和三维融合的特殊人脸表情识别的方法
本专利技术涉及一种人脸表情识别方法，具体地说，是一种基于二维和三维融合的特殊人脸表情识别的方法，具是提取三维信息后辅助二维信息进行人脸表情识别的方法，其中包含了二维与三维的数据获取的方法。
技术介绍
人脸表情识别技术是对表情进行识别的技术，主要利用面部的一些几何、纹理信息等进行剖析处理，传统的表情识别算法的对象大部分面向二维图像，该技术的处理对象是彩色或灰度二维图，利用人脸的纹理信息来进行辨认。二维图像本质上是人脸在某一光照条件下某一角度的亮暗信息，通过算法计算人脸特征点及其之间的关系，从而来进行表情识别，该方法容易受到光照情况、妆容变换等影响。因此，尽管目前二维人脸识别在很多情境下已经可以获得不错的识别率，但仍然存在着不容忽视的缺点。随着科技的发展，三维成像技术的数据采集系统也得到不断完善和成熟，于是越来越多的研究人员参与到三维人脸识别技术的研究中。三维人脸识别的处理对象是人脸部三维点云数据，利用其立体结构信息与数据库中的三维人脸信息进行匹配识别。因此相比于二维人脸表情识别技术，三维人脸表情识别具有以下优势：(1)所用三维数据比二维数据更丰富具体，拥有的细节信息更多，因此能提高准确率；(2)采集所得的三维数据表示的是人脸的立体形状特征，不容易受光照、妆容等影响，因此在适用范围上会比二维人脸识别更广更灵活。尽管三维识别技术具有以上信息量更丰富、抗干扰能力更强等优点，但其也有以下几个不可忽视的缺陷：(1)获取数据方面：受三维获取技术的影响，想要准确获得三维数据存在一定难度；(2)处理数据方面：三维数据处理的算法复杂、计算量比二维数据处理要大，因此对计算机的硬件要求也更大。
技术实现思路
本专利技术正是针对现有技术存在的问题，提供了一种纹理信息与形状信息结合考虑的融合人脸识别法，利用到二维和三维信息各自的优点并克服两者各自的缺点的技术方案，提出了一种三维信息的提取并辅佐二维表情识别的方法，同时给出了二维三维人脸图像信息的获取方法，以及后续进行融合识别的方法。本专利技术是通过以下技术方案来实现的：本专利技术公开一种基于双目结构光的二维三维融合的特殊人脸表情识别方法，实现方法的装置主要包括左摄像头、右摄像头、投影仪和棋盘标定板，左摄像头、右摄像头位于装置的左右两边，所述的投影仪位于左摄像头和右摄像头中点处，棋盘标定板在两摄像头前的共同视野处，具体步骤如下：1)棋盘标定板改变位置和角度的情况下，左摄像头、右摄像头各自对其拍摄图片共15～25组，并依次存储下来；2)单目标定：利用左摄像头拍摄的图片，和棋盘的实际尺寸进行单目标定，得到左摄像头的焦距和畸变参数，右摄像头同理；3)双目标定：等到步骤2)中左右摄像头各自的标定参数后，利用两两对应的图片，计算出摄像头之间的位置关系、映射函数，接着计算出畸变校正和立体校正的映射变换；4)人脸拍摄：在暗环境下，通过投影仪将结构光投射到被测人脸上，并且左右各拍摄一张人脸图片；5)二维表情识别：利用两张二维图片，首先对其进行直方图均衡化和滤波去噪处理；然后进行人脸归一化处理，包括灰度归一化和几何归一化，其中灰度归一化公式为：x＝x/(max+0.0001)(1)x为图片中各个像素点的灰度值，max为灰度值最大点的值；6)三维数据计算：利用左右两图以及双目标定参数，先进行立体匹配，计算出携带三维信息的点云数据；7)三维表情识别：首先利用栅格化处理，将无序的点云数据插值后转变为规则的网格数据，具体插值方法为格点样条函数法，然后存为深度信息图；接下来进行特征点的提取，包括鼻尖点、眼角点、嘴角点；接下来利用特征点对深度图进行区域划分，选取出眼睛和嘴巴部分，重组为后续训练网络所需输入数据的大小的灰度图数据；最后将得到的数据用已完成训练的模型进行表情识别；8)完成步骤1-3后，不断重复步骤4-7，获取足够的二维和三维数据库，并利用自己搭建的网络训练模型进行学习；9)识别过程：重复步骤4-7，获取数据后分别投入两个完成训练的模型中进行识别，得到二维和三维识别下各表情的概率分布后，将其进行相加处理后，选取概率值最大作为最终识别结果。作为进一步地改进，本专利技术所述的几何归一化的具体步骤为：第一步，找到特征点，本文将双眼和鼻尖作为三个特征点，得到双眼间距d，双眼中点O；第二步，利用双眼的坐标值对图片进行旋转变换，使得人脸方向转正；第三步，根据面部的双眼和嘴巴等特征点，确定想要的矩形数据的裁剪区域，以O为原点，上下左右各截取合理范围，包括足够的人脸信息即可；第四步，对截取到的表情区域图像进行尺度变化，使其归一化为相同大小的图片；最后将预处理后得到的灰度值矩阵用已完成训练的模型进行表情识别即可。作为进一步地改进，本专利技术训练数据的获取分为二维数据和三维数据的获取，二维数据完成所述的步骤5)中的预处理后即可存入二维数据库；三维数据完成所述的步骤7)中的预处理后可存入三维数据库，当数据库样本足够大时，各自进行学习训练，得到训练好后的模型，接下来的识别即分别利用两个模型，计算各自的概率分布后进行融合。本专利技术的有益效果如下：为了解决二维识别受光照、妆容等环境因素的影响，三维识别处理困难的问题，提出了一种利用部分三维数据辅助二维图像进行表情识别的方法，给出了二维图像和三维点云的数据获取方法和预处理方法。在自主搭建的训练模型下对二维和三维数据库进行训练并融合，能够提高单独使用二维图像进行人脸表情识别的识别率，尤其是在“恐惧”和“生气”这两个表情下，二维识别正确率相对于其他表情偏低，结合三维数据后能有效提高识别率。同时三维数据提取后，由于进行了区域化融合，所以后续处理难度和计算量均不高。由于初始化后的数据规格一致，三维和二维可以用同一套网络训练模型。三维数据的处理时提出了对深度图进行区域划分的方法，提取出有效区域作为输入数据，其作用是能够降低数据计算量，同时也不会对识别率有太大的影响；将二维数据与三维数据的识别结果进行融合，其作用是提高现有的单独使用二维数据时的识别率，同时降低妆容、光线等环境因素对表情识别的影响。附图说明图1是本专利技术双目结构光获二维和三维数据的结构示意图；1是左摄像头，2是右摄像头，3是投影仪，4是棋盘标定板，5是被测人脸。具体实施方式本专利技术的目的是针对现有的二维表情识别在妆容、光照等外界因素下对表情识别存在干扰，同时三维数据获取和处理困难的情况下，提出了一种三维信息的提取并辅佐二维表情识别的方法，同时给出了二维三维人脸图像信息的获取方法，实现本专利技术方法的装置包括左摄像头1、右摄像头2、投影仪3和棋盘标定板4，所述的左摄像头1和右摄像头2之间相隔15cm，投影仪3位于两者中点处，棋盘标定板4在两摄像头前的共同视野处，即图中所示位置，由左右摄像头2对其进行拍照，每记录一组图片后改变棋盘格的位置(上下左右移动)和角度，继续拍摄下一组，一共保存20组棋盘棋盘标定板4的图片，用于后续标定。本专利技术的具体实施方法如下：1)左右摄像头2各自对已知大小的棋盘标定板4拍照，拍照时需要将投影仪3中的结构光投影至棋盘标定板4上，每次拍摄一组图片并存储，接着改变棋盘标定板4的角度和位置，继续拍摄下一组，一共拍摄图片20组；2)单目标定：利用左摄像头1拍摄的图片，和棋盘的实际尺寸进行单目本文档来自技高网...

【技术保护点】
1.一种基于双目结构光的二维三维融合的特殊人脸表情识别方法，其特征在于，实现方法的装置主要包括左摄像头(1)、右摄像头(2)、投影仪(3)和棋盘标定板(4)，所述的左摄像头(1)、右摄像头(2)位于装置的左右两边，所述的投影仪(3)位于左摄像头(1)和右摄像头(2)中点处，所述的棋盘标定板(4)在两摄像头前的共同视野处，具体步骤如下：1)棋盘标定板(4)改变位置和角度的情况下，左摄像头(1)、右摄像头(2)各自对其拍摄图片共15～25组，并依次存储下来；2)单目标定：利用左摄像头(1)拍摄的图片，和棋盘的实际尺寸进行单目标定，得到左摄像头(1)的焦距和畸变参数，右摄像头(2)同理；3)双目标定：等到步骤2)中左右摄像头(2)各自的标定参数后，利用两两对应的图片，计算出摄像头之间的位置关系、映射函数，接着计算出畸变校正和立体校正的映射变换；4)人脸拍摄：在暗环境下，将结构光投射到被测人脸(5)上，并且左右各拍摄一张人脸图片；5)二维表情识别：利用两张二维图片，首先对其进行直方图均衡化和滤波去噪处理；然后进行人脸归一化处理，包括灰度归一化和几何归一化，其中灰度归一化公式为：x＝x/(max+0.0001)  (1)x为图片中各个像素点的灰度值，max为灰度值最大点的值；6)三维数据计算：利用左右两图以及双目标定参数，先进行立体匹配，计算出携带三维信息的点云数据；7)三维表情识别：首先利用栅格化处理，将无序的点云数据插值后转变为规则的网格数据，具体插值方法为格点样条函数法，然后存为深度信息图；接下来进行特征点的提取，包括鼻尖点、眼角点、嘴角点；接下来利用特征点对深度图进行区域划分，选取出眼睛和嘴巴部分，重组为后续训练网络所需输入数据的大小的灰度图数据；最后将得到的数据用已完成训练的模型进行表情识别；8)完成步骤1‑3后，不断重复步骤4‑7，获取足够的二维和三维数据库，并利用自己搭建的网络训练模型进行学习；9)识别过程：重复步骤4‑7，获取数据后分别投入两个完成训练的模型中进行识别，得到二维和三维识别下各表情的概率分布后，将其进行相加处理后，选取概率值最大作为最终识别结果。...

【技术特征摘要】
1.一种基于双目结构光的二维三维融合的特殊人脸表情识别方法，其特征在于，实现方法的装置主要包括左摄像头(1)、右摄像头(2)、投影仪(3)和棋盘标定板(4)，所述的左摄像头(1)、右摄像头(2)位于装置的左右两边，所述的投影仪(3)位于左摄像头(1)和右摄像头(2)中点处，所述的棋盘标定板(4)在两摄像头前的共同视野处，具体步骤如下：1)棋盘标定板(4)改变位置和角度的情况下，左摄像头(1)、右摄像头(2)各自对其拍摄图片共15～25组，并依次存储下来；2)单目标定：利用左摄像头(1)拍摄的图片，和棋盘的实际尺寸进行单目标定，得到左摄像头(1)的焦距和畸变参数，右摄像头(2)同理；3)双目标定：等到步骤2)中左右摄像头(2)各自的标定参数后，利用两两对应的图片，计算出摄像头之间的位置关系、映射函数，接着计算出畸变校正和立体校正的映射变换；4)人脸拍摄：在暗环境下，将结构光投射到被测人脸(5)上，并且左右各拍摄一张人脸图片；5)二维表情识别：利用两张二维图片，首先对其进行直方图均衡化和滤波去噪处理；然后进行人脸归一化处理，包括灰度归一化和几何归一化，其中灰度归一化公式为：x＝x/(max+0.0001)(1)x为图片中各个像素点的灰度值，max为灰度值最大点的值；6)三维数据计算：利用左右两图以及双目标定参数，先进行立体匹配，计算出携带三维信息的点云数据；7)三维表情识别：首先利用栅格化处理，将无序的点云数据插值后转变为规则的网格数据，具体插值方法为格点样条函数法，然后存为深度信息图；接下来进行特征点的提取，包括鼻尖点、眼...

【专利技术属性】
技术研发人员：林斌，陈君楠，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33