一种基于张量分解的多特征融合的4D表情识别方法技术

一种基于张量分解的多特征融合的4D表情识别方法，获取人脸4D表情数据；对人脸4D表情数据进行预处理后计算得到4D人脸数据的法向量三个分量、形状指数和深度图；对4D人脸数据的法向量三个分量、形状指数和深度图分别进行张量分解，提取出动态的人脸表情信息；利用动态图像网络对动态的人脸表情信息做分类，对分类的结果进行得分融合，得到最终的分类结果。本发明专利技术充分利用了4D人脸数据的信息，对于序列人脸数据计算了人脸的法向量的三个分量、形状指数和深度图，充分利用了人脸的3D几何信息，对不同的人来说，人脸的特征更具有代表性和判别性，人脸识别和表情识别的准确率也更高。

A 4D expression recognition method based on multi feature fusion of tensor decomposition

【技术实现步骤摘要】
一种基于张量分解的多特征融合的4D表情识别方法
本专利技术涉及一种表情识别方法，具体涉及一种基于张量分解的多特征融合的4D表情识别方法。
技术介绍
随着人工智能和计算机技术的发展和进步，表情识别和人脸识别越来越受到人们的关注。表情识别和人脸识别在生活的中应用也逐渐变的广泛。当前的人脸表情识别方法有很多种，例如：利用深度神经网络提取2D图片的特征或者是视频的特征，进而进行分类。也有利用3D人脸数据表情分类的。实际上，基于2D的人脸表情识别易受光照、场景的影响。基于3D的表情识别能够克服光照和姿态的影响，但是3D的表情识别来说，由于不同的人对表情的表达方式和程度有所不同，使得即使是相同的表情，不同的个体也千差万别。因此对于表情识别这个问题来说，人的身份信息相当于是一个干扰。
技术实现思路
本专利技术的目的在于提供一种基于张量分解的多特征融合的4D表情识别方法。为实现上述目的，本专利技术采用如下的技术方案：一种基于张量分解的多特征融合的4D表情识别方法，包括以下步骤：(1)获取人脸4D表情数据；(2本文档来自技高网...

【技术保护点】
1.一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，包括以下步骤：/n(1)获取人脸4D表情数据；/n(2)对人脸4D表情数据进行预处理后计算得到4D人脸数据的法向量三个分量、形状指数和深度图；/n(3)对4D人脸数据的法向量三个分量、形状指数和深度图分别进行张量分解，提取出动态的人脸表情信息；/n(4)利用动态图像网络对动态的人脸表情信息做分类，对分类的结果进行得分融合，得到最终的分类结果。/n

【技术特征摘要】
1.一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，包括以下步骤：
(1)获取人脸4D表情数据；
(2)对人脸4D表情数据进行预处理后计算得到4D人脸数据的法向量三个分量、形状指数和深度图；
(3)对4D人脸数据的法向量三个分量、形状指数和深度图分别进行张量分解，提取出动态的人脸表情信息；
(4)利用动态图像网络对动态的人脸表情信息做分类，对分类的结果进行得分融合，得到最终的分类结果。


2.根据权利要求1所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，步骤(1)中，4D人脸表情数据S＝{F1,F2,…Fl}，其中Fi表示3D人脸表情数据，i＝1…l，l表示4D人脸的帧数。


3.根据权利要求1所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，步骤(2)中，对人脸4D表情数据进行预处理的具体过程为：对人脸4D表情数据进行去噪处理。


4.根据权利要求1所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，步骤(2)中，计算4D人脸数据的法向量三个分量的具体过程如下：
1)首先计算单个的3D人脸的法向量；具体过程如下：对于一个3D人脸数据，首先选取人脸上的一点Pj的邻近的5个点，形成一个邻域δ＝{Pi(xi，yi，zi)|i＝1,2,…k}，k取5，需要拟合的平面为：
Ax+By+Cz+D＝0
满足A2+B2+C2＝1；
通过最小二乘法以及拉格朗日乘子法，求解平面拟合问题，得到人脸上的一点Pj的法向量，对3D人脸上所有的点进行估计，得到3D人脸的法向量；
2)将3D人脸的法向量分别投影到YZ、XZ、XY平面，得到一张3D人脸的法向量的X分量图，Y分量图和Z分量图；
3)最后将4D人脸数据中的每一个3D人脸，进行步骤1)和步骤2)，得到相应的法向量分量图，再将4D人脸数据的所有3D人脸计算的相应的法向量X分量图叠在一起，得到4D人脸的法向量X分量图；将4D人脸数据的所有3D人脸计算的相应的法向量Y分量图叠在一起，得到4D人脸的法向量Y分量图；将4D人脸数据的所有3D人脸计算的相应的法向量Z分量图叠在一起，得到4D人脸的法向量Z分量图。


5.根据权利要求4所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，求解平面拟合问题的具体过程如下：协方差矩阵Σ的最小特征值对应的归一化向量
协方差矩阵Σ的形式如下：



其中，


6.根据权利要求1所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，计算形状指数图的具体过程如下：
首先计算3D人脸的形状指数图：
对于人脸的某一个点，假设该点及其周围的区域为一个离散的含参曲面根据3D人脸的顶点坐标拟合出参数A、B、C、D、E、F和G，然后得到矩阵对这个矩阵进行特征根分解，得到的最大特征根为最大主曲率K1，最小特征根为最小主曲率K2；将一个顶点处的最大主曲率和最小主曲率带入形状指数Shapeindex计算公式，得到该顶点处的形状指数；



对3D人脸的每一个顶点计算形状指数Shapeindex，得到3D人脸的形状指数图；
将4D人脸的每一个3D人脸的形状指数图堆叠起来，得到4D人脸的形状指数图。


7.根据权利要求1所述的一种基于张量分解的多特征融合的4D表情识别方法，其特征在于，计算4D人脸的深度图的具体过程如下：
首先计算3D人脸的深度图，对于一个3D人脸Fi上的一个点Pj(xj，yj，zj)，其对应的深度图的像素值Depj的计算公式为：



其中，zmax和zmin表示人脸Fi的点的Z坐标的最大最小值；
然后将4D人脸的所有3D人脸的深度图堆叠...

【专利技术属性】
技术研发人员：黄义妨，张明，岳江北，李慧斌，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61