一种基于深度时空特征的高精度面部表情识别方法技术

本发明专利技术公开了一种基于深度时空特征的高精度面部表情识别方法，该方法首先是设计了一种端到端可训练的多通道深度神经网络模型，该模型在低层利用多个并联的深度神经网络分别提取人脸表情图像的深度时空特征，然后在高层使用全连接层对多通道深度时空特征数据进行融合，最高层采用softmax层进行识别得到表情分类。该模型将图像特征提取和特征融合整合为一个可以进行全局训练的网络，加深了网络规模，提高了识别性能。第二个创新点是本发明专利技术使用平均脸来替代中性脸，这种做法解决了测试时表情图像缺少对应的中性脸图像的问题，使得本发明专利技术可以满足实际场合的应用。本发明专利技术在表情识别领域提供了一种新的思路，具有很高的实用价值和发展前景。

A high precision method of facial expression recognition based on temporal and spatial characteristics of depth

The invention discloses a high precision method of facial expression recognition based on the depth of the temporal and spatial characteristics, first is to design an end-to-end multi channel depth neural network can be trained, the neural network model by using the depth of a plurality of parallel depth were extracted from the spatial and temporal characteristics of face expression image in the lower layer, and then at the top of the multi-channel full connection layer depth of spatial and temporal characteristics of data fusion, the top layer was identified by softmax expression classification. In this model, image feature extraction and feature fusion are integrated into a network that can be trained globally, and the network scale is enhanced and the recognition performance is improved. The second innovation is to use the invention to replace the average face of neutral face, this approach solves the problem of neutral face image test expression image corresponding to the missing, the invention can meet the application. The invention provides a new idea in the field of facial expression recognition, and has high practical value and development prospect.

【技术实现步骤摘要】
一种基于深度时空特征的高精度面部表情识别方法
本专利技术涉及一种基于深度时空特征的高精度面部表情识别方法，属于图像识别

技术介绍
表情识别一直都是人脸属性分析领域一个重要课题，目的是通过计算机视觉从人脸关键区域提取到可以识别表情的信息，并对该信息进行分类融合。随着计算机处理能力的显著提高，该技术在众多领域都有越来越广泛的应用。人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度时空特征的高精度面部表情识别方法，该方法针对单张表情图像的识别，首先利用预训练的卷积神经网络对公开的数据集进行训练，提取表情图像空间分布的特征，然后利用多张无表情的中性脸进行加权求平均，使用表情图像对已经求得的平均表情中性脸做基于梯本文档来自技高网...

【技术保护点】
一种基于深度时空特征的高精度面部表情识别方法，其特征在于，该方法的具体步骤如下：步骤A，构建多通道卷积神经网络MCCNN模型；步骤B，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface；步骤C，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；步骤D，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸...

【技术特征摘要】
1.一种基于深度时空特征的高精度面部表情识别方法，其特征在于，该方法的具体步骤如下：步骤A，构建多通道卷积神经网络MCCNN模型；步骤B，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface；步骤C，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；步骤D，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸图像的X、Y方向的光流特征图像Iofx、Iofy；步骤E，利用大规模目标识别图像数据库对MCCNN模型进行预训练，获得MCCNN模型的预训练参数；步骤F，利用步骤B中得到的Iface以及步骤D中得到的Iface对应的Iofx、Iofy，对步骤E中预训练完成的MCCNN模型进行迁移学习；步骤G，通过步骤F中迁移学习完成的MCCNN模型进行表情识别，最后用测试图像进行测试。2.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤A中构建多通道卷积神经网络MCCNN模型为：A.1，MCCNN模型包含三通道输入、63层网络以及一个输出，其中，三通道输入分别用于输入表情脸图像、X方向光流特征图像和Y方向光流特征图像；A.2，63层网络的前60层为分别对应三通道输入的三路独立并行的卷积神经网络，每路卷积神经网络均为20层且网络结构完全一致，用于提取三通道输入的深度时空特征；第61、62层是全连接层，用于对前级网络提取的三通道输入的深度时空特征进行融合；最后一层为softmax层，用于输出分类结果；A.3，每路卷积神经网络的前4层分别是7×7核的卷积层、3×3的最大值池化层、1×1核的卷积层以及3×3核的卷积层；后16层由4个融合卷积模块组...

【专利技术属性】
技术研发人员：孙宁，李奇，李晓飞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32