一种基于端到端模型的人脸表情识别方法技术

一种基于端到端模型的人脸表情识别方法，该方法包括搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测试集。改进ResNet网络结构，搭建网络模型。搭建好模型之后开始训练数据集，将训练集用于模型的训练，将测试集用于模型的测试。将生成的模型文件保存为HDF5格式，以便对后续步骤中的人脸表情图片进行分类识别。对采集的人脸图片进行裁剪；得到的灰度图像做人脸校准，通过仿射变化将侧脸图片校准为正脸图片；进行人脸校准的图片输入ResNet模型中进行图片特征提取及分类，完成整个人脸表情的识别。本发明专利技术大大提高了人脸表情对于侧脸、多姿态等难以识别的类别。通过缩小同类之间的差距，扩大异类之间的差距，改善了表情分类的结果。

An approach to facial expression recognition based on end to end model

【技术实现步骤摘要】
一种基于端到端模型的人脸表情识别方法
本专利技术涉及计算机视觉领域，属情感识别领域，特别涉及一种基于端到端(end-to-end)网络模型的人脸表情识别方法。
技术介绍
目前，人脸表情识别已成为人机交互领域的一个研究热点，相关领域主要涉及到计算机视觉、统计学、认知心理学、机器学习等。让计算机拥有像人类一样的情感，通过感知周围环境、人类情感变化来实现与人交流。心理学家Mehrabiadu指出，面部表情在人类交流的过程中传达了55％的有用信息，而语言所传达的有用信息仅占到7％。研究者们一直在不断的提高计算机人脸表情识别率，实验数据库环境下的准确率已经有很大的提高，但是现实生活中的表情与实验数据有很大区别，如照明条件不良、采集的图像像素过低、肤色、文化、年龄差异、脸部遮挡物等，导致表情识别在工程实际应用中仍面临许多挑战。很多传统人脸表情识别方法基本上都是先进行人脸图片预处理，然后人工提取特征，最后对提取的特征进行分类，输出表情结果。这种方法提取的特征鲁棒性差，且不具备实时识别人脸表情的特点，提取出的特征会导致分类结果不准确，最终难以达到工程实际应用的阈值。人脸表情自动识别起源PaulEkm本文档来自技高网...

【技术保护点】
一种基于端到端模型的人脸表情识别方法，其特征在于：该方法包括如下步骤，步骤1，搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测试集，其比例为4:1；步骤2，改进ResNet网络结构，搭建网络模型；步骤2.1，对步骤1采集到的表情数据库中图片进行归一化处理，将图片归一化到96*96像素大小；步骤2.2，对归一化后的图片进行白化、翻转、旋转操作；步骤2.3，将数据集中预处理的图片输入至卷积层，首先确定滤波器大小，其过程表示为公式(1)，如下所示：

【技术特征摘要】
1.一种基于端到端模型的人脸表情识别方法，其特征在于：该方法包括如下步骤，步骤1，搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测试集，其比例为4:1；步骤2，改进ResNet网络结构，搭建网络模型；步骤2.1，对步骤1采集到的表情数据库中图片进行归一化处理，将图片归一化到96*96像素大小；步骤2.2，对归一化后的图片进行白化、翻转、旋转操作；步骤2.3，将数据集中预处理的图片输入至卷积层，首先确定滤波器大小，其过程表示为公式(1)，如下所示：这里的Mj表示神经元j对应的局部感受野，表示第l层的神经元i的第j个输入对应的权值，Bl表示第l层的偏置，表示l前一层的局部感受野中的一个特征，表示第l层的局部感受野中特征；然后通过反向传播算法利用链式法则更新权值参数，链式法则定义为公式(2)：其中x＝g(t)，y＝h(t)，z＝f(x，y)，g(t)和h(t)是可微函数；步骤2.4，将步骤2.3中的输出作为下一层即BN(batchnormalization)层的输入，BN层的处理过程如下公式(3)-(6)所示：xi代表输入的数据，μB代表均值，代表方差，代表对输入的数据进行标准化操作，γ，β代表训练的参数，通过线性变化求得原来的数值；步骤2.5，将步骤2.4的输出作为下一层即池化层的输入，均值池化(mean-pooling)表示为公式(7)：其中β表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，表示l前一层的局部感受野的一个特征，表示第l层的局部感受野特征；步骤2.6，将步骤2.5的输出作为下一层及激活层的输入，网络模型采用的激活函数为PReLu，其公式如(8)所示：

【专利技术属性】
技术研发人员：汪友生，王信，夏章涛，叶红梅，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11