一种整合人脸全局和局部特征的表情识别方法技术

一种整合人脸全局和局部特征的表情识别方法，模型特征提取阶段，设计三个分支；分支一使用整张人脸图片提取人脸全局特征；分支二将人脸从上到下切割成两部分，分支三将人脸从上到下切割成三部分，提取人脸局部特征；将提取的全局和局部特征融合后输入到softmax分类器中进行人脸表情分类，得到一个整合人脸全局和局部特征的识别模型。实验表明，将全局和局部特征分别提取后再融合的方法能够提高人脸表情识别的准确率。情识别的准确率。情识别的准确率。

【技术实现步骤摘要】
一种整合人脸全局和局部特征的表情识别方法


[0001]本专利技术属于人脸表情识别、图像处理、人工智能领域，具体涉及一种整合人脸全局和局部特征的表情识别方法。

技术介绍

[0002]人脸表情识别(Facial Expression Recognition，FER)是机器感知人类情绪并与人类进行交互的重要手段，是人机交互的重要研究方向。通过对人脸表情的分析，可以大概反应出人的当前情绪和潜在意图，对人与人之间的社会交往起着举足轻重的作用。同时人脸表情识别技术的进步能够促进图像处理、人工智能等多领域的发展。
[0003]传统人脸表情识别通常是先手工提取人脸特征然后输入到分类器中分类表情，设计复杂且识别率较低。卷积神经网络将特征提取与分类融合到一个end
‑
to
‑
end的网络中，一定程度上克服了手工特征提取的不足。但目前大多数研究采用单一的网络来提取人脸全局特征，一些不显著的细节和出现频率比较低的特征容易被忽略，损失了部分人脸细节特征，且使用小数据集直接训练深度网络很容易导致过拟合问题，网络模型容易退化，影响本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种整合人脸全局和局部特征的表情识别方法，其特征在于，该方法包括以下步骤：步骤1：对样本图像进行预处理，得到统一大小的人脸灰度图片；步骤2：将步骤1预处理后的图片划分训练集和测试集，用于网络模型的训练和测试；步骤3：使用整合人脸全局和局部特征的表情识别网络模型GL
‑
FER中的全局分支提取人脸全局特征，两个局部分支提取人脸细节特征；步骤4：将步骤3提取的人脸全局特征和局部特征进行融合，并将融合后的特征输入到softmax分类器中进行训练，得到一个整合人脸全局和局部特征的识别模型；步骤5：将测试样本数据输入到步骤4设计的识别模型中，实现表情识别结果的更精准输出。2.如权利要求1所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1中，预处理过程包括：采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测，然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像，之后对灰度图像进行尺寸归一化得到同一大小的灰度图，最后对图像进行像素归一化处理，方便快速收敛网络。3.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1的原始图像均统一大小至64*64像素。4.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤3中，整合人脸全局和局部特征的表情识别网络模型提取人脸全局和细节特征过程包括：使用7*7的卷积核对人脸图像进行卷积，加入BN和Relu激活函数，加快网络学习速率，防止网络过拟合，使用最大池化操作对图像降维处理后输出；设计网络残差块Basic Block；设计4层Conv Block：Conv Block2、Conv Block3、Conv Block4、Conv Block5，每层Conv Block由不同个数网络残差块组成；Conv Block3之后设计一个全局分支(Global branch)和两个局部分支(Local branch
‑
1,Local branch
‑
2)结构；Conv Block5后对全局分支做平均池化处理；Local branch
‑
1和Local branch
‑
2分支从第五层网络结构开始对图像进行从上到下的切割，Local branch
‑
1切割为两块，Local branch
‑
2切割为三块，用于提取人脸细节特征；使用最大池化对三个分支中提取的全局特征(Global feature)和细节特征(Loca...

【专利技术属性】
技术研发人员：张繁，陆秀芹，李小薪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：