一种整合人脸全局和局部特征的表情识别方法技术

一种整合人脸全局和局部特征的表情识别方法，模型特征提取阶段，设计三个分支；分支一使用整张人脸图片提取人脸全局特征；分支二将人脸从上到下切割成两部分，分支三将人脸从上到下切割成三部分，提取人脸局部特征；将提取的全局和局部特征融合后输入到softmax分类器中进行人脸表情分类，得到一个整合人脸全局和局部特征的识别模型。实验表明，将全局和局部特征分别提取后再融合的方法能够提高人脸表情识别的准确率。情识别的准确率。情识别的准确率。

【技术实现步骤摘要】
一种整合人脸全局和局部特征的表情识别方法


[0001]本专利技术属于人脸表情识别、图像处理、人工智能领域，具体涉及一种整合人脸全局和局部特征的表情识别方法。

技术介绍

[0002]人脸表情识别(Facial Expression Recognition，FER)是机器感知人类情绪并与人类进行交互的重要手段，是人机交互的重要研究方向。通过对人脸表情的分析，可以大概反应出人的当前情绪和潜在意图，对人与人之间的社会交往起着举足轻重的作用。同时人脸表情识别技术的进步能够促进图像处理、人工智能等多领域的发展。
[0003]传统人脸表情识别通常是先手工提取人脸特征然后输入到分类器中分类表情，设计复杂且识别率较低。卷积神经网络将特征提取与分类融合到一个end
‑
to
‑
end的网络中，一定程度上克服了手工特征提取的不足。但目前大多数研究采用单一的网络来提取人脸全局特征，一些不显著的细节和出现频率比较低的特征容易被忽略，损失了部分人脸细节特征，且使用小数据集直接训练深度网络很容易导致过拟合问题，网络模型容易退化，影响人脸表情识别的准确性。

技术实现思路

[0004]为了克服已有技术的不足，本专利技术提供本专利技术提出一种整合人脸全局和局部特征的表情识别方法，通过将人脸划分成多个部分，提取人脸全局和局部特征，解决现有技术中人脸特征提取不全面以及深层网络训练中出现的过拟合、梯度消失、模型退化问题，进一步提高人脸表情识别精准度。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种整合人脸全局和局部特征的表情识别方法，该方法包括以下步骤：
[0007]步骤1：对样本图像进行预处理，得到统一大小的人脸灰度图片；
[0008]步骤2：将步骤1预处理后的图片划分训练集和测试集，用于网络模型的训练和测试；
[0009]步骤3：使用整合人脸全局和局部特征的表情识别网络模型(Facial Expression Recognition Based on Global and Local Feature，GL
‑
FER)中的全局分支提取人脸全局特征，两个局部分支提取人脸细节特征；
[0010]步骤4：将步骤3提取的人脸全局特征和局部特征进行融合，并将融合后的特征输入到softmax分类器中进行训练，得到一个整合人脸全局和局部特征的识别模型；
[0011]步骤5：将测试样本数据输入到步骤4设计的识别模型中，实现表情识别结果的更精准输出；
[0012]进一步，所述步骤1中，预处理过程包括：采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测，然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像，之后对灰度图像进行尺寸归一化得到同一大小的灰度图，最后对图像
进行像素归一化处理，方便快速收敛网络。
[0013]再进一步，所述步骤1的原始图像均统一大小至64*64像素。
[0014]更进一步，所述步骤3中，整合人脸全局和局部特征的表情识别网络模型(Facial Expression Recognition Based on Global and Local Feature，GL
‑
FER)提取人脸全局和细节特征过程包括：
[0015]使用7*7的卷积核对人脸图像进行卷积，加入BN和Relu激活函数，加快网络学习速率，防止网络过拟合，使用最大池化操作对图像降维处理后输出；
[0016]设计网络残差块Basic Block；
[0017]设计4层Conv Block：Conv Block2、Conv Block3、Conv Block4、Conv Block5，每层Conv Block由不同个数网络残差块组成；
[0018]Conv Block3之后设计一个全局分支(Global branch)和两个局部分支(Local branch
‑
1,Local branch
‑
2)结构；
[0019]Conv Block5后对全局分支做平均池化处理；
[0020]Local branch
‑
1和Local branch
‑
2分支从第五层网络结构开始对图像进行从上到下的切割，Local branch
‑
1切割为两块，Local branch
‑
2切割为三块，用于提取人脸细节特征；
[0021]使用最大池化对三个分支中提取的全局特征(Global feature)和细节特征(Local feature
‑
1、Local feature
‑
2)降维处理；
[0022]使用1*1的卷积对提取的局部特征输出向量和全局特征输出向量降维操作，保持特征向量的维度一致；
[0023]网络残差块设计包括：对上一层的输入图像使用1*1的卷积核进行卷积，加入BN和Relu激活函数后使用3*3的卷积核进行卷积，之后添加BN和Relu激活函数后再次使用1*1的卷积核进行卷积，每个网络残差块的输入和输出之间使用1*1的卷积保持输出维度一致。
[0024]优选的，GL
‑
FER网络模型中Conv Block2由三个网络残差块组成，Conv Block3由4个网络残差块组成，Conv Block4由6个网络残差块组成，Conv Block5由3个网络残差块组成。
[0025]GL
‑
FER三个分支的前三层网络结构共享Conv Block2、Conv Block3网络层，到Conv Block4时分成三个支路，第一个支路是Global branch，提取全局特征；第二个支路和第三个支路分别是：Local branch
‑
1,Local branch
‑
2，提取细节特征。
[0026]GL
‑
FER中的平均池化操作只对全局分支中的特征向量以及Local branch
‑
1，Local branch
‑
2中的全局特征向量操作。Local branch
‑
1，Local branch
‑
2中的局部特征不做平均池化处理，目的是保留图像更多信息更利于网络学到更细节的特征。
[0027]所述步骤4中，GL
‑
FER网络模型训练过程包括：使用softmax函数和用于度量学习的三元损失函数(Triplet Loss)用作训练过程中的损失函数，反向传播过程中不断修改网络权重和偏置，优化网络模型。
[0028]优选地，所述步骤4中，GL
‑
FER中三个分支的全局特征向量使用triplet loss，细节特征向量使用softmax loss。
[0029]本专利技术的有益效果主要表现在：1.本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种整合人脸全局和局部特征的表情识别方法，其特征在于，该方法包括以下步骤：步骤1：对样本图像进行预处理，得到统一大小的人脸灰度图片；步骤2：将步骤1预处理后的图片划分训练集和测试集，用于网络模型的训练和测试；步骤3：使用整合人脸全局和局部特征的表情识别网络模型GL
‑
FER中的全局分支提取人脸全局特征，两个局部分支提取人脸细节特征；步骤4：将步骤3提取的人脸全局特征和局部特征进行融合，并将融合后的特征输入到softmax分类器中进行训练，得到一个整合人脸全局和局部特征的识别模型；步骤5：将测试样本数据输入到步骤4设计的识别模型中，实现表情识别结果的更精准输出。2.如权利要求1所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1中，预处理过程包括：采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测，然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像，之后对灰度图像进行尺寸归一化得到同一大小的灰度图，最后对图像进行像素归一化处理，方便快速收敛网络。3.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1的原始图像均统一大小至64*64像素。4.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤3中，整合人脸全局和局部特征的表情识别网络模型提取人脸全局和细节特征过程包括：使用7*7的卷积核对人脸图像进行卷积，加入BN和Relu激活函数，加快网络学习速率，防止网络过拟合，使用最大池化操作对图像降维处理后输出；设计网络残差块Basic Block；设计4层Conv Block：Conv Block2、Conv Block3、Conv Block4、Conv Block5，每层Conv Block由不同个数网络残差块组成；Conv Block3之后设计一个全局分支(Global branch)和两个局部分支(Local branch
‑
1,Local branch
‑
2)结构；Conv Block5后对全局分支做平均池化处理；Local branch
‑
1和Local branch
‑
2分支从第五层网络结构开始对图像进行从上到下的切割，Local branch
‑
1切割为两块，Local branch
‑
2切割为三块，用于提取人脸细节特征；使用最大池化对三个分支中提取的全局特征(Global feature)和细节特征(Loca...

【专利技术属性】
技术研发人员：张繁，陆秀芹，李小薪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：