基于注意力机制的卷积神经网络面部情绪识别方法及系统技术方案

本发明专利技术公开的基于注意力机制的卷积神经网络面部情绪识别方法及系统，包括收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果；本发明专利技术能够实现识别用户情绪的变化，提高用户情绪识别的准确率，通过卷积神经网络的人脸微表情动作检测，利用多个卷积和池化层提高检测准确率，避免有效动作单元遗漏，提高了人脸识别的精度，从而可以大大增加人脸识别的可信度。可信度。

【技术实现步骤摘要】
基于注意力机制的卷积神经网络面部情绪识别方法及系统


[0001]本专利技术属于面部情绪识别的
，具体涉及基于注意力机制的卷积神经网络面部情绪识别方法及系统。

技术介绍

[0002]情绪是人类针对内部或外部的重要事件所产生的突发反应。情绪持续时间很短，但蕴含大量复杂的生物信息，其中不仅包括语言，神情等外部行为，还包括大脑内部神经机制相互协调所产生的脑电波变化。情绪通常可分为乐观，平静和悲观等状态。情绪识别是通过观测生物信息，使计算机能够识别人类的情绪状态。对情绪识别的研究可以为辅助医学治疗，防止疲劳驾驶，监测个人健康状况，创作艺术作品等提供科学依据。因此，情绪识别的研究具有重要意义。
[0003]针对脑电波信号的处理，很多研究者采用了计算部分信号的统计特征的方法进行处理，但是这种特征提取方法会破坏脑电波信号之间的相关性。同时也有很多研究者采用支持向量机的分类器解决情绪识别问题，但是这种方法的结果过分依赖于核函数的选择，当使用不同的核函数时结果偏差十分巨大，这使得方法的鲁棒性较差，卷积神经网络相比于支持向量机，其结果具有更强的鲁棒性。

技术实现思路

[0004]本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种，能够解决用户情绪变化准确识别的基于注意力机制的卷积神经网络面部情绪识别方法及系统。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：基于注意力机制的卷积神经网络面部情绪识别方法，包括：收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
[0006]优选地，所述将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据，具体包括：将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e
‑
15和学习率0.05；从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；当模型平均准确率满足95％时保存模型。
[0007]优选地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据之前，包括：采集待识别的人脸图像数据；对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
[0008]优选地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据，具体包括：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；将分值进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。
[0009]优选地，所述卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2；2个池化层包括池化层1和池化层2；2个全连接层包括全连接层1和全连接层2以及1个Softmax层。
[0010]优选地，所述卷积层1的卷积核数设为16，卷积核模板的大小为3
×
3，卷积层1后连接偏置层、激活函数层和池化层1，其中池化层1的池化核模板大小设为2
×
2；卷积层2的卷积核数设为32，卷积核大小为3
×
3；池化层2的池化核大小设为2
×
2；全连接层1的特征向量维度设为2048，全连接层2的特征向量维度设为512；Softmax层的特征向量维度为7类。
[0011]另一实施例，基于注意力机制的卷积神经网络面部情绪识别系统，包括：样本收集单元：收集人脸图像数据，按比例分为训练集和测试集；卷积计算单元：将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；优化单元：在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；识别单元：将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
[0012]优选地，所述卷积计算单元，具体包括：初始化单元；将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e
‑
15和学习率0.05；第一计算单元：从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；第二计算单元：将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；存储单元：当模型平均准确率满足95％时保存模型。
[0013]优选地，所述基于注意力机制的卷积神经网络面部情绪识别系统，包括：采集单元：采集待识别的人脸图像数据；处理单元：对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；标记单元：对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
[0014]优选地，所述识别单元包括：分割单元：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；第三计算单元：对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；排序单元：将分值进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。
[0015]本专利技术与现有技术相比具有以下有益效果：
[0016]本专利技术基于注意力机制的卷积神经网络面部情绪识别方法及系统，包括收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果；本专利技术能够实现识别用户情绪的变化，提高用户情绪识别的准确率，通过卷积神经网络的人脸微表情动作检测，利用多个卷积和池化层提高检测准确率，避免有效动作单元遗漏，提高了人脸识别的精度，从而可以大大增加人脸识别的可信度。
附图说明
[0017]下面结合附图对本专利技术做进一步详细的说明；
[0018]图1为本专利技术实施例一提供的基于注意力机制的卷积神经网络面部情绪识别方法的流程示意图；
[0019]图2为本专利技术实施例一提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
[0020]图3为本专利技术实施例二提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
[0021]图4为本专利技术实施例三提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
[0022]图5为本专利技术实施例四提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：包括：收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。2.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：所述将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据，具体包括：将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e
‑
15和学习率0.05；从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；当模型平均准确率满足95％时保存模型。3.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据之前，包括：采集待识别的人脸图像数据；对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。4.根据权利要求3所述的基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据，具体包括：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；将分值进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。5.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：所述卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2；2个池化层包括池化层1和池化层2；2个全连接层包括全连接层1和全连接层2以及1个Softmax层。6.根据权利要求5所述的基于注意力机制的卷积神经网络面部情绪识别方法，其特征在于：所述卷积层1的卷积核数设为16...

【专利技术属性】
技术研发人员：宋斌，张志勇，张中亚，张丽丽，李玉祥，赵长伟，孔功胜，向菲，荆军昌，毛岳恒，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：