一种基于笑脸强度估计的学习者积极情绪分析方法技术

本发明专利技术提供了一种基于笑脸强度估计的学习者积极情绪分析方法，涉及图像识别技术领域，包括步骤：采用基于相对关键帧的样本标记方法，对表情序列中的每一帧进行鲁棒性标记，生成强度标签，使用双卷积神经网络获得双卷积神经网络各自的特征及注意力区域的权重信息，以基于相对关键帧的强度标签作为监督信息，将双神经网络和双注意机制相结合，有效提取不同特征，从不同角度感知不同微笑的细微外观差异。本发明专利技术采用相对关键帧对微笑强度进行逐帧编码，利用动态表情数据集提供的标注信息，无需人工标注，同时情感模型对微笑强度进行估计，该模型学习多种特征，从不同角度感知不同微笑的细微差异，并抑制任何无效信息，增强关键区域的特征学习。键区域的特征学习。键区域的特征学习。

【技术实现步骤摘要】
一种基于笑脸强度估计的学习者积极情绪分析方法


[0001]本专利技术涉及图像识别
，尤其涉及一种基于笑脸强度估计的学习者积极情绪分析方法。

技术介绍

[0002]学习者在积极情绪情感体验下能提升学习效率和认知能力、激发学生学习兴趣、融洽师生关系。区别一般的情感，积极情绪是一种特殊的情感，它是指正性情绪或具有正效价的情感，影响着课堂学生的学习兴趣和学习过程，是促进学生学习过程持续有效进行的重要因素。因此，关注学生在学习过程中积极情感变化，增强学生在学习过程中的积极情感体验，有利于促进学习者的学习过程。
[0003]现有课堂学生积极情绪识别主要是通过教师观察，课后调查问卷或者访谈等方式获取，并且没有考虑到学习者的情绪强度等信息。但是，教师往往专注于课堂知识传授，而无法实现对整个课堂学习者情感体验的实时准确把握。课后的调查问卷和访谈又不能真实全面地反映学习者当时的真实积极情绪体验。
[0004]随着人工智能、大数据、移动通信、虚拟现实和物联网等技术与其他科技的加速融合、创新与聚变发展，学生的学习行为、肢体语言，学习情感状态等课堂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，包括步骤：从若干个表情视频图像序列中选取多个笑脸表情序列；采用序列相对关键帧对多个所述笑脸表情序列中的每一帧分别进行标记，生成带有不同强度标签的笑脸表情数据；将所述带有不同强度标签的笑脸表情数据输入构建好的情感模型中，获得所述情感模型中双卷积神经网络各自的特征；通过双注意力机制对所述双卷积神经网络各自的特征进行学习，获得注意力区域的权重；通过所述注意力区域的权重对带有不同强度标签的笑脸表情数据重新分配权重，经过卷积神经网络处理后通过全连接层输出结果，进行笑脸强度评估，获得积极情绪分析结果。2.如权利要求1所述的一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，所述采用序列相对关键帧对多个所述笑脸表情序列中的每一帧分别进行标记，具体包括步骤：将多个所述笑脸表情序列中峰值帧的笑脸强度设为最强，将中性表情笑脸强度设为最弱；将笑脸表情序列中第一到第三帧划分为中性帧；将笑脸表情序列中第五帧到第七帧划分为表情发生帧；将笑脸表情序列中第九到第十帧划分为增强阶段；将后续划分为笑脸强度的最高值；并将笑脸强度分为：中性、初始、增强和顶点。3.如权利要求1所述的一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，所述将所述带有不同强度标签的笑脸表情数据输入构建好的情感模型中，获得情感模型中双卷积神经网络各自的特征，包括步骤：将VGGNet16融合ImageNet 1600万张图片对权重进行预训练，以特征权重作为学习表情视频图像特征的起点；将VGGNet19从头开始学习表情视频图像特征，训练笑脸强度样本；将所述VGGNet16与VGGNet19输出的特征进行平均，获得特征分布。4.如权利要求1所述的一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，所述双注意力机制包括深度注意力机制和空间尺度的注意力机制，其中所述空间尺度的注意力机制对所述双卷积神经网络各自的特征进行学习包括步骤：将所述笑脸表情序列中的原始图片X通过卷积层运算获得特征W*X；将原始图片X与硬编码或者逻辑回归函数生成的矩阵点乘，生成注意力区域g(W*X)；通过Loss函数来判别注意力区域的候选框，并通过所述候选框的大小判断对局部信息提炼的精炼程度；其中，W为空间尺度的注意力机制权重，*为卷积过程。5.如权利要求4所述的一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，设定一个候选框来代表注意力区域，具体包括：通过候选框(S
x
,S
y
,S
L
)来代表注意力区域g(W*X)；所述候选框(S
x
,S
y
,S
L
)的上线界限的具体表达式为：
其中，S
x
、S
y
、S
L
分别表示候选框形心的横、纵坐标和中心与边框的距离；分别为x、y两个坐标轴的上下界。6.如权利要求5所述的一种基于笑脸强度估计的学习者积极情绪分析方法，其特征在于，所述将原始图片与硬编...

【专利技术属性】
技术研发人员：罗珍珍，李冰，陈少龙，罗勇，刘金，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：