一种基于多模态情感特征融合的学习者学习状态获取方法技术

本发明专利技术涉及语音图像识别技术领域，尤其涉及一种基于多模态情感特征融合的学习者学习状态获取方法，包括：获取学习者在学习过程中的过程数据；所述过程数据包括语音信息、语义文本信息以及图像信息；对所述过程数据进行预处理；将语音情感信息、细粒度情感信息、面部表情信息以及头部姿态信息作为训练好的情感识别神经网络模型的输入；通过神经网络模型输出融合情感特征；基于输出的融合情感特征，计算各类情绪属性的权重值，判断学生当前的学习状态。本发明专利技术通过将多种途径的特征的多维信息进行融合，能够获取有效的信息，从而实时对学习者的学习状态进行有效评估，能极大的减少运算量并提高神经网络对情感状态的识别效率。量并提高神经网络对情感状态的识别效率。量并提高神经网络对情感状态的识别效率。

【技术实现步骤摘要】
一种基于多模态情感特征融合的学习者学习状态获取方法


[0001]本专利技术涉及语音图像识别
，尤其涉及一种基于多模态情感特征融合的学习者学习状态获取方法。

技术介绍

[0002]近年来，在线直播课堂成为与线下教学并行的重要授课方式。对于学习者而言，自律状态是影响其学习效率一个重要原因。然而，教师主要精力在教学过程负责知识传授，使得对学习者是否进行自律学习的考察有所缺失。学习者对个人学习自律状态察觉的有滞后性，当其自主意识到偏离自律学习的状态时，往往已经影响了学习进度和效率。因此，通过对学习者自律状态评估与监控，能反馈学习者在线直播课堂中学习状态和效果，及时提醒学习状态异常的学习者，提升在线直播课堂的教学质量。
[0003]然而，对在线直播课堂中对学习者自律状态评估依然具有一些严峻的挑战。针对于在线直播课堂，当前还没有成熟的学生自律状态评估方法和指标体系；虽然教学人员可以通过在线直播课堂的互动工具及课后人工查阅教学录像了解课堂的学习情况，进而改进教学手段，然而学习者的学习效果具有时效性，后期补救往往不能及时、实时的评估学习者的学习状态，不能帮助学生建立良好的自律学习习惯从而及时纠正学习者不良状态回归自律学习有效。
[0004]因此，如何实时进行自律状态评估与监控仍然是一项亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供一种多模态情感特征融合的学习者学习状态获取方法，用以解决上述现有技术中的缺陷。
[0006]本专利技术提供一种多模态情感特征融合的学习者学习状态获取方法，包括步骤：
[0007]S1获取学习者在学习过程中的过程数据；所述过程数据包括语音信息、语义文本信息以及图像信息；
[0008]S2对所述过程数据进行预处理，包括：
[0009]基于所述语音信息预处理获取语音情感信息，基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，基于图像信息预处理获取精细表情信息以及头部姿态信息；
[0010]S3将所述语音情感信息、所述细粒度情感信息、所述面部表情信息以及所述头部姿态信息作为训练好的情感识别神经网络模型的输入；通过所述神经网络模型输出融合情感特征；
[0011]S4基于输出的融合情感特征，计算各类情绪属性的权重值，判断学生当前的学习状态。
[0012]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，步骤S2中所述基于所述语音信息预处理获取语音情感信息，包括：
[0013]基于语料库中的语音数据，将所述语音信息按情感类型进行分类并分别标记情感类型标签；并依次进行断点检测、分帧及加窗操作进行预处理；
[0014]基于预处理后的所述语音信息，提取得到多维语音特征和多维1og
‑
Me1谱特征，并对所述多维语音特征和多维1og
‑
Me1谱特征进行特征融合；
[0015]基于情感类型标签对特征融合后的语音信息进行识别，输出识别到的所述语音情感信息。
[0016]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，步骤S2中所述基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，包括：
[0017]基于所述语音信息提取所有语音帧，获取语音嵌入；
[0018]基于预训练的语言模型从所述文本信息中提取语义特征，获取语义嵌入；
[0019]对所述语音嵌入和所述语义嵌入进行时间对齐化处理；
[0020]应用一个最大池化层来聚合按时间顺序排列的所述语音嵌入和所述语义嵌入，输出聚合信息；
[0021]以所述聚合信息作为预训练的情感识别神经网络的输入，输出识别得到的细粒度情感信息。
[0022]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，步骤S2中所述基于图像信息预处理获取头部姿态信息，包括：
[0023]基于所述图像信息，识别所述图像信息中的人像信息以及若干个预设的人脸关键点位，解析获取各关键点位之间的结构向量；
[0024]基于选定的所述结构向量计算头部偏转角；
[0025]在时间序列帧中记录每帧图像对应的头部偏转角度，根据随时间变化的头部偏转角度获取所述头部姿态信息。
[0026]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，步骤S2中所述基于图像信息预处理获取精细表情信息，包括：
[0027]基于所述图像信息，将每帧图像信息通过卷积、池化操作提取面部表情特征，通过预训练的情感识别神经网络识别得到所述精细表情信息。
[0028]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，步骤S3包括：
[0029]基于多任务学习的深度特征提取模型，输入各类型情感特征的集合，将所述情感特征的集合输入隐藏层，对情感类型进行分类；
[0030]通过softmax函数计算情感类别概率得到预测标签；
[0031]通过交叉熵损失函数计算真实情感标签与预测标签之间的第一损失函数，通过反向传播调整隐藏层参数；
[0032]所述第一损失函数loss如下：
[0033][0034]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，将所述情感特征的集合输入隐藏层，进行深度特征提取模型的再训练；
[0035]通过线性映射将输入隐藏层的所述情感特征的集合进行重构，计算重构后的集合
与所述情感特征的集合的均方差，获得重构前后的情感特征的集合的第二损失函数，进行反向传播更新深度特征提取模型的参数；
[0036]所述第二损失函数为：
[0037][0038]根据本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，基于所述第一损失函数和所述第二损失进行反向传播调整深度特征提取模型的神经元节点值，多任务损失函数loss为：
[0039]loss＝α
·
loss1+β
·
loss2；
[0040]其中，α和β分别为所述第一损失函数和所述第二损失的权重。
[0041]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多模态情感特征融合的学习者学习状态获取方法的步骤。
[0042]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多模态情感特征融合的学习者学习状态获取方法的步骤。
[0043]本专利技术提供的一种基于多模态情感特征融合的学习者学习状态获取方法，通过获取多渠道的情感信息，获取语音，语义文本及视频图像信息，从而更为全面的评估学习者的学习状态；
[0044]通过将多种途径的特征的多维信息进行融合，能够获取有效的信息，从而实时对学习者的学习状态进行有效评估，能极大的减少运算量并提高神经网络对情感状态的识别效率。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态情感特征融合的学习者学习状态获取方法，其特征在于，包括：S1获取学习者在学习过程中的过程数据；所述过程数据包括语音信息、语义文本信息以及图像信息；S2对所述过程数据进行预处理，包括：基于所述语音信息预处理获取语音情感信息，基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，基于图像信息预处理获取精细表情信息以及头部姿态信息；S3将所述语音情感信息、所述细粒度情感信息、所述面部表情信息以及所述头部姿态信息作为训练好的情感识别神经网络模型的输入；通过所述神经网络模型输出融合情感特征；S4基于输出的融合情感特征，计算各类情绪属性的权重值，判断学生当前的学习状态。2.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于所述语音信息预处理获取语音情感信息，包括：基于语料库中的语音数据，将所述语音信息按情感类型进行分类并分别标记情感类型标签；并依次进行断点检测、分帧及加窗操作进行预处理；基于预处理后的所述语音信息，提取得到多维语音特征和多维1og
‑
Me1谱特征，并对所述多维语音特征和多维1og
‑
Me1谱特征进行特征融合；基于情感类型标签对特征融合后的语音信息进行识别，输出识别到的所述语音情感信息。3.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，包括：基于所述语音信息提取所有语音帧，获取语音嵌入；基于预训练的语言模型从所述文本信息中提取语义特征，获取语义嵌入；对所述语音嵌入和所述语义嵌入进行时间对齐化处理；应用一个最大池化层来聚合按时间顺序排列的所述语音嵌入和所述语义嵌入，输出聚合信息；以所述聚合信息作为预训练的情感识别神经网络的输入，输出识别得到的细粒度情感信息。4.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于图像信息预处理获取头部姿态信息，包括：基于所述图像信息，识别所述图像信息中的人像信息以及若干个预设的人脸关键点位，解析获取各关键点位之间的结构向量；基于选定的所述结构向量计算头部偏转角；在...

【专利技术属性】
技术研发人员：刘雄华，邓伟明，何顶新，吴悦，李双双，李曼娜，刘婷婷，刘海，
申请(专利权)人：武汉工商学院，
类型：发明
国别省市：