一种基于多模态情感特征融合的学习者学习状态获取方法技术

本发明专利技术涉及语音图像识别技术领域，尤其涉及一种基于多模态情感特征融合的学习者学习状态获取方法，包括：获取学习者在学习过程中的过程数据；所述过程数据包括语音信息、语义文本信息以及图像信息；对所述过程数据进行预处理；将语音情感信息、细粒度情感信息、面部表情信息以及头部姿态信息作为训练好的情感识别神经网络模型的输入；通过神经网络模型输出融合情感特征；基于输出的融合情感特征，计算各类情绪属性的权重值，判断学生当前的学习状态。本发明专利技术通过将多种途径的特征的多维信息进行融合，能够获取有效的信息，从而实时对学习者的学习状态进行有效评估，能极大的减少运算量并提高神经网络对情感状态的识别效率。量并提高神经网络对情感状态的识别效率。量并提高神经网络对情感状态的识别效率。

【技术实现步骤摘要】
一种基于多模态情感特征融合的学习者学习状态获取方法


[0001]本专利技术涉及语音图像识别
，尤其涉及一种基于多模态情感特征融合的学习者学习状态获取方法。

技术介绍

[0002]近年来，在线直播课堂成为与线下教学并行的重要授课方式。对于学习者而言，自律状态是影响其学习效率一个重要原因。然而，教师主要精力在教学过程负责知识传授，使得对学习者是否进行自律学习的考察有所缺失。学习者对个人学习自律状态察觉的有滞后性，当其自主意识到偏离自律学习的状态时，往往已经影响了学习进度和效率。因此，通过对学习者自律状态评估与监控，能反馈学习者在线直播课堂中学习状态和效果，及时提醒学习状态异常的学习者，提升在线直播课堂的教学质量。
[0003]然而，对在线直播课堂中对学习者自律状态评估依然具有一些严峻的挑战。针对于在线直播课堂，当前还没有成熟的学生自律状态评估方法和指标体系；虽然教学人员可以通过在线直播课堂的互动工具及课后人工查阅教学录像了解课堂的学习情况，进而改进教学手段，然而学习者的学习效果具有时效性，后期补救往往不能及时、实时的评估学习者的学习状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态情感特征融合的学习者学习状态获取方法，其特征在于，包括：S1获取学习者在学习过程中的过程数据；所述过程数据包括语音信息、语义文本信息以及图像信息；S2对所述过程数据进行预处理，包括：基于所述语音信息预处理获取语音情感信息，基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，基于图像信息预处理获取精细表情信息以及头部姿态信息；S3将所述语音情感信息、所述细粒度情感信息、所述面部表情信息以及所述头部姿态信息作为训练好的情感识别神经网络模型的输入；通过所述神经网络模型输出融合情感特征；S4基于输出的融合情感特征，计算各类情绪属性的权重值，判断学生当前的学习状态。2.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于所述语音信息预处理获取语音情感信息，包括：基于语料库中的语音数据，将所述语音信息按情感类型进行分类并分别标记情感类型标签；并依次进行断点检测、分帧及加窗操作进行预处理；基于预处理后的所述语音信息，提取得到多维语音特征和多维1og
‑
Me1谱特征，并对所述多维语音特征和多维1og
‑
Me1谱特征进行特征融合；基于情感类型标签对特征融合后的语音信息进行识别，输出识别到的所述语音情感信息。3.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于所述语音信息和所述语义文本信息预处理获取细粒度情感信息，包括：基于所述语音信息提取所有语音帧，获取语音嵌入；基于预训练的语言模型从所述文本信息中提取语义特征，获取语义嵌入；对所述语音嵌入和所述语义嵌入进行时间对齐化处理；应用一个最大池化层来聚合按时间顺序排列的所述语音嵌入和所述语义嵌入，输出聚合信息；以所述聚合信息作为预训练的情感识别神经网络的输入，输出识别得到的细粒度情感信息。4.根据权利要求1所述的一种基于多模态情感特征融合的学习者学习状态获取方法，其特征在于，步骤S2中所述基于图像信息预处理获取头部姿态信息，包括：基于所述图像信息，识别所述图像信息中的人像信息以及若干个预设的人脸关键点位，解析获取各关键点位之间的结构向量；基于选定的所述结构向量计算头部偏转角；在...

【专利技术属性】
技术研发人员：刘雄华，邓伟明，何顶新，吴悦，李双双，李曼娜，刘婷婷，刘海，
申请(专利权)人：武汉工商学院，
类型：发明
国别省市：