【技术实现步骤摘要】
教师多模态情感与学生行为相关性的可视分析方法及系统
[0001]本专利技术涉及可视化技术，特别是一种教师多模态情感与学生行为相关性的可视分析方法及系统。
技术介绍
[0002]情感在人类交流和授课过程中起着重要作用。研究表明，合适的情感表达可以提高观众参与度并导致成功的知识传授[1]。因此，探索教师的多模态情感与学生行为之间的相关性，对于教师了解学生在大规模开放在线课堂中(MOOCs)的学习表现，提高他们的授课技巧具有重要价值。然而，MOOCs的开放性使得教师难以理解学生的学习行为并选择合适的情感表达。MOOCs背景下的时间和空间的分离也阻碍了情感信息的传递[2]。与传统的师生面对面交流相比，线上课堂教师无法直接观察参与学生的反应。此外，多模态情绪和学生行为数据的复杂结构增加了相关性分析的难度。之前的研究将情绪分为两组，即积极情绪和消极情绪，并研究它们在MOCCs视频中对学生辍学行为的影响[3,4]。由于人类通过多种行为方式表达情感，例如面部和声音的变化，将其描述为积极和消极是过于简单的，从而导致对特定情感对学生行为的影响的...
【技术保护点】
【技术特征摘要】
1.一种教师多模态情感与学生行为相关性的可视分析方法，其特征在于，包括以下步骤：S1、获取教师的授课视频以及在线课堂中学生的学习记录视频和鼠标点击数据；S2、对步骤S1获取的数据进行预处理，提取教师的面部、音频、文本多模态特征以及学生面部、头部、鼠标点击行为特征；S3、利用步骤S2提取的教师的多模态特征以及学生的行为特征，构建总结视图；所述总结视图用于从视频层次上呈现教师的情感变化以及与之对应的学生学习行为的改变；S4、利用所述总结视图构建学生学习行为模式视图；所述行为模式视图用于呈现学生在学习过程中的整体行为模式；S5、利用所述总结视图以及所述学习行为模式视图，构建相关性视图；所述相关性视图用于呈现教师的多模态情感以及学生的学习行为在句子层次上的变化；S6、根据所述相关性视图，构建详细视图；所述详细视图用于进一步呈现教师的多模态情感以及学生的学习行为在句子层次上的变化。2.根据权利要求1所述的教师多模态情感与学生行为相关性的可视分析方法，其特征在于，步骤S6之后，还包括：S7、构建回放视图，提供原始在线课程视频和学生学习过程中的关键帧图像，以交互式的分析教师的情感状态和学生的学习行为。3.根据权利要求1所述的教师多模态情感与学生行为相关性的可视分析方法，其特征在于，步骤S3中，利用步骤S2提取的教师的多模态特征以及学生的行为特征，构建总结视图的具体实现过程包括：使用堆叠条形码图和内嵌的圆环图分别总结每一个在线课程视频对应的教师的情感状态以及学生的学习行为信息，条形码图和圆环图通过视频时间进行对应；所述条形码图横轴表示视频的时长，纵轴从上到下分别表示面部、音频和文本三个通道的情感状态，颜色编码情感类型；与所述条形码图对应的圆环图表示90秒内的学生行为信息，外层圆环表示六种点击事件，颜色编码事件类型，弧长编码点击事件所占的比例；内层圆环表示学生的情感类型，颜色表示情感类型，弧长表示不同情感类型所占的比例，弧的高度表示识别情感类型的正确率；所述六种点击事件为“视频播放”、“视频暂停”、“视频快进”、“视频回退”、“视频速率改变”、“视频音量改变”；通过关键字{情感多样性,学习行为比例}，根据教师在课程视频中每个时间戳对应的面部、音频、文本三个通道的情感种类多少或学生在学习过程中每个时间戳共有的行为占比，对步骤S2获取的教师与学生特征信息进行筛选和排序，并按照排序结果的先后顺序对教师多模态情感信息和学生学习行为信息进行可视化总结。4.根据权利要求1所述的教师多模态情感与学生行为相关性的可视分析方法，其特征在于，步骤S4中，利用所述总结视图构建学生学习行为模式视图的具体实现过程包括：采用河流堆叠图对所有学生在课程视频学习过程中的点击流进行可视化；所述河流堆叠图其横轴表示视频时长，纵轴表示六种点击事件的数量，不同颜色的河流编码不同点击事件的变化；所述六种点击事件为“视频播放”、“视频暂停”、“视频快进”、“视频回退”、“视频速率改变”、“视频音量改变”；采用环图对所有学生在视频观看过程中的头部姿态、面部表情进行可视化；所述环图的中间部分表...
【专利技术属性】
技术研发人员：奎晓燕，张明坤，杜华坤，夏佳志，廖胜辉，刘京维，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。