【技术实现步骤摘要】
基于多模态学习状态分析系统
[0001]本专利技术涉及数字数据处理领域，尤其涉及一种基于多模态学习状态分析系统。
技术介绍
[0002]在传统课堂教育中，老师通过对学生的面部表情和头部姿态，判断学生对学习状态，但由于老师的精力有限，无法及时观察到每位学生的课堂学习状态情况，进而无法根据每位学生的学习情况调整教学策略。
[0003]智慧教学是当前我国教育信息化研究的热词，有学者将其称之为教育信息化发展的新形态、新境界、新阶段，将智慧教学研究提到了相当高的高度。现如今关于学生课堂的学情分析的检测方面，可将检测分为基于人脸识别的方法、基于微表情的识别方法和基于脑电波的检测方法。
[0004]采用上述方法由于只有一个变量，使得检测精度较低。
技术实现思路
[0005]本专利技术的目的在于提供一种基于多模态学习状态分析系统，旨在结合学生的面部表情、老师的位置以及老师的上课语音的数据进行分析，给出可视化的分析结果。可以给出学生专注度的分析，有利于教师制定合适的教学计划，促进老师和学生的课堂交互。
...
【技术保护点】
【技术特征摘要】
1.一种基于多模态学习状态分析系统，其特征在于，包括图像获取模块、老师位置信息获取模块、老师姿态信息获取模块、学生面部信息获取模块和分析模块，所述图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；所述老师位置信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的位置信息；所述老师姿态信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的姿态信息；所述学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；所述分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。2.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，所述图像获取模块包括获取单元和处理单元，所述获取单元用于收集摄像头的图像数据；所述处理单元，用于将图像数据的尺寸标准化，并进行归一化处理，得到处理图像。3.如权利要求2所述的一种基于多模态学习状态分析系统，其特征在于，所述收集摄像头的图像数据的具体方式是，每隔5秒为一帧获取图像。4.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，所述老师位置信息获取模块包括特征图提取单元、候选单元、区域特征图生成单元和老师位置获取单元，所述特征图提取单元...
【专利技术属性】
技术研发人员：朱世宇，孙令翠，杨红艳，何桢，田菊艳，余玉清，卢政旭，冉程好，
申请(专利权)人：重庆工程学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。