【技术实现步骤摘要】
一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统
[0001]本专利技术涉及图像识别、图像分类领域，具体涉及一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统。
技术介绍
[0002]学生课堂学习投入度作为学生课堂表现的主要方面，是表现性教育评价的基本依据。开展基于计算机视觉的学生课堂学习投入度充分利用了深度学习在图像识别领域和图像分类领域的优势，有利于全面准确了解学生学习情况，为促进学生有效学习、建设高质量课堂提供支持。当前基于计算机视觉的学生课堂学习投入度评价中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生复杂分布情况、视频质量较低，机器难以自动准确识别学生动作或表情以及各动作或表情差异，难以实现对学生动作或表情细节的准确提取和识别；(2)缺乏针对学生课堂学习投入度的特征识别与指标构建，难以实现全面系统的学生课堂投入度监测评价；(3)缺乏基于计算机视觉的学生课堂学习投入度评价的规范化流程和方法，致使规模化、自动化、客观化的学生课堂学习投入度监测评价难以实现。
技术实现思路
[0...
【技术保护点】
【技术特征摘要】
1.一种基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于该方法包括以下步骤：(1)构建学生课堂学习投入度量化框架，建立学生课堂学习投入度评价指标，确定各评价指标的数据要素，将数据要素分为动作类要素和表情类要素；(2)建立学生动作行为检测模型，获取动作类要素训练样本，建立学生动作检测模型网络结构，通过样本训练确定学生动作行为检测模型；(3)建立学生面部表情检测模型，获取表情类要素训练样本，建立学生表情检测模型网络结构，通过样本训练确定学生面部表情检测模型；(4)学生课堂学习投入度评价，应用学生动作行为检测模型和学生面部表情检测模型，分析待检测的课堂实录视频资源，得到评价指标的数据要素检测结果，建立学生课堂学习投入度评价算法，测算学生课堂学习投入度，以可视化方式展示评价结果。2.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(1)中所述构建学生课堂学习投入度量化框架的具体过程为：(1
‑
1)建立学生课堂学习投入度评价指标，根据学生课堂学习投入度特征，确定学生课堂学习投入度评价指标，包括专注、思考、合作和积极四个指标，其中：专注指标：用于评价学生专心于课堂学习活动、教师教学内容的程度；思考指标：用于评价学生对课堂内容的理解和认同程度；合作指标：用于评价学生合作完成课堂学习任务的参与度；积极指标：用于评价学生主动参与课堂教学活动的程度；(1
‑
2)确定各评价指标相关数据要素，根据各评价指标含义，确定评价指标相关数据要素，具体如下：专注指标相关的数据要素包括：看黑板、看老师、看书、记笔记；思考指标相关的数据要素包括：手托腮、皱眉、眉毛上抬；合作指标相关的数据要素包括：学生相互讨论；积极指标相关的数据要素包括：举手、上讲台、愉悦、惊讶；(1
‑
3)划分数据要素类型，根据数据要素所属类别，将其划分为动作类要素和表情类要素，具体如下：动作类要素为学生在课堂的动作行为，包括看黑板、看老师、看书、记笔记、手托腮、学生相互讨论、举手、上讲台；表情类要素为学生在课堂的面部表情，包括皱眉、眉毛上台、愉悦、惊讶。3.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(2)中所述建立学生动作行为检测模型的具体过程为：(2
‑
1)获取动作类要素训练样本，获取训练用的课堂实录视频资源，筛选有效图片，并根据动作类要素标注相关动作，得到动作类要素训练样本；(2
‑1‑
1)视频资源获取，读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片；(2
‑1‑
2)样本标注，根据动作类要素涉及的学生动作行为，对图片进行特征标注，并对得到的特征数据进行增强操作，得到动作类要素训练样本；(2
‑
2)建立学生动作行为检测模型网络结构，在YOLOV5模型网络结构的基础上，增加自
适应注意力模块和特征增强模块，形成学生动作行为检测模型的网络结构，包括输入网络、主干网络、Neck
‑
new网络和输出网络，其中输入网络、主干网络和输出网络均沿用YOLOV5模型网络结构，Neck
‑
new网络是在YOLOV5模型的特征金字塔网络结构的基础上，增加自适应注意力模块和特征增强模块，新增模块的具体内容如下：(2
‑2‑
1)自适应注意力模块，自适应注意力模块包括自适应池化层、连接层、卷积层、ReLU激活层、sigmoid激活层，数据输入自适应注意力模块的处理过程为：通过输入图像获得Features
‑
1和Features
‑
2，其中Features
‑
1进行后续特征聚合，Features
‑
2输入到自适应池化层；Features
‑
2通过自适应池化层获得不同尺度的语义特征；经过连接层将不同尺度的语义特征合并，获得Features
‑
3和Features
‑
4，其中Features
‑
3进行乘积操作；Features
‑
4依次经过1
×
1卷积层、ReLU激活层、3
×
3卷积层、sigmoid激活层，sigmoid激活层形成的特征进行权值映射后和Features
‑
3进行乘积操作；乘积操作得到的结果进行特征映射获取三个语义特征；三个语义特征和Features
‑
1进行特征聚合得到多尺度特征；(2
‑2‑
2)特征增强模块，特征增强模块包括多分支卷积层和分支池化层，数据导入特征增强模块的处理过程为：通过多分支卷积层的扩张、卷积、归一化和激活处理，得到多个并行的分支信息；经过分支池化层处理，融合来自不同并行分支的信息导出结果；(2
‑
3)模型训练与确定，设置模型训练参数，将动作类要素训练样本用于模型训练，记录每次训练的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生动作行为检测模型，F1_Score具体计算公式如下：高的模型确定为学生动作行为检测模型，F1_Score具体计算公式如下：高的模型确定为学生动作行为检测模型，F1_Score具体计算公式如下：其中，Precision代表精确率，Recall代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数。4.根据权利要求1所述的基于计算机视觉的学生课堂学习投入度自动评价方法，其特征在于步骤(3)中所述建立学生面部表情检测模型的具体过程为：(3
‑
1)获取表情类要素训练样本，获取训练用的课堂实录视频资源，筛选有效图片，并根据表情类要素标注相关表情，得到表情类要素训练样本；(3
‑1‑
1)视频资源获取，读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片；(3
‑1‑
2)样本标注，根据表情类要素涉及的学生面部表情，对图片进行特征标注，并对得到的特征数据进行增强操作，得到表情类要素训练样本；(3
‑
2)建立学生面部表情检测模型网络结构，基于ResNet和VGG构建学生表情检测模型网络结构，由VGG模块、ResNet模块和融合模块组成，输入图像分别使用VGG模块、ResNet模块并行处理，然后使用融合模块融合导出最终处理结果，具体如下：
(3
‑2‑
1)VGG模块，VGG模块包括卷积层、池化层、全连接层、Dropout层，数据在VGG模块的处理过程为：输入图像经过五个卷积池化层处理，卷积池化层包括两个3
×
3卷积层和一个最大池化层，图像先在卷层中进行特征提取，然后经过最大池化层将获取到的特征图尺寸缩小一半；在处理过程中有两个分支额外提取特征，然后经过卷积池化层进行特征融合，第一个分支提取第一次卷积池化层输出的图像特征，与第三次卷积池化层输出的特征融合，第二个分支提取第二次卷积池化层输出的特征，与第四次卷积池化层输出的特征融合；最后经过全连接层和Dropout层处理，结果输出到融合模块；(3
‑2‑
2)ResNet模块，ResNet模块包括卷积层、池化层、全连接层、Dropout层，数据导入ResNet模块的处理过程为：输入图像首先经过卷积层、池化层处理；经过4个残差块进行特征提取，残差块由1
×
1卷积、3
×
3卷积、1
×
1卷积组成；最后经过全连接层和Dropout层处理，结果输出到融合模块；(3
‑2‑
3)融合模块，融合模块包括全连接层、Dropout层、softmax层，数据导入融合模块的处理过程为：将VGG模块和ResNet模块提取到的特征数据，经过两次全连接层和Dropout层处理融合特征数据，最后经过softmax层得到预测结果；(3
‑
3)模型训练与确定，设置模型训练参数，利用表情类要素训练样本进行模型训练，根据损失值计算结果迭代训练模型，并记录每次的F1_Score，当F1_Score的提升低于阈值0.03时停止训练，最后将F1_Score最高的模型确定为学生面部...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。