一种基于改进制造技术

一种基于改进

【技术实现步骤摘要】
一种基于改进YOLOv7的学生课堂行为检测方法


[0001]本专利技术涉及课堂行为检测
，更具体地说，本专利技术涉及一种基于改进
YOLOv7
的学生课堂行为检测方法
。

技术介绍

[0002]随着教育事业的发展，教育教学领域对课堂教学的重要性越来越重视，特别关注学生在课堂中的反应和行为变化
。"
新课改
"
的提出对教学评价提出了更高的要求
。
与此同时，我国近年来有序推进智慧学校的建设，逐步构建以智慧教学
、
智慧管理
、
智慧生活等为特色的学校模式
。
学生课堂是构建智慧学校的关键环节之一，学生课堂的质量受多个方面的影响，包括教学设计
、
课堂实践和教学评估等
。
其中，通过观察学生的课堂行为来进行教学评估是一种有效且常用的方法
。
[0003]在传统的教学评估中，通常会有评估老师坐在后排对学生的上课状态和教师的授课情况进行评估
。
然而，由于评估老师的位置限制，很难全面观察学生的具体上课状态
。
评估老师只能对少数学生的上课状态进行评估，导致评估数据的不全面性
。
此外，不同评估老师的评估标准
、
观察方式和思考角度存在差异，这也导致了教学评估结果的差异性
。
同一堂课的不同时期，评估老师的精神状态也不同，很难长时间专注地观察学生的课堂行为，进一步加大了教学评估的差异性
。
因此，从客观角度对课堂中学生的行为进行检测和分析对评估老师
、
任课教师
、
学校领导和学生家长都具有重要意义
。
如果能够利用计算机技术对学生的课堂行为进行自动识别和检测，将能够为教学评估提供全面客观的数据参考，有助于提升教学质量
。
[0004]随着视频分析和计算机视觉技术的发展，分析课堂视频或图片中的学生行为以进行教学评估能够提供更准确
、
更客观的反馈
。
在课堂行为检测领域，常见的算法包括基于视频的动作识别
、
姿态估计和目标检测等方法
。
视频动作识别面临着大规模和高维度的视频数据处理问题，需要消耗大量的计算资源和存储空间，并且行为在视频中具有长时间的依赖性，需要捕捉和建模时间上的联系
。
姿态估计在多人场景中同时估计多个人的姿态是具有挑战性的，当人体部分被遮挡或姿态发生剧烈变化时，姿态估计的准确性会下降
。
时间序列分析需要建立长期的依赖关系，以适应不同的行为模式和上下文
。
使用目标检测进行行为识别可以准确地定位目标物体，在复杂的多人交互和群体行为等场景中能够同时检测和识别多个目标
。
目标检测技术在实时应用方面取得了显著进展，为行为识别任务提供了强有力的支持
。
[0005]课堂教学视频中存在学生目标众多
、
严重遮挡等问题，这对学生行为识别在课堂场景中带来了巨大的研究挑战
。
为了自动识别所有学生的课堂行为，需要研究更具鲁棒性的多人行为识别模型
。
传统基于目标检测的学生课堂行为检测方法面临着学生目标众多
、
目标尺寸不一致
、
目标遮挡以及视频或图像分辨率较低等因素的影响，因此无法准确且高效地识别出课堂中学生的行为状态
。

技术实现思路

[0006]针对现有技术中出现的不足，本专利提出一种基于改进
YOLOv7
的学生课堂行为检测方法
。
本专利技术的基于改进
YOLOv7
的学生课堂行为检测方法主要对
YOLOv7
的主干网络
、
预测头部
、IOU
计算损失等模块进行了改进，改进后的模型更加关注待检测目标，从而提高学生课堂场景的行为检测能力
。
解决了上述
技术介绍
中提到的问题
。
实验结果证明了本专利技术的方法相比于现有技术更具有优越性
。
[0007]为实现上述目的，本专利技术采用的技术方案：一种基于改进
YOLOv7
的学生课堂行为检测方法，包括以下步骤：
[0008]步骤1，获取学生课堂行为视频，对获取的视频拆帧，得到学生课堂行为的图片；
[0009]步骤2，对步骤1获取的图像进行预处理，利用
labelImg
图像标注工具对学生课堂行为数据集进行标注，并划分数据集，获得学生课堂行为数据集
。
[0010]步骤3，构建基于改进
YOLOv7
的学生课堂行为检测网络，在
YOLOv7
算法主干网络中添加
ACmix
注意力机制，对
YOLOv7
算法中的预测头部分进行改进，将原有
YOLOv7
算法中的
Detect
替换为
ASFFDetect
结构，同时引入
NWD
‑
based Regression Loss
作为损失函数；
[0011]步骤4，将数据集中的图像数据作为输入，输入到改进后的
YOLOv7
模型中进行训练，得到训练好的学生课堂行为检测模型；
[0012]步骤5，将待检测的学生课堂场景图像送入到训练好的模型中，得到学生的行为类别和置信度；
[0013]步骤2获得的图像预处理和图像标注包含如下步骤：
[0014]步骤
2.1
，利用
OpenCV
库，对得到的学生课堂行为图像进行预处理，比如改变亮度和对比度，去掉背景，局部图像，平滑处理，降噪，融合图片，得到学生课堂行为图像；
[0015]步骤
2.2
，采用
labelImg
图像标注工具对得到的学生课堂行为图像的学生进行动作标注，并将标签信息保存在与图片同名的
txt
文件中，得到学生课堂行为数据集；
[0016]步骤
2.3
，将学生课堂行为图像数据集划分为训练数据集和测试数据集，将所有图片和已标注的标签按照8：2的比例划分为训练集和测试集
。
[0017]所述基于改进
YOLOv7
的学生课堂行为检测网络主要包含输入
(Input)
骨干网络
(Backbone)、
颈部
(Neck)、
头部
(Head)4
部分
,
在基础
YOLOv7
的
Neck
部分引入
ACmix
注意力卷积模块，突出浅层网络中包含的关键目标特征，弱化无关信息，提高算法对小目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于改进
YOLOv7
的学生课堂行为检测方法，其特征在于，包括以下步骤
:
步骤1，获取学生课堂行为视频，对获取的视频拆帧，得到学生课堂行为的图片；步骤2，对步骤1获取的图像进行预处理，利用
labelImg
图像标注工具对学生课堂行为数据集进行标注，并划分数据集，获得学生课堂行为数据集；步骤3，构建基于改进
YOLOv7
的学生课堂行为检测网络，在
YOLOv7
算法主干网络中添加
ACmix
注意力卷积模块，对
YOLOv7
算法中的预测头部分进行改进，将原有
YOLOv7
算法中的
Detect
替换为
ASFFDetect
结构，通过在训练过程中学习不同层次特征的最佳融合方法，过滤掉携带矛盾信息的其他层特征；同时引入
NWD
‑
based Regression Loss
作为损失函数；所述基于改进
YOLOv7
的学生课堂行为检测网络主要包含
Input、Backbone、Neck、Head 4
部分；在
Neck
部分引入的
ACmix
注意力卷积模块，具体包括以下步骤：第一阶段：通过3个1×1卷积对输入特征进行投影，然后重组为
N
块；获得包含3×
N
中间特征的特征映射；第二阶段：按照不同的范式使用，对于自注意力路径，将中间特征收集到
N
组中，其中每组包含三个特征，对应
q,k,v
；对于内核大小为
k
的卷积路径，采用轻量级全连接层生成
K2
个特征图，通过移位和聚合生成特征；第三阶段，将两个路径的输出相加，其强度由两个可学习标量控式所示：
F
out
＝
α
F
att
+
β
F
conv
#(1)
其中
F
out
表示路径的最终输出，
F
att
表示自注意力分支的输出，
F
conv
表示卷积注意力分支的输出，参数
α
和
β
的值均为1；在
Head
部分将原有网络中的
Detect
预测头替换为
ASFFDetect
预测头，
ASFFDetect
模块包含两步：同尺寸变换和自适应特征融合；
(1)
特征同尺寸变换：不同层的特征图尺寸不一致，重塑到相同的尺寸；小尺寸变大尺寸需要进行上采样，大尺寸变小尺寸需要进行下采样；
(2)
自适应融合：将分别为来自
level
，
level2
，
level3
的特征
X1
，
X2
，

【专利技术属性】
技术研发人员：王莉娜，代启国，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：