一种基于改进的YOLOv12模型的课堂行为识别方法技术

本发明专利技术公开了一种基于改进的YOLOv12模型的课堂行为识别方法，所述方法根据课堂行为识别应用场景提出改进的YOLOv12模型，在主干网络和颈部网络处设计使用将A2C2f与特征细化前馈网络FRFN模块相结合的A2C2f_FRFN模块，通过多阶段的线性变换、卷积操作以及门控机制，能在课堂行为识别中加强对微小的动作或姿势变化的关注度和提升捕捉细节的能力。在主干网络和颈部网络处设计使用将C3k2与结构感知视觉状态空间模块SAVSS相结合的C3k2_SAVSS模块，通过方向扫描(水平、垂直、对角线)与结构化状态空间模型，能捕捉长程依赖与全局特征，两者结合可全面融合局部细节与全局上下文。

【技术实现步骤摘要】

本专利技术属于图像处理和教育领域，涉及一种课堂行为识别方法，具体涉及一种基于改进的yolov12模型的课堂行为识别方法。

技术介绍

1、在现代教育领域，随着教育信息化的深入发展，对课堂教学过程的精细化分析与管理需求日益迫切。课堂行为识别作为实现这一目标的关键技术，具有极为重要的意义。它能够客观、全面地获取学生在课堂上的行为表现信息，为教师调整教学策略、优化教学方法以及教育研究者深入了解教学过程提供有力支持。

2、传统的课堂行为识别方法存在诸多局限性。例如，依靠人工观察和记录学生课堂行为，不仅耗费大量人力和时间，而且主观性强，容易出现遗漏和偏差，难以全面、准确地反映学生的真实课堂表现。随着计算机视觉技术的兴起，一些基于传统图像处理和机器学习的课堂行为识别方法开始应用，但这些方法在特征提取和模型泛化能力方面表现不佳，面对复杂多变的课堂场景，如不同的光照条件、多样的学生姿态以及频繁的遮挡情况，识别准确率较低，无法满足实际应用的需求。

3、近年来，深度学习技术在目标检测和图像识别领域取得了重大突破，为课堂行为识别带来了新的契机。基于深度学习本文档来自技高网...

【技术保护点】

1.一种基于改进的YOLOv12模型的课堂行为识别方法，其特征在于所述方法包括如下步骤：

2.根据权利要求1所述的基于改进的YOLOv12模型的课堂行为识别方法，其特征在于所述A2C2f_FRFN模块的实现过程如下：输入特征向量X首先被导入基于父类初始化逻辑构建的初始卷积层，该层通过低秩映射对输入特征图实施通道压缩，借助卷积核在特征图空间域的滑动卷积，执行权重与对应位置元素的乘积累加运算，完成输入通道到隐藏通道的维度变换，提取具有基础表征能力的特征信息；随后进入由ABlock_FRFN模块构成的循环处理流程，将列表末端元素作为输入依次传入各模块序列；经ABlock_FRFN模...

【技术特征摘要】

1.一种基于改进的yolov12模型的课堂行为识别方法，其特征在于所述方法包括如下步骤：

2.根据权利要求1所述的基于改进的yolov12模型的课堂行为识别方法，其特征在于所述a2c2f_frfn模块的实现过程如下：输入特征向量x首先被导入基于父类初始化逻辑构建的初始卷积层，该层通过低秩映射对输入特征图实施通道压缩，借助卷积核在特征图空间域的滑动卷积，执行权重与对应位置元素的乘积累加运算，完成输入通道到隐藏通道的维度变换，提取具有基础表征能力的特征信息；随后进入由ablock_frfn模块构成的循环处理流程，将列表末端元素作为输入依次传入各模块序列；经ablock_frfn模块处理生成的特征向量x2与原始输入特征向量x进行残差映射融合，最终输出融合特征y，其前向传播数学表达式为：

3.根据权利要求2所述的基于改进的yolov12模型的课堂行为识别方法，其特征在于所述ablock_frfn模块的实现过程如下：上一级输入特征向量x首先经由继承自ablock类的区域注意力模块处理；区域注意力机制会对特征进行权重分配，突出关键信息，得到特征向量ymlp1，并与原始上一级输入特征向量x进行首次残差连接，得到x1；x1被传入父类ablock中的多层感知机模块进行特征变换，得到特征向量ymlp1，并与x1进行第二次残差连接，得到x2；x2进入frfn2d模块进行处理，最终得到特征向量并与x2进行残差连接，得到输出output，其前向传播数学表达式为：

4.根据权利要求3所述的基于改进的yolov12模型的课堂行为识别方法，其特征在于所述frfn2d模块实现过程如下：上一级输入特征向量x首先按通道维度划分为两部分x1和x2，对x1进行3×3卷积，再与x2沿通道维度拼接，拼接后的特征经linear1将通道数进行扩展，随后，特征被均分为两部分x3和x4，对x3进行深度可分离卷积，再与x4逐元素相乘，最后，经linear2将通道数恢复为输入维度dim，在不损失关键信息的前提下，对特征进行整合与压缩，得到最终输出output，其前向传播数学表达式为：

5.根据权利要求1所述的基于改进的yolov12模型的课堂行为识别方法，其特征在于所述c3k2_savss模块的实现过程如下：上一级输入特征x通过初始卷积层调整通道数，生成隐藏特征xh＝conv(x)，其中隐藏通道数为c，将xh输入至由n个savss模块组成的序列中，每个savss对特征进行特定变换，并输出中间特征fi(xh)；最后将最终输出fn(xh)与原始的上一级输入特征x相加，得到融合结果y，其前向传播数学表达式为：

6.根据权利要求5所述的基于改进的yolov12模型的课堂行为识别方法，其特征在于所述savss模块实现过程如下：首先对上一级输入特征x进行两次gbc操作，该模块内部包含四个并行子模块：两个3×3深度卷积分支用于捕获局部空间细节，两个1×1卷积分支用于跨通道信息交互，配合组归一化和relu激活函数实现高效特征增强，最终通过残差连接保留原始信息避免梯度消失；将增强后的特征图xgbc从空间维度展开...

【专利技术属性】
技术研发人员：别梅，张允峥，王冰，王选遥，刘亚娟，宋凯，
申请(专利权)人：长春师范大学，
类型：发明
国别省市：