一种基于改进RT-DETR目标检测模型的学生行为检测方法技术

一种基于改进RT‑DETR目标检测模型的学生行为检测方法，涉及计算机视觉及目标检测技术领域，解决现有RT‑DETR模型在复杂场景下实时检测过程中存在精准度低，且模型的计算量及参数量过大等问题，本发明专利技术通过收集教学场景学生行为图像，制作学生行为数据集；构建改进的RT‑DETR模型；初始化改进的RT‑DETR模型进行参数设置并进行训练，获得模型的最优权重文件；以及采用最优权重文件，对教学场景学生行为进行检测。本发明专利技术以YOLOv8为骨干网络，引入加性注意力机制，构建卷积加性注意力模块，本方法在保持原有精准度的基础上大大降低了RT‑DETR目标检测模型的计算复杂度。提高目标检测网络的性能。

【技术实现步骤摘要】

本专利技术涉及计算机视觉及目标检测，具体涉及一种用于识别课堂学生行为识别的改进的rt-detr算法设计方法

技术介绍

1、学生的学习状态是可以由学生的课堂行为表现反映。传统的课堂行为分析主要依赖于人工观察，通过回放课堂录像记录分析学生行为。该方法存在，人工效率低下、主观性强、工作量大等问题，很难为教师提供合理有效的反馈。基于深度学习的课堂行为检测技术以其自动化、实时性、高效性等特点成为主流。

2、传统的课堂目标检测任务，常常采用传统计算机视觉算法和机器学习技术来处理和分析图像数据，然而这些方法在学生目标众多的复杂课堂场景下适应性和准确性受限，且往往会由于目标的增多，模型性能出现大幅下降。

3、实时端到端目标检测模型(real-time detection transformer，rt-detr)，2023年发布，由百度开发，是一种基于detr架构的实时端到端物体检测器，可在保持高精度的同时提供优秀性能。它基于detr的思想，同时引入了基于conv的骨干和高效混合编码器，获得更快的实时速度。rt-detr通过解耦尺度内交互和跨尺度融合本文档来自技高网...

【技术保护点】

1.一种基于改进RT-DETR目标检测模型的学生行为检测方法，其特征是：该方法由以下步骤实现：

2.根据权利要求1所述的一种基于改进的RT-DETR目标检测模型的学生行为检测方法，其特征在于：步骤一的具体过程为：

3.根据权利要求1所述的一种基于改进的RT-DETR目标检测模型的学生行为检测方法，其特征在于：步骤二中，所述基于YOLOv8的主干网络包括九层；第一层和第二层为卷积层，用于提取输入图像的局部特征；第三层为卷积加性注意力模块，用于对卷积层提取的局部特征进行融合，获得融合后的特征图；第四层至第九层间隔设置卷积层和卷积加性注意力模块，并将第五层、第七层和第九...

【技术特征摘要】

1.一种基于改进rt-detr目标检测模型的学生行为检测方法，其特征是：该方法由以下步骤实现：

2.根据权利要求1所述的一种基于改进的rt-detr目标检测模型的学生行为检测方法，其特征在于：步骤一的具体过程为：

3.根据权利要求1所述的一种基于改进的rt-detr目标检测模型的学生行为检测方法，其特征在于：步骤二中，所述基于yolov8的主干网络包括九层；第一层和第二层为卷积层，用于提取输入图像的局部特征；第三层为卷积加性注意力模块，用于对卷积层提取的局部特征进行融合，获得融合后的特征图；第四层至第九层间隔设置卷积层和卷积加性注意力模块，并将第五层、第七层和第九层的卷积加性注意力模块作为输出通道，分别输出特征层p3、特征层p4和特征层p5。

4.根据权利要求1所述的一种基于改进的rt-detr目标检测模型的学生行为检测方法，其特征在于：每个卷积加性注意力模块均由两个cbs模块与三个加性注意力模块组成；

5.根据权利要求1所述的一种基于改进的rt-detr目标检测模型的学生行为检测方法，其特征在于：步骤二中，将特征层p5输入动态混合自注意力机制模块...

【专利技术属性】
技术研发人员：刘名扬，吕源潮，孙博康，梅智，杨轶鹏，
申请(专利权)人：吉林大学，
类型：发明
国别省市：