一种基于深度学习的学生课堂行为检测方法、系统及终端技术方案

本发明专利技术公开了基于深度学习的学生课堂行为检测方法、系统及终端，包括：对采集到的学生课堂行为进行提取，将获取的学生异常行为图片作为样本数据集；将样本数据集进行划分为训练集和测试集，根据异常行为所划分的类型对训练集进行标注，得到训练标签数据；基于K

【技术实现步骤摘要】
一种基于深度学习的学生课堂行为检测方法、系统及终端


[0001]本专利技术属于计算机视觉领域，涉及一种基于深度学习的学生课堂行为检测方法、系统及终端。

技术介绍

[0002]近年来，学生人数不断上涨，教师的教学管理工作愈加繁重。随着人工智能技术在各方面的应用和渗入，教育也将迎来智能化时代。课堂教学活动一直是教育研究的重点，在课堂教学中，学生作为学习活动的主体，其行为状态是教学活动的直接体现，实现智能化的学生课堂行为检测分析也变得越来越重要。
[0003]传统的机器学习方法中，对学生课堂行为检测的研究主要是利用人体骨骼向量、流光特征、全局运动方向特征等方法进行特征提取，再结合朴素贝叶斯或者支持向量机等分类器进行行为识别，但是这些方法需要大量的人工进行特征的提取，无鲁棒性而且计算量巨大，无法快速准确的进行学生行为检测。

技术实现思路

[0004]本专利技术的目的在于解决现有技术中的问题，提供一种基于深度学习的学生课堂行为检测方法、系统及终端，通过构建YOLOv4
‑
XS目标检测模型能够快速检测到学生课堂的异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的学生课堂行为检测方法，其特征在于，包括：对采集到的学生课堂行为进行提取，将获取的学生异常行为图片作为样本数据集；将样本数据集进行划分为训练集和测试集，并根据异常行为所划分的类型对训练集进行标注，得到训练标签数据；基于K
‑
means++算法对训练标签数据进行处理，获取先验框参数；基于训练集、先验框参数、YOLOv4目标检测算法、CBAM注意力机制和DenseNets，构建YOLOv4
‑
XS目标检测模型；基于YOLOv3的损失函数和CIOU损失，构建YOLOv4
‑
XS目标检测模型的损失函数；将训练集输入到YOLOv4
‑
XS目标检测模型中进行训练，损失函数不断迭代至收敛，获得到最优网络权重，并与测试集进行测试验证，识别学生课堂的行为。2.根据权利要求1所述的基于深度学习的学生课堂行为检测方法，其特征在于，所述对采集到的学生课堂行为进行提取，将获取的学生异常行为图片作为样本数据集，具体为：通过教室监控设备获取真实课堂上的学生行为视频，用Adobe Premiere Pro软件对监控视频中学生异常行为图片进行帧提取，得到样本数据集。3.根据权利要求1所述的基于深度学习的学生课堂行为检测方法，其特征在于，所述将样本数据集进行划分为训练集和测试集，并根据异常行为所划分的类型对训练集进行标注，得到训练标签数据，具体为：将样本数据集分为训练集和测试集；针对真实学生上课情况，将课堂异常行为分为三类，分别是玩手机、睡觉、交头接耳；根据异常行为分类对训练集进行标注，得到训练标签数据和数据库。4.根据权利要求1所述的基于深度学习的学生课堂行为检测方法，其特征在于，所述基于K
‑
means++算法对训练标签数据进行处理，获取先验框参数，具体为：输入训练标签数据到K
‑
means++算法中，设置n个聚类中心；从训练标签数据中随机选择一个作为初始聚类中心，计算每个训练标签数据与当前已有聚类中心的最短距离，判断距离值的大小，选取下一个聚类中心；当聚类中心的个数达到n时，获取最大迭代次数，将各个训练标签数据与最近的聚类中心划分为一类，最后得到n对不同尺寸的先验框。5.根据权利要求1所述的基于深度学习的学生课堂行为检测方法，其特征在于，所述基于训练集、测试集、先验框参数、YOLOv4目标检测算法、CBAM注意力机制和DenseNets，构建YOLOv4
‑
XS目标检测模型，具体为：YOLOv4
‑
XS模型包括输入部分、特征提取网络、颈部和头部四部分；输入部分是训练集和测试集的输入；特征提取部分由CSP Darknet33和CBAM注意力机制组成，CSP Darknet33部分由CBM结构和加入CSP连接的CBM与残差模块CSPX构成，CBM结构是卷积Conv+批标准化BN+激活函数Mish，CSPX模块的数量为5，分别记为：CSP1、CSP2、CSP4、CSP4、CSP2，从第四个CSP模块的第一层残差网络开始位置加入CBAM注意力机制，将特征网络引入空间和通道双重注意力映射，对输入的特征图进行自适应特征细化；颈部是特征融合网络，并引入De...

【专利技术属性】
技术研发人员：张颖，张喆，王明军，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：