课堂学生行为监控方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供一种课堂学生行为监控方法、装置、设备及可读存储介质，课堂学生行为监控方法包括：获取摄像头采集的课堂视频；将所述课堂视频中的画面逐帧输入到人脸检测模型中，得到每帧画面中每个学生的人脸感兴趣区域；将每个学生的人脸感兴趣区域输入给人脸关键点检测模型，得到每个学生对应的预设个数的关键点；基于每个学生对应的预设个数的关键点，计算得到每个学生的眼部纵横比、嘴巴纵横比以及人脸欧拉角；基于每个学生的眼部纵横比、嘴巴纵横比以及人脸欧拉角确定存在走神行为的学生。本发明专利技术通过以较少的精度损失为代价获得更好的兼容性，在降低模型的参数量的同时提高计算速度，利于移动端部署相关监控设备，以达到自主监督的效果。自主监督的效果。自主监督的效果。

【技术实现步骤摘要】
课堂学生行为监控方法、装置、设备及可读存储介质


[0001]本专利技术涉及课堂行为分析领域，尤其涉及一种课堂学生行为监控方法、装置、设备及可读存储介质。

技术介绍

[0002]学生在教室上课的过程，走神的现象难免发生，这直接影响到教学环节老师与学生的沟通交流，影响教学质量。为了减少此类现象的发生，老师时常会打断自己的教学过程，对学生的听课状态进行实时的监督，这样不仅会扰乱老师的思路同时对学生的监督效果也欠佳。

技术实现思路

[0003]本专利技术的主要目的在于提供一种课堂学生行为监控方法、装置、设备及可读存储介质，旨在解决现有技术中，针对课堂上学生的走神行为监督困难，且效果不佳的技术问题。
[0004]第一方面，本专利技术提供一种课堂学生行为监控方法，所述课堂学生行为监控方法包括以下步骤：
[0005]获取摄像头采集的课堂视频；
[0006]将所述课堂视频中的画面逐帧输入到人脸检测模型中，得到每帧画面中每个学生的人脸感兴趣区域；
[0007]将每个学生的人脸感兴趣区域输入给人脸关键点检测模型，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂学生行为监控方法，其特征在于，所述课堂学生行为监控方法包括：获取摄像头采集的课堂视频；将所述课堂视频中的画面逐帧输入到人脸检测模型中，得到每帧画面中每个学生的人脸感兴趣区域；将每个学生的人脸感兴趣区域输入给人脸关键点检测模型，得到每个学生对应的预设个数的关键点；基于每个学生对应的预设个数的关键点，计算得到每个学生的眼部纵横比、嘴巴纵横比以及人脸欧拉角；基于每个学生的眼部纵横比、嘴巴纵横比以及人脸欧拉角确定存在走神行为的学生。2.如权利要求1所述的课堂学生行为监控方法，其特征在于：所述人脸检测模型与人脸关键点检测模型均采用MobileNetV2轻量级网络模型作为特征提取模型，且将所述特征提取模型中的非线性激活层的激活函数修改为ReLU函数，下采样层修改为最大池化层。3.如权利要求1所述的课堂学生行为监控方法，其特征在于：所述每个学生对应的预设个数的关键点包括左右眼、嘴巴以及人脸主要轮廓点。4.如权利要求1所述的课堂学生行为监控方法，其特征在于：所述每个学生的人脸欧拉角使用PnP算法以及Rodrigues公式进行计算。5.如权利要求1所述的课堂学生行为监控方法，其特征在于，所述基于每个学生的眼部纵横比、嘴巴纵横比以及人脸欧拉角确定存在走神行为的学生包括：将眼部纵横比大于第一纵横比阈值或嘴巴纵横比大于第二纵横比阈值或人脸欧拉角大于预设角度阈值的学生的行为异常次数加一；确定行为异常次数大于阈值的学生存在走神行为。6.一种课堂学生行为监控装置，其特征在于，所述课堂学生行为...

【专利技术属性】
技术研发人员：吴仕凡，方鹏程，张新访，
申请(专利权)人：武汉天喻信息产业股份有限公司，
类型：发明
国别省市：