一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法技术

本发明专利技术公开了一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法，该方法利用改进的Openpose对学生姿势中各个关节点的所在位置及位置关系，以及融入FPN的SSD口罩检测算法，检测出课堂异常行为学生，并及时提醒学生参与课堂以及反馈结果至老师，课后进行教学改革和总结，该方法利用改进的Openpose模型、多人口罩检测模型以及智能健康模块，不仅能够检测出学生上课异常行为及时反馈给老师并且能够提醒学生投入课堂，此外还可以对久坐的学生发出进行起身活动的提醒。

【技术实现步骤摘要】
一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
本专利技术涉及一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
，具体为一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法。
技术介绍
人工智能相关领域可谓是近些年新兴科技中的翘楚。随着对其研究的不断深入，人工智能技术的应用方向也变得越来越广泛。其中一个重要的应用方向就是对人体姿势的检测，它在行为检测、视频捕捉和计算机图形学等领域都有着广阔的应用范围和丰富的应用价值。在传统教学中，对于教学行为的评价通常基于人力分析，其评价结果较为主观，且需要经过较长时间的统计分析，不能通过实时反馈来动态调整课堂行为。如果授课老师能够在课堂上实时了解学生注意力状况，便能及时调整教学方式，提高教学效果。而现有的教室监控系统中多数围绕对学生的出勤情况进行监控，很少涉及到对学生的课堂参与度的多方面信息进行分析，从而不能够全面掌握学生的学习状态。一种带有智能实时监控功能的课堂效果鉴别装置(CN210662060U)，该专利公开了一种课堂监控方法。本文档来自技高网...

【技术保护点】
1.一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法，其特征在于：包括以下步骤：/nS1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生上课时的图像；/nS2、课堂考勤阶段，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；/nS3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值...

【技术特征摘要】
1.一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法，其特征在于：包括以下步骤：
S1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生上课时的图像；
S2、课堂考勤阶段，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；
S3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值将异常状态具体划分为：状态1：主要定义为长时间保持一个姿势不动时；状态2：主要定义为学生的主体躯干部分前后/左右摆动幅度较大；状态3：主要定义为左右张望；状态4：主要定义为长时间低头，以一般情况为例，初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常上课状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；
S4、课堂上课阶段，摄像头上装有信号发射器并持续检测学生有无异常行为，一旦发现有学生出现异常，发射器内的红外遥控发射/接收芯片经过内部运算，输出相应的信号，然后驱动无线发射模块发射信号给讲台上语音模块和教师端服务器；
S5、在学生课桌底面安装一个振动模块，此震动模块由一个信号接收器、一个振动发生器、一个语音模块、一个近距离定向声音采集器、两个固定安装座构成，振动模块主体上分为A、B两面，B面安装时与课桌底面相接触，A面用于传声，当振动模块的信号接收器接收到学生的异常上课信号时，无线发射模块将接收到的信号送入红外遥控发射/接收芯片，经过处理以后送到输出端子，从而控制振动模块工作，振动模块便产生数秒的振动，提醒学生认真上课，当震动模块中的信号接收器收到系统发送的久坐提醒信号时，便会启动语音模块来提醒学生外出活动，两种提醒方式的优先级为：震动提醒优先于语音提醒，即高优先级的提醒方式不产生作用时，再继续采取下一等级的提醒方式；
S6、摄像头同时检测学生上课时的口罩佩戴问题，一旦检测出某学生拿掉口罩或口罩佩戴不规范，系统会自动调整摄像头的焦距，锁定该学生并把这帧图像保存，同时标记该学生为上课行为异常；
S7、在桌面上安装一个薄膜式压力传感器，以此来辅助检测学生的课堂行为姿态，在排除物品压力干扰后，若学生产生压力的区域的平均压力值超出一定的阈值范围，即可进入疑似异常状态；系统会自动调整摄像头的焦距或调用后摄像头，来重点观察此学生的行为姿态，直至其恢复为正常状态或被判定为异常状态；
S8、震动模块中含有近距离定向声音采集器，以此来辅助检测学生的课堂行为，在排除噪音干扰后，若检测到该区域有学生交谈的声音，即可进入疑似异常状态；系统会自动调整摄像头的焦距或者调用后摄像头，来重点观察该区域的学生的课堂行为，直至其恢复为正常状态或被判定为异常状态；
S9、智能健康模块安装完成以后，可进行系统初始化，包括定时器、中断等初始化，中断程序用来设置久坐时间门限，信号接收器接收由总控系统传输的控制信号，当凳子上...

【专利技术属性】
技术研发人员：张堃，韩宇，冯文宇，张宇豪，祁晖，陆贝洋，孙宇翔，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32