一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法技术

本发明专利技术公开了一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，该方法利用改进的Openpose对学生姿势中各个关节点的所在位置及位置关系，以及融入FPN的SSD口罩检测算法，检测出考试异常行为学生，并及时提醒学生参与考试以及反馈结果至老师，课后进行教学改革和总结，该方法利用改进的Openpose模型、多人口罩检测模型，不仅能够检测出学生考试异常行为及时反馈给老师，并且能够改善考场纪律，谨防考试违纪现象。

【技术实现步骤摘要】
一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法
本专利技术涉及基于改进的Openpose考试多人异常行为及口罩佩戴检测方法
，具体为一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法。
技术介绍
随着智能化技术的不断发展，越来越多的智能化产品深入到了我们的生活中，在教育方面，摄像头的智能监控给考试模式带来了一次极大的革新。在传统的考试模式中，考试机构安排考试时间、考试地点以及监考人员，考生按照规定时间到指定地点参加考试，接受监考人员的监考。随着考试模式在智能化背景下的不断转型发展，考试形式也变得更加智能化，在新的考试模式中，减轻监考老师的任务，选择在教室中安装摄像头，通过摄像头来监督学生，判断在考试中有无作弊行为。新的考试模式方便了监考人员和考试机构，减少了监考的人力成本，从而在很大程度上减少了在考试组织上的成本投入。《一种在线考试中实时图像监考系统的设计与实现》，该文提供的技术方案采用定时拍摄的方法，获取的图片较少，信息丢失量大，导致检测精度不高，容易误判、漏判。而且需要后台人工识别，增加了人力成本。一种监考系统及方法(CN103136510A)，该专利申请公开了一种考试监控方法。该方法的不足之处：采集器按一定周期采集信息，可能会遗漏一些关键信息导致检测精度不高。该方法只提供图像与语音分析，没有应用传感器辅助工作，技术不全面。此外，该方法不能够检测考生是否佩戴口罩，不适用于疫情环境下，不够安全，有过时之嫌。而在基于视频监控的考场异常行为检测方法研究与实现一文中，提出了基于运动目标检测和肤色检测相结合的检测方法。此方案采集了大量的考试数据集，导致运算繁琐，而且人体肤色与环境颜色相近，比较难以提取，增加了误差率。在如今的疫情大背景下，学校也要求学生在考试中佩戴口罩，而市场上没有一款专门检测学生考试时是否佩戴口罩的设备，针对于现有的口罩识别的方案，在基于《迁移学习与RetinaNet的口罩佩戴检测的方法》一文中，提到了通过利用RetinaNet网络，来对复杂环境下佩戴口罩的人脸和未佩戴口罩的人脸进行识别检测。虽然识别速度较快，但是运用RetinaNet网络的缺点主要是准确度较低，而且现在RetinaNet网络还没有实施于考试检测的经验，可行性未知。一种体温监控协助监察系统(CN211124084U)，该专利公开了一种佩戴口罩的检测方法。该方法的不足之处为：仅对被系统识别为体温异常的群体进行口罩佩戴检测，检测对象不全面。一种人员佩戴口罩情况的监测方法以及装置(CN109101923A)，该专利公开了佩戴口罩的检测方法。该方法的不足之处为：在追求快速检测的同时并没有实现准确性。例如，口罩的正面是深色的，对着外面；该方法并不能判断人员是否正确佩戴口罩。因此，亟待一种改进的技术来解决现有技术中所存在的这一问题。
技术实现思路
本专利技术的目的在于提供一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，包括以下步骤：S1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生考试时的图像；S2、考试全过程中，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；S3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为了使识别更加简便，挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行识别；S4、考场异常行为检测分成2个主要状态：正常状态和异常状态；根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值将异常状态具体划分为：状态1：主要定义为手部信息超出规定区域；状态2：主要定义为低头并且手放在桌子下；状态3：主要定义为左右张望；状态4：主要定义为频繁抬头；初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常考试状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；S5、在学生课桌下配置一个定向声音采集器，以此来辅助检测学生的考试行为状态，在排除噪音干扰后，若检测到该区域有学生交谈的声音，即可标记为疑似异常状态；系统会自动调整摄像头的焦距或者调用后摄像头，来重点观察该区域考生的考试行为，直至其恢复为正常状态或被判定为异常状态；S6、根据识别出的关键点连线的图像，当初次发现某帧图像中关键点位置关系或关键点连线距离达到预设的阈值时，将该帧设置为起始帧，此后提高检测频率；初始时，系统将会每隔5秒对图像进行对比检测；若指定关键点出现丢失、相关数值达到阈值或出现异常表情时将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点连线距离超过设定阈值时，判定为异常状态；S7、当检测到异常状态，系统将继续对后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常信息按各行为判定标准判定为状态1、状态2、状态3或状态4；S8、摄像头检测学生考试时，一旦检测出某学生拿掉口罩或口罩佩戴不规范，或者检测到学生考试异常，系统会自动调整摄像头的焦距，锁定该学生并把该帧图像保存，同时标记该学生为考试行为异常；S9.在讲台放置一语音模块，当系统判定学生进入异常状态时，信号发射器发出信号，语音模块上的蓝牙模块接收到此信号，通过功率放大板控制扬声器发出声音，提醒老师该学生出现异常；S10.引入搜索和优化识别策略,若某一考生经常出现疑似异常行为状态的确诊，则下一次异常识别中，减少判定异常行为姿态所需要持续的时间，优先判断是否为考试异常状态，进而提高分析的效率。优选的，所述S3中Openpose为一种双并行卷积网络模型，所述双并行卷积网络模型同时使用两个卷积网络，一个卷积网络从图像中定位人体关键部位的位置，另一个卷积网络则用于连接候选关键部位组成肢体，再将这两个卷积网络的结果汇总进行姿势组装，完成对图像中人体姿势的检测。优选的，所述S3中Openpose的主要算法包括局部区域亲和算法匈牙利算法。优选的，所述S4中状态1：当学生左手或右手手腕关键点在连续五次识别的帧图像中位置超过指定区域，即定义为异常状态1；状态2：当学生的在连续十五次识别的帧图像面部五个关键点中任意关键点的位置低于阈值时且手腕关键点位置低于一定阈值时，即定义为异常状态2；状态3：当学生面部的左侧或右侧眼睛和耳朵这两个关键点在连续五次识别的帧图像中均丢失即定义为状态3；状态4：当学生面部的五个关键点中的任意一个关键点位置在连续十次识别的帧图像中经常超过阈值，则定义为异常状态4。优选的，所述S5中声音采集器主要由线圈、磁钢、外壳组成，当接受到声波信号本文档来自技高网...

【技术保护点】
1.一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：包括以下步骤：/nS1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生考试时的图像；/nS2、考试全过程中，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；/nS3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为了使识别更加简便，挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行识别；/nS4、考场异常行为检测分成2个主要状态：正常状态和异常状态；根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值将异常状态具体划分为：状态1：主要定义为手部信息超出规定区域；状态2：主要定义为低头并且手放在桌子下；状态3：主要定义为左右张望；状态4：主要定义为频繁抬头；初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常考试状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；/nS5、在学生课桌下配置一个定向声音采集器，以此来辅助检测学生的考试行为状态，在排除噪音干扰后，若检测到该区域有学生交谈的声音，即可标记为疑似异常状态；系统会自动调整摄像头的焦距或者调用后摄像头，来重点观察该区域考生的考试行为，直至其恢复为正常状态或被判定为异常状态；/nS6、根据识别出的关键点连线的图像，当初次发现某帧图像中关键点位置关系或关键点连线距离达到预设的阈值时，将该帧设置为起始帧，此后提高检测频率；初始时，系统将会每隔5秒对图像进行对比检测；若指定关键点出现丢失、相关数值达到阈值或出现异常表情时将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点连线距离超过设定阈值时，判定为异常状态；/nS7、当检测到异常状态，系统将继续对后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常信息按各行为判定标准判定为状态1、状态2、状态3或状态4；/nS8、摄像头检测学生考试时，一旦检测出某学生拿掉口罩或口罩佩戴不规范，或者检测到学生考试异常，系统会自动调整摄像头的焦距，锁定该学生并把该帧图像保存，同时标记该学生为考试行为异常；/nS9.在讲台放置一语音模块，当系统判定学生进入异常状态时，信号发射器发出信号，语音模块上的蓝牙模块接收到此信号，通过功率放大板控制扬声器发出声音，提醒老师该学生出现异常；/nS10.引入搜索和优化识别策略,若某一考生经常出现疑似异常行为状态的确诊，则下一次异常识别中，减少判定异常行为姿态所需要持续的时间，优先判断是否为考试异常状态，进而提高分析的效率。/n...

【技术特征摘要】
1.一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：包括以下步骤：
S1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生考试时的图像；
S2、考试全过程中，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；
S3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为了使识别更加简便，挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行识别；
S4、考场异常行为检测分成2个主要状态：正常状态和异常状态；根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值将异常状态具体划分为：状态1：主要定义为手部信息超出规定区域；状态2：主要定义为低头并且手放在桌子下；状态3：主要定义为左右张望；状态4：主要定义为频繁抬头；初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常考试状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；
S5、在学生课桌下配置一个定向声音采集器，以此来辅助检测学生的考试行为状态，在排除噪音干扰后，若检测到该区域有学生交谈的声音，即可标记为疑似异常状态；系统会自动调整摄像头的焦距或者调用后摄像头，来重点观察该区域考生的考试行为，直至其恢复为正常状态或被判定为异常状态；
S6、根据识别出的关键点连线的图像，当初次发现某帧图像中关键点位置关系或关键点连线距离达到预设的阈值时，将该帧设置为起始帧，此后提高检测频率；初始时，系统将会每隔5秒对图像进行对比检测；若指定关键点出现丢失、相关数值达到阈值或出现异常表情时将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点连线距离超过设定阈值时，判定为异常状态；
S7、当检测到异常状态，系统将继续对后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常信息按各行为判定标准判定为状态1、状态2、状态3或状态4；
S8、摄像头检测学生考试时，一旦检测出某学生拿掉口罩或口罩佩戴不规范，或者检测到学生考试异常，系统会自动调整摄像头的焦距，锁定该学生并把该帧图像保存，同时标记该学生为考试行为异常；...

【专利技术属性】
技术研发人员：张堃，韩宇，冯文宇，张宇豪，祁晖，陆贝洋，孙宇翔，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32