一种基于YOLOv3的考试作弊小抄识别方法技术

本发明专利技术公开了一种基于YOLOv3的考试作弊小抄识别方法，包括：学生端设置眼镜摄像头和正常考试纸张分析判断单元；正常考试纸张分析判断单元将采集考试纸张图像数据、标识符的图像数据，基于YOLOv3神经网络训练出目标识别网络；通过学生的眼镜摄像头进行采集学生端视频数据，并将学生端视频数据传输人目标识别网络；目标识别网络通过判断学学生端视频数据中的标识符是否在纸张中实现判断采集的学生端视频数据中的纸张是否为考试纸张；如果不是则判断出为非正常考试纸张事件，并将该非正常考试纸张事件的数据通过通信模块传输至监考管理端。本发明专利技术通过眼镜摄像头直接采集学生端视觉信息，分析非正常考试纸张，提高判断准确率。

【技术实现步骤摘要】
一种基于YOLOv3的考试作弊小抄识别方法
本专利技术涉及图像识别领域，具体涉及一种基于YOLOv3的考试作弊小抄识别方法。
技术介绍
随着互联网以及大数据应用的快速发展，线上授课，线上考试已经成为一种新的现在教学方式。而今年由于疫情的原因，学生与老师大部分只能在家学习与授课，这加速了线上授课与线上考试的普及，因此网上教学、网上授课已然成为了大众所认可的教学方式之一。虽然线上教学或考试可以打破空间与时间维度完成教学任务，但由于其先天缺点，学生处于无人监管的状态。当无监考人员监督学生考试时，则会导致无法检查控制考生的作弊行为，给考生的作弊提供了更大的可能性。近年来，随着人工智能的迅速升温，人工智能结合互联网，视频监控等技术，实现各种现代化工作，提高生产过程可控性，减少人干预，提高工作效率等目的。目标检测算法是人工智计算机视觉中的一大方向，目标检测主要是通过提取待检测目标的多个样本不用尺度特征训练分类器，训练完成后在待检测图像上做滑动窗口搜索，判断扫描窗口区域是检测目标还是背景，最终输出图像中待检测目标额位置和区域。因此结合目标检测方法在线上实现考试作弊小抄具有一定的实用价值。目前的在线考试小抄作弊行为检测分为人工监考与自动监考两类：人工监考为监考员通过在线考试系统提供考生实时画面或不定时截取考试画面，由监考人员在后台判断是否存在作弊嫌疑；自动监考为采集在线考试系统得到的图像数据进行处理分析，如识别考生的头部姿态、面部表情等方法进行作弊行为的判断。人工监管需要教师与学生一对一或一对多进行监管，该方法可以确保监考的全面性，并且监考员长时间对监考屏幕保持观察容易产生视觉疲劳，同时，人工监考不可避免的存在主观因素等，在线考试所要求的公平性无法。目前自动监考的在线考试作弊行为检测方法有基于头部姿态、基于注视点估计、基于语音检测等。系统通过电脑屏幕前的摄像头视频数据，经过MT-CNN人脸检测、ResNet50神经网络、XGBoost等方法对学生进行头部姿态、屏幕注视点估计及嘴部状态识别，结合上诉方法进行在线考试作弊行为检测。该方法通过对考生的动作行为进行识别然后判断考生是否有作弊嫌疑。但由于在考试时每个考生都有不同的“考试小动作”让自己处于放松状态，对考生行为进行识别与判断的考试作弊检测方法很容易对考生的无意动作发生误判。导致准确率下降，提高了监考端的工作成本，增加教师的工作量。
技术实现思路
1.所要解决的技术问题：针对上述技术问题，本专利技术提供一种基于YOLOv3的考试作弊小抄识别方法，通过在学生端收集学生的视觉信息并处理数据，而非处理电脑屏幕前的摄像头视频数据。本方案中由学生佩戴配有摄像头的眼镜收集学生视觉数据，然后对学生视觉的视频数据进行处理，识别视频中的纸张与标识符，计算纸张与标识符的相对位置，判断该纸张是否为作弊小抄。随后把非正常考试纸张分析结果数据包上传到监考管理端对考生的作弊嫌疑行为进行审核。因此解决了单纯对学生进行头部识别、表情识别时考生无意动作的误判别可能性，直接识别考生的第一人称视觉数据能够剔除许多第三人称视角数据所带来的附加干扰信息，提高了准确率降低监考端监考员的工作成本，降低了其工作量。2.技术方案：一种基于YOLOv3的考试作弊小抄识别方法，包括以下步骤：步骤一：学生端设置眼镜摄像头以及正常考试纸张分析判断单元；所述眼镜摄像头将采集的视频数据传输至非正常考试纸张分析判断单元；所述正常考试纸张分析判断单元将采集考试纸张图像数据、标识符的图像数据，基于YOLOv3神经网络，训练出目标识别网络。步骤二：通过学生的眼镜摄像头进行采集学生端视频数据，并将学生端视频数据传输人目标识别网络。步骤三：目标识别网络通过判断学学生端视频数据中的标识符是否在纸张中实现判断采集的学生端视频数据中的纸张是否为考试纸张；如果不是则判断出为非正常考试纸张事件，并将该非正常考试纸张事件的数据通过通信模块传输至监考管理端。进一步地，为了能够提高标识符的识别精度，步骤一中的YOLOv3神经网络采用Darknet-53作为骨干网络，识别输入的学生端视频帧数据，通过多尺度的预测将高层的特征语义信息能传输到低层的特征语义信息，使得对属于小物体的标识符的识别更为精准。进一步地，步骤三中，正常考试纸张分析判断单元通过目标识别网络识别是否为考试纸张具体包括以下步骤：S31:将学生端视频数据带入模型中，设识别图片中的纸张数目为J，标识符的数目为K，并把标识符的四个坐标组成四个标识符坐标集合，如公式(1)所示：(1)式中分别表示识别图片中第k个标识符的x轴坐标最小值，y轴坐标最小值，x轴坐标最大值，y轴坐标最大值；Xfmin、Yfmin、Xfmax、Yfmax分别表示图片中所有标识符x轴坐标最小值的集合，y轴坐标最小值的集合，x轴坐标最大值的集合，y轴坐标最大值的集合。S32:根据纸张四点坐标与标识符集合的坐标位置，判断图中识别的每张纸是否为答题纸，若是则输出0，若否则输出1，如公式(2)所示：公式(2)中P(j)表示图片中的第j张纸的识别结果，分别表示图片中第j张纸的x轴坐标最小值，y轴坐标最小值，x轴坐标最大值，y轴坐标最大值；公式(2)表示当标识符的所有坐标被目标纸张包围时，目标纸张为印有特殊标识符的答题纸，并输出为1；否则目标纸张为非考试纸张，并输出为0。S33：学生端视频数据中的每一帧的输出结果如公式(3)所示：式(3)中，若result结果等于0时，表示视频帧中没有出现纸张，或出现的纸张为考试答题纸；若result结果大于等于1，则表示视频帧中出现非正常考试纸张，有夹带小抄作弊的嫌疑；当判断单元输出目标是为非正常考试纸张时，则记录学生ID、非正常事件时间段、纸张识别结果视频证据信息组成非正常考试纸张事件数据包。进一步地，非正常考试纸张事件的数据包括学生ID号，非正常事件时间段、纸张识别结果视频证据。3.有益效果：(1)本专利技术采用YOLOv3网络作为纸张与标识符的识别网络。YOLOv3时目标检测方法中回归法的一种，相比于FastR-CNN与FasterR-CNN等候选法具有速度快，结构简单等优点，使得纸张识别模块能够实时进行。YOLOv3采用Darknet-53作为骨干网络，同时加入了多尺度预测。如图3所示为网络的输入与输出形式，通过提取网络最后三层的特征，经过上采样把上层特征与下层特征进行融合，使得最后的特征层拥有高层特征信息。由于高层特征对小物体信息较为敏感，从而提高对小物体的识别，这有助于提升答题纸上的标识符的识别精度。(2)本专利技术中监考员在后台通过直接观察学生屏幕判断是否有小抄作弊嫌疑的人工监考相比，本专利技术通过自动处理学生端的视频信息，自动判别学生是否有夹带小抄纸张的嫌疑，这大大减少了监考员的工作量。(3)本专利技术通过眼镜摄像头直接采集学生的视觉信息，分析处理视频帧中是否出现非正常考试纸张。直接处理学生的作答考试的第一信息源视角信息，提高判断准本文档来自技高网...

【技术保护点】
1.一种基于YOLOv3的考试作弊小抄识别方法，其特征在于：包括以下步骤：/n步骤一：学生端设置眼镜摄像头以及正常考试纸张分析判断单元；所述眼镜摄像头将采集的视频数据传输至非正常考试纸张分析判断单元；所述正常考试纸张分析判断单元将采集考试纸张图像数据、标识符的图像数据，基于YOLOv3神经网络，训练出目标识别网络；/n步骤二：通过学生的眼镜摄像头进行采集学生端视频数据，并将学生端视频数据传输人目标识别网络；/n步骤三：目标识别网络通过判断学学生端视频数据中的标识符是否在纸张中实现判断采集的学生端视频数据中的纸张是否为考试纸张；如果不是则判断出为非正常考试纸张事件，并将该非正常考试纸张事件的数据通过通信模块传输至监考管理端。/n

【技术特征摘要】
1.一种基于YOLOv3的考试作弊小抄识别方法，其特征在于：包括以下步骤：
步骤一：学生端设置眼镜摄像头以及正常考试纸张分析判断单元；所述眼镜摄像头将采集的视频数据传输至非正常考试纸张分析判断单元；所述正常考试纸张分析判断单元将采集考试纸张图像数据、标识符的图像数据，基于YOLOv3神经网络，训练出目标识别网络；
步骤二：通过学生的眼镜摄像头进行采集学生端视频数据，并将学生端视频数据传输人目标识别网络；
步骤三：目标识别网络通过判断学学生端视频数据中的标识符是否在纸张中实现判断采集的学生端视频数据中的纸张是否为考试纸张；如果不是则判断出为非正常考试纸张事件，并将该非正常考试纸张事件的数据通过通信模块传输至监考管理端。


2.根据权利要求1所述的一种基于YOLOv3的考试作弊小抄识别方法，其特征在于：为了能够提高标识符的识别精度，步骤一中的YOLOv3神经网络采用Darknet-53作为骨干网络，识别输入的学生端视频帧数据，通过多尺度的预测将高层的特征语义信息能传输到低层的特征语义信息，使得对属于小物体的标识符的识别更为精准。


3.根据权利要求1所述的一种基于YOLOv3的考试作弊小抄识别方法，其特征在于：步骤三中，正常考试纸张分析判断单元通过目标识别网络识别是否为考试纸张具体包括以下步骤：
S31:将学生端视频数据带入模型中，设识别图片中的纸张数目为J，标识符的数目为K，并把标识符的四个坐标组成四个标识符坐标集合，如公式(1)所示：

【专利技术属性】
技术研发人员：陈润彬，樊奕良，陈斗，许方园，
申请(专利权)人：南京润北智能环境研究院有限公司，
类型：发明
国别省市：江苏;32