一种基于深度学习的考生异常行为检测方法技术

本发明专利技术提供了一种基于深度学习的考生异常行为检测方法，主要包括步骤：首先读取检测区域监控视数据，采用YOLOv4目标检测方法进行人体检测，得到人体框位置坐标，在视频帧上面进行剪裁，得到考生的行为子图，进行人工标注，制作行为异常检测数据集，设计考生异常行为检测网络模型，进行网络训练，再采用训练好的行为异常检测模型对实时图像进行分析检测，以得到视频中人体的行为检测结果。本发明专利技术判断结果准确，可提高视频监控的效率，为电子监考系统增加了异常行为识别的功能，降低电子监考对于人力的依赖，让电子监考真正发挥作用，促进了考试的公平公正。考试的公平公正。考试的公平公正。

【技术实现步骤摘要】
一种基于深度学习的考生异常行为检测方法


[0001]本专利技术属于视频监测
,具体涉及一种基于深度学习的考生异常行为检测方法。

技术介绍

[0002]目前，考试作为选拔人才、提高素养的一种手段广泛存在于社会的各个场景下，为达到选拔量才的目的，各种形式、各个行业的考试均需要保证公平性与公正性。虽然现在多数标准考场已经配备高清摄像头，但考场视频的监控只作为后端管理人员的一种备份手段，考场的监考人员由于需要处理发卷、收卷等一些事务，且有可能存在监考的盲区，无法及时发现并处理考生的不规范行为，因而有必要构建出一种基于视频数据的考试异常行为监测平台，以规范考场秩序，维护考试公平公正。
[0003]近年来随着计算机的迅速发展，深度学习技术成为分析语音、图片、视频等研究的利器，在某些分类任务中其精度一度超过人类。对于视频的研究国内外也有众多团队，主要集中在视频内容识别，视频人物动作识别。如Simonyan等提出的行为识别的经典算法——双流CNN方式，将视频看成一段图像序列，将空间与时间流分别用来计算图像帧的空间特征与光流特征，最后进行融合。后续也有人提出使用递归神经网络，并通过加入长短时记忆(LSTM，long short time memory)来解决梯度消失问题。但众多对于图像/视频场景的研究多集中于自然动作，如踢球、聊天、打电话等等。
[0004]基于此，本文提出一种面向考场环境的考生异常行为识别技术，为电子监考系统增加异常行为识别的功能，以降低电子监考对于人力的依赖，让电子监考真正发挥作用，促进考试的公平公正。

技术实现思路

[0005]本专利技术针对现有技术中的不足，提供一种基于深度学习的考生异常行为检测方法，采用的技术方案如下：
[0006]一种基于深度学习的考生异常行为检测方法，包括网络训练阶段和实时检测阶段；
[0007]所述网络训练阶段包括以下步骤：
[0008]S11：对收集到的考场视频进行预处理，以获取考场视频帧；
[0009]S12：利用目标检测模型分别对考场视频帧进行人体检测，以获取考生所在区域；
[0010]S13：截取考生所在区域的图像，得到考生行为图，并对各考生行为图进行类别标记，以构建包含行为异常和行为正常两种类别的考生行为数据集；
[0011]S14：构建考生异常行为检测模型，并利用考生行为数据集进行模型训练；
[0012]所述实时检测阶段包括以下步骤：
[0013]S21：获取考场的实时监控视频，并将监控视频的前N帧输入到目标检测模型中，以获取各考生所在区域；
[0014]S22：根据获取的各考生所在区域，在监控视频的后续帧中截取各考生的行为图；
[0015]S23：将各考生的行为图输入考生异常行为检测模型中获取考生的实时行为，若某考生行为异常，则在监控视频中用目标框标出。
[0016]进一步地，S12中所述目标检测模型为YOLOv4目标检测网络，该网络在PASCAL VOC2007数据集上进行了训练，并将得到的网络模型调整为只检测人体目标。
[0017]进一步地，S14中所述考生异常行为检测模型以MobileNetV3Small为骨干网络，以Context Module为颈部加强特征提取，在Context Module后进行全局平均池化，并采用Dropout正则化，之后经过两层密集连接层后输出，输出层采用sigmoid激活函数。
[0018]进一步地，MobileNetV3Small骨干网络在ImageNet数据集中进行了预训练，在训练考生异常行为检测模型时，首先保持MobileNetV3Small骨干网络的参数不变，利用考生行为数据集训练考生异常行为检测模型中的其他参数，然后减小学习率，利用考生行为数据集对整个考生异常行为检测模型进行微调，获得最终的考生异常行为检测模型。
[0019]进一步地，将Context Module中5
×
5的卷积替换为两个3
×
3的卷积核，并将Context Module中7
×
7的卷积核替换为三个3
×
3的卷积核，在获取足够上下文信息的前提下提高卷积核的计算效率。
[0020]进一步地，S21中，将前N帧中第一帧获取的考生区域记为Final_Boxes，依次将其余帧中获取的考生区域与Final_Boxes中的考生区域进行交并比计算，若某考生区域与Final_Boxes中考生区域的交并比小于设定阈值，则将该考生区域添加到Final_Boxes中，同一视频帧中的考生区域利用交并比筛选掉重叠区域。
[0021]基于上述方法的考生异常行为检测系统，包括考生区域获取模块、考生行为检测模块和异常行为警示模块；所述考生区域获取模块内置有目标检测模型，用于对输入的视频帧进行考生区域检测，并将对应区域的图像输入到考生行为检测模块中；所述考生行为检测模块内置有训练完成的考生异常行为检测模型，用于对输入的图像进行考生行为检测，并将异常行为的考生坐标区域输入到异常行为警示模块中；所述异常行为警示模块根据输入的考生坐标区域，在视频帧中框选出对应考生。
[0022]本专利技术具有如下有益效果：
[0023](1)异常行为检测模型采用MobileNetV3Small网络作为骨干网络，相比于其它的主流网络架构，MobileNetV3Small的参数量大大减少，但性能并没有明显削弱，即在追求模型运行速度的同时还保证了模型精度；
[0024](2)本专利技术在MobileNetV3Small骨干网络之后添加Context Module，再添加全连接分类层，Context Module增强了模型的特征提取能力，使网络的检测精度有了明显的提高，以极小的资源消耗代价获得了明显的性能的提升；
[0025](3)本专利技术通过综合视频前几帧确定考生所在区域，是基于考场场景中的考生位置较为固定，每帧中同一考生的人体框相对固定，但考虑到目标检测模型的精度，每一帧中所检测出的人体数量可能不同，离摄像头较远或边缘角落的人可能会在不同的帧中被检测出来，为了使人体框的数量包含尽可能多的人，所以综合多个视频帧中的人体框进行筛选，采用这种处理而不是对之后的每一帧都再次进行目标检测定位，极大的减少资源消耗，明显提高了系统的运行效率。
附图说明
[0026]图1为本专利技术方法的流程示意图。
具体实施方式
[0027]现在结合附图对本专利技术作进一步详细的说明。
[0028]如图1所示，本专利技术提出的一种基于深度学习的考生异常行为检测方法，主要包括网络训练阶段和实时监测阶段，其中，网络训练阶段的具体步骤为：
[0029]步骤一：在真实的考场情景下，征得被采集者同意后，按照真实监控摄像头机位采集考生行为正常和异常数据(视频和图片数据)，采用开源计算机视觉库OpenCV配置相关参数，对考场视频与图片数据进行处理，获取考场视频帧。
[0030]步骤二：对于处理后的图像，采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的考生异常行为检测方法，其特征在于，包括网络训练阶段和实时检测阶段；所述网络训练阶段包括以下步骤：S11：对收集到的考场视频进行预处理，以获取考场视频帧；S12：利用目标检测模型分别对考场视频帧进行人体检测，以获取考生所在区域；S13：截取考生所在区域的图像，得到考生行为图，并对各考生行为图进行类别标记，以构建包含行为异常和行为正常两种类别的考生行为数据集；S14：构建考生异常行为检测模型，并利用考生行为数据集进行模型训练；所述实时检测阶段包括以下步骤：S21：获取考场的实时监控视频，并将监控视频的前N帧输入到目标检测模型中，以获取各考生所在区域；S22：根据获取的各考生所在区域，在监控视频的后续帧中截取各考生的行为图；S23：将各考生的行为图输入考生异常行为检测模型中获取考生的实时行为，若某考生行为异常，则在监控视频中用目标框标出。2.如权利要求1所述的一种基于深度学习的考生异常行为检测方法，其特征在于，S12中所述目标检测模型为YOLOv4目标检测网络，该网络在PASCAL VOC2007数据集上进行了训练，并将得到的网络模型调整为只检测人体目标。3.如权利要求1所述的一种基于深度学习的考生异常行为检测方法，其特征在于，S14中所述考生异常行为检测模型以MobileNetV3Small为骨干网络，以Context Module为颈部加强特征提取，在Context Module后进行全局平均池化，并采用Dropout正则化，之后经过两层密集连接层后输出，输出层采用sigmoid激活函数。4.如权利要求3所述的一种基于深度学习的考生异常行为检测方法，其特征在于，MobileNetV3Small骨干网络在ImageNet数据集中进行了预训练，在训练考...

【专利技术属性】
技术研发人员：接标，胡瑞豹，冯春香，王正东，张剑龙，张启政，卞维新，丁新涛，陈付龙，罗永龙，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：