基于视频目标检测的学生课堂异常行为识别方法与系统技术方案

本发明专利技术涉及视频图像处理方法领域，公开了一种基于视频目标检测的学生课堂异常行为识别方法与系统，包括学生身份识别、学生异常行为识别、获取发生异常行为的学生身份信息；本发明专利技术利用单个模型同时获取课堂上每个学生行为类别和行为发生轨迹，可降低计算量；本发明专利技术利用特征增强策略可提高目标行为位置和行为识别准确率，且能够感知学生行为发生轨迹，提高异常行为学生身份的识别准确率。高异常行为学生身份的识别准确率。高异常行为学生身份的识别准确率。

【技术实现步骤摘要】
基于视频目标检测的学生课堂异常行为识别方法与系统


[0001]本专利技术涉及视频图像处理方法领域，具体涉及一种基于视频目标检测的学生课堂异常行为识别方法与系统。

技术介绍

[0002]在课堂上时，学生的行为状态会反应出学生的学习状态，为了能够更好掌握学生的学习状态，需要对学生在课堂上的异常行为进行识别。
[0003]现有技术中对课堂上学生异常行为的识别方法包括以下两种：
[0004]一、基于单帧图像：
[0005]基于单帧图像的方案先通过目标检测算法获得感兴趣目标位置信息，再利用行为识别算法获得感兴趣目标的行为结果。
[0006]二、基于视频序列
[0007]首先要获得感兴趣目标在整个视频序列中每帧位置，根据位置构造感兴趣目标的图像集，然后将感兴趣目标图像集送入到基于视频的行为分类网络。
[0008]现有识别方法的技术缺陷如下：
[0009]基于单帧图像和基于视频序列的行为识别需要先用目标检测算法定位感兴趣目标，然后对每个感兴趣目标使用分类算法获得目标行为，计算代价较大；此外，在基于单帧图像的方法中，由于运动残影、遮挡或相机失焦等原因，基于单帧图片很难确定目标行为位置和行为类别信息。

技术实现思路

[0010]为解决上述技术问题，本专利技术提供一种基于视频目标检测的学生课堂异常行为识别方法与系统。
[0011]为解决上述技术问题，本专利技术采用如下技术方案：
[0012]一种基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤：
[0013]步骤一、实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；
[0014]步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；
[0015]步骤三、对于每帧图像中的每个学生ST
j
，将学生ST
j
当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST
j
在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST
j
发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST
j
未发生异常行为A；1≤j≤p，p为上课的学生总数；
[0016]步骤四、对于发生异常行为A的学生ST
j
，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST
j
的身份。
[0017]步骤二具体包括：
[0018]从学生上课视频中每隔T秒获取2N帧图像；
[0019]将2N帧图像的数据2N*3*H0*W0送入到resnet50骨干网络获取2N*3*H1*W1的特征，第i帧图像对应的特征记为F
i
,i＝1,2,....2N，大小为C1*H1*W1；其中H0、W0分别为每帧图像的高度和宽度，H1、W1、C1分别为特征F
i
的高度、宽度以及通道数；i＝1,2,....2N；
[0020]对于每帧图像，利用交叉注意力方法与其他2N
‑
1帧图像分别两两进行特征聚合，得到了2N
‑
1个增强特征；将2N
‑
1个增强特征进行像素级加和得到帧图像的增强特征
[0021]对于每个目标帧图像的增强特征利用yolox解耦的分类检测头和回归检测头，获取每个目标帧图像中每个学生的行为位置行为初始类别行为分数
[0022]一种基于视频目标检测的学生课堂异常行为识别系统，包括：
[0023]人脸识别模块：实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；
[0024]行为识别模块：获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；
[0025]异常行为识别模块：对于每帧图像中的每个学生ST
j
，将学生ST
j
当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST
j
在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST
j
发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST
j
未发生异常行为A；1≤j≤p，p为上课的学生总数；
[0026]身份确定模块：对于发生异常行为A的学生ST
j
，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST
j
的身份。
[0027]与现有技术相比，本专利技术的有益技术效果是：
[0028]1.本专利技术所提出的基于视频目标检测的课堂行为算法模型，利用单个算法模型就可同时获取课堂上每个学生行为类别和行为发生轨迹，可降低计算量。
[0029]2.对于多帧图片，本专利技术所提出的视频目标检测模型的骨干网络共享，可降低计算量。
[0030]3.本专利技术利用特征增强策略可提高目标行为位置和行为识别的准确率。
[0031]4.本专利技术所提出的获取目标学生行为和行为轨迹信息的方法，可以提高学生行为识别准确率同时感知学生行为发生轨迹。
[0032]5.本专利技术所提出的获取发生异常行为学生身份信息方法，可以提高异常行为学生
身份的识别准确率。
附图说明
[0033]图1为本专利技术异常行为识别方法的流程图。
具体实施方式
[0034]下面结合附图对本专利技术的一种优选实施方式作详细的说明。
[0035]如图1所示，本专利技术中基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤。
[0036]S1、学生身份识别：
[0037]学生上课后，实时获取学生上课视频数据，利用人脸检测算法获取课堂上每个学生的人脸位置信息。对于每个学生人脸，利用人脸特征提取算法获得人脸特征信息，并与学生人脸特征库进行对比，获得每个人脸对应的身份信息。通过该步骤，可以获取每个人脸的位置信息和身份信息。
[0038]S2、学生异常行为识别：
[0039]实际上，由于存在运动残影、遮挡或相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤：步骤一、实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；步骤三、对于每帧图像中的每个学生ST
j
，将学生ST
j
当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST
j
在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST
j
发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST
j
未发生异常行为A；1≤j≤p，p为上课的学生总数；步骤四、对于发生异常行为A的学生ST
j
，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST
j
的身份。2.根据权利要求1所述的基于视频目标检测的学生课堂异常行为识别方法，其特征在于，步骤二具体包括：从学生上课视频中每隔T秒获取2N帧图像；将2N帧图像的数据2N*3*H0*W0送入到resnet50骨干网络获取2N*3*H1*W1特征，第i帧图像对应的特征记为F
i
，i＝1，2，....2N，大小为C1*H1*W1；其中H0、W0分别为每帧图像的高度和宽度，H1、W1、C1分别为特征F
i
的高度、宽度以及通...

【专利技术属性】
技术研发人员：陈欣，黄杰，贾靖禹，徐骜，张习伟，孙晓，汪萌，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：