基于图像处理的学生行为异常检测方法技术

本发明专利技术公开了一种基于图像处理的学生行为异常检测方法，涉及图像处理技术领域，该方法包括：获取考场监控视频中的每帧RGB图像和深度图像；获取每帧RGB图像中对每个人进行关键点检测的第一热图限定参数、第二热图限定参数；利用每个人的第一热图限定参数和第二热图限定参数获取每帧图像中每个人的关键点热图；利用神经网络得到学生处于考试状态或异常状态；利用关键点热图获取学生的目标视线向量；获取距离该学生的目标视线向量最近的目标关键点，利用目标关键点与目标视线向量的距离确定学生是否存在眼神互动；利用学生存在眼神互动的频率确定该学生是否存在异常行为，本发明专利技术实现了对考场中学生异常行为的智能识别。实现了对考场中学生异常行为的智能识别。实现了对考场中学生异常行为的智能识别。

【技术实现步骤摘要】
基于图像处理的学生行为异常检测方法


[0001]本专利技术涉及图像处理
，具体涉及基于图像处理的学生行为异常检测方法。

技术介绍

[0002]对于重要考试学校不仅安排监考员进行监考，还会在考场的多个位置设置监控摄像头，进行全方位监控，将考场画面实时转播到巡检部门，巡检人员通过监控视频识别学生行为，判断学生是否存在作弊行为，并且还可以将监控视频保存，用于后期确认作弊的证据。
[0003]但是由于考场人员众多，监考员无法关注到每个学生的行为状态，确定是否作弊，巡检人员也无法通过监控视频识别出所有存在作弊行为的学生，并且设置监控仅仅存在录制存储的功能，不具备分析功能，所以无法判断当前时刻是否存在学生作弊的情况，因此，需要基于图像处理的学生行为异常检测方法。

技术实现思路

[0004]本专利技术提供基于图像处理的学生行为异常检测方法，以解决现有的问题。
[0005]本专利技术的基于图像处理的学生行为异常检测方法采用如下技术方案：该方法包括：获取考场监控视频中的每帧RGB图像和深度图像；获取每个人在每帧深度图像和RGB图像中对应的目标包围框，每个人包括监考员和学生；利用每帧RGB图像中每个人的运动偏移量得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数；利用每帧深度图像得到的每个人的眼部尺寸获取每帧RGB图像中对每个人进行关键点检测的第二热图限定参数；利用每帧包含多个目标包围框的RGB图像和RGB图像中每个人的第一热图限定参数、第二热图限定参数得到每帧RGB图像中每个人的关键点的热图；利用每个学生的眼部和嘴部的关键点的热图中像素点的坐标得到多个垂直于面部的向量作为该学生的视线向量，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量；获取距离该学生的目标视线向量最近的可互动对象的眼部关键点作为目标关键点，利用目标关键点的热图中心点与目标视线向量之间的距离确定学生是否与可互动对象存在眼神互动；将每个学生的所有身体部位的关键点的热图输入训练好的时空图卷积神经网络，输出学生当前时刻为考试状态或异常状态；利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为。
[0006]进一步，利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为的步骤包括：获取学生处于考试状态时的多帧RGB图像以及每帧RGB图像中学生是否与可互动对象存在眼神互动；对每个学生构建第二散点图，横坐标为时间点，纵坐标为存在眼神互动的可互动对象的编号，不存在眼神互动则纵坐标的值为0；对第二散点图进行傅里叶变换得到第二散点图的频域图；若频域图中频率大于设定的频率阈值的部分存在曲线，则说明该学生存在异常行为。
[0007]进一步，得到每帧RGB图像中每个人的运动偏移量的步骤包括：获取当前帧RGB图像的光流图以及光流图中的多个连通域，获取每个连通域的骨架线；利用每个连通域的骨架线上的采样点与骨架线做垂线，得到每个连通域的平均宽度，将连通域的平均宽度作为连通域对应的人的运动偏移量。
[0008]进一步，得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数的步骤包括：对每帧RGB图像中每个人的运动偏移量进行归一化得到归一化值；利用1减去归一化值得到每帧图像中对每个人进行关键点检测的第一热图限定参数。
[0009]进一步，得到每帧RGB图像中对每个人进行关键点检测的第二热图限定参数的公式为：其中，表示一个人进行关键点检测时的第二热图限定参数；表示一个人的眼部尺寸。
[0010]进一步，获取学生的视线向量的步骤包括：利用随机选取的左眼关键点的热图中的一个像素点和嘴部关键点中的一个像素点，得到面部平面的一个向量；在左眼关键点的热图和嘴部关键点的热图中选取不同的像素点会得到多个不同的面部平面向量；类比该方法获取右眼关键点的热图和嘴部关键点的热图中不同像素点得到的多个面部平面向量；利用左眼关键点得到的任意一个面部平面向量和右眼关键点得到的任意一个面部平面向量相乘得到垂直于面部平面向量，作为该学生的视线向量；左眼关键点和右眼关键点对应多个面部平面向量，不同的面部平面向量相乘则会
得到不同的视线向量。
[0011]进一步，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量的步骤包括：获取得到视线向量的面部平面向量对应的像素点在眼部关键点和嘴部关键点的热图中的灰度值；将得到面部平面向量的两个像素点的灰度值相乘得到面部平面向量的可能性；将得到视线向量的两个面部平面向量的可能性相乘得到视线向量的可能性；获取最大可能性的视线向量作为视线向量中的目标视线向量。
[0012]进一步，利用目标关键点的热图中心点与目标视线向量之间的距离确定学生是否与可互动对象存在眼神互动的步骤包括：获取目标关键点的热图中心点与目标视线向量的垂足点，利用目标关键点的热图中心点与垂足点之间的距离获取该学生与可互动对象的眼神互动可能性，获取学生与可互动对象的眼神互动可能性的公式为：其中，表示学生与可互动对象的眼神互动可能性；表示目标关键点的热图中心点与垂足点之间的距离；表示目标视线向量的可能性；表示归一化函数；利用学生与可互动对象的眼神互动可能性确定学生是否与可互动对象存在眼神互动。
[0013]进一步，得到每个人的眼部尺寸的步骤包括：获取历史数据中每个人在深度图像中的深度值和眼部尺寸；以每个人的深度值为横坐标，眼部尺寸为纵坐标构建散点图；利用最小二乘法对散点图中的数据点进行直线拟合得到一条直线；将直线的斜率作为深度图像中人的深度值和眼部尺寸的参考比例值；利用参考比例值和每帧深度图像中每个人的深度值得到每个人的眼部尺寸。
[0014]本专利技术的有益效果是：本专利技术的基于图像处理的学生行为异常检测方法，通过获取监考员和每个学生的关键点热图，对眼部和嘴部的关键点热图中的像素点进行分析得到学生的视线向量，利用学生的目标视线向量与距离最近的眼部关键点之间的垂足距离得到该学生的眼神互动的可能性，进而得到存在眼神互动的行为；并且利用训练好的时空卷积神经网络对每个学生的关键点进行分析，能够直接得到学生在每个时刻的行为状态，确定是否存在异常行为；并且对考试状态中的眼神互动频率进行分析得到学生的异常行为，能够避免将学生与监考员或与同学之间偶尔的对视认定为异常行为；并且本方案通过获取第一、第二热图限定参数，能够在关键点检测时得到更准确的关键点大小，避免出现关键点过大发生重叠的现象，能够使得后续对学生行为分析的结果更加准确。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术的基于图像处理的学生行为异常检测方法的实施例总体步骤的流程图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像处理的学生行为异常检测方法，其特征在于，该方法包括：获取考场监控视频中的每帧RGB图像和深度图像；获取每个人在每帧深度图像和RGB图像中对应的目标包围框，所述每个人包括监考员和学生；利用每帧RGB图像中每个人的运动偏移量得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数；利用每帧深度图像得到的每个人的眼部尺寸获取每帧RGB图像中对每个人进行关键点检测的第二热图限定参数；利用每帧包含多个目标包围框的RGB图像和RGB图像中每个人的第一热图限定参数、第二热图限定参数得到每帧RGB图像中每个人的关键点的热图；利用每个学生的眼部和嘴部的关键点的热图中像素点的坐标得到多个垂直于面部的向量作为该学生的视线向量，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量；获取距离该学生的目标视线向量最近的可互动对象的眼部关键点作为目标关键点，利用目标关键点的热图中心点与目标视线向量之间的距离确定学生是否与可互动对象存在眼神互动；将每个学生的所有身体部位的关键点的热图输入训练好的时空图卷积神经网络，输出学生当前时刻为考试状态或异常状态；利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为。2.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为的步骤包括：获取学生处于考试状态时的多帧RGB图像以及每帧RGB图像中学生是否与可互动对象存在眼神互动；对每个学生构建第二散点图，横坐标为时间点，纵坐标为存在眼神互动的可互动对象的编号，不存在眼神互动则纵坐标的值为0；对第二散点图进行傅里叶变换得到第二散点图的频域图；若频域图中频率大于设定的频率阈值的部分存在曲线，则说明该学生存在异常行为。3.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，得到每帧RGB图像中每个人的运动偏移量的步骤包括：获取当前帧RGB图像的光流图以及光流图中的多个连通域，获取每个连通域的骨架线；利用每个连通域的骨架线上的采样点与骨架线做垂线，得到每个连通域的平均宽度，将连通域的平均宽度作为连通域对应的人的运动偏移量。4.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数的步骤包括：对每帧RGB图像中每个人的运动偏移量进行归一化得到归一化值；利用1减去归一化值得到每帧图像中对每个人进行关键点检测的第一热图限定参数。5.根据权利要求1所述的基于图像处理的学生行为异常...

【专利技术属性】
技术研发人员：梁春艳，
申请(专利权)人：广东汇通信息科技股份有限公司，
类型：发明
国别省市：