【技术实现步骤摘要】
基于光照生成对抗网络的课堂听课异常检测方法
本专利技术属于异常检测
，更为具体地讲，涉及一种基于光照生成对抗网络的课堂听课异常检测方法。
技术介绍
计算机异常检测是在不需要人为干预情况下，利用计算机视觉理论和视频分析的方法对摄像头等监控设备记录的视频序列进行分析，实现对结构化场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，得出对图像内容含义的理解以及对客观场景的解释，并从而指导和规划行动。现有的异常检测方法常采用特定的统计分析方法、以及深度学习方法。申请号为201510141935.6的中国专利《一种用于复杂结构化场景的人群运动轨迹异常检测方法》通过提取监控视频历史数据中复杂结构化场景内的人群运动轨迹并对人群运动轨迹进行分段，进行基于最大最小距离的多中心聚类算法的学习，使用基于LOF算法的异常检测，高效、实用地解决了人群运动轨迹检测问题。申请号为201410795393.X的中国专利《基于时间递归神经网络的人群异常检测和定位系统及方法》使用时间递归神经网络对采集的样本数据进行分析训练以完成异常检测。申请号为201710305833.2的中国专利《一种视频异常检测方法》利用灰度投影算法完成全局运动估计，有效地实现图像抖动检测及抖动程度估计。该方法常常容易陷入局部最优解，当训练数据集大、训练网络复杂时，训练时间往往很高，代价过大，效率过低。目前异常检测的主要应用领域包括智能交通、智能监控等。申请号为201410799626.3的中国专利《一种交通异常检测方法及系统》将正常交通视频图像序列分为视频块序列，检测视频块序列中的镜头数量，建立视频...
【技术保护点】
1.一种基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：包括有以下步骤：步骤S1：采集真实课堂头部姿态数据：采集并获取真实课堂中的视频帧，构建头部位置检测模型，标记候选头部位置图像，获取训练集和训练参数；步骤S2：渲染光照课堂头部姿态数据：根据设计的课堂学生3D模型，设置模型中头部姿态、光照条件、摄像机拍摄角度参数，多次渲染，获取渲染光照下的课堂图像集合；步骤S3：构建光照生成对抗网络：根据11层光照生成对抗网络，求解光照生成对抗网络的目标损失，训练光照生成对抗网络；步骤S4：产生生成对抗样本：使用真实课堂头部姿态数据，获取不同光照条件、拍摄角度、不同人物的光照渲染头部位置图像，使用训练后的光照生成对抗网络模型参数，生成优化后的的渲染光照头部位置图像，计算光照优化头部位置图像的判决得分，设置逼真图像阈值，选取大于阈值的作为逼真的渲染光照头部位置图像；步骤S5：构建头部姿态检测模型：将逼真的渲染光照头部位置图像作为头部姿态检测的训练数据，类别标记头部姿态检测的训练数据，设置头部姿态检测模型，通过训练获得头部姿态检测模型的参数；步骤S6：课堂头部姿态检测：使用生成对抗头部姿态检测模...
【技术特征摘要】
1.一种基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：包括有以下步骤：步骤S1：采集真实课堂头部姿态数据：采集并获取真实课堂中的视频帧，构建头部位置检测模型，标记候选头部位置图像，获取训练集和训练参数；步骤S2：渲染光照课堂头部姿态数据：根据设计的课堂学生3D模型，设置模型中头部姿态、光照条件、摄像机拍摄角度参数，多次渲染，获取渲染光照下的课堂图像集合；步骤S3：构建光照生成对抗网络：根据11层光照生成对抗网络，求解光照生成对抗网络的目标损失，训练光照生成对抗网络；步骤S4：产生生成对抗样本：使用真实课堂头部姿态数据，获取不同光照条件、拍摄角度、不同人物的光照渲染头部位置图像，使用训练后的光照生成对抗网络模型参数，生成优化后的的渲染光照头部位置图像，计算光照优化头部位置图像的判决得分，设置逼真图像阈值，选取大于阈值的作为逼真的渲染光照头部位置图像；步骤S5：构建头部姿态检测模型：将逼真的渲染光照头部位置图像作为头部姿态检测的训练数据，类别标记头部姿态检测的训练数据，设置头部姿态检测模型，通过训练获得头部姿态检测模型的参数；步骤S6：课堂头部姿态检测：使用生成对抗头部姿态检测模型，实现课堂头部姿态检测；步骤S7：课堂听课异常检测：输入课堂实时采集视频，提取视频帧，使用构建的模型和训练参数，设置听课异常检测机制，获得不同状态学生的比例。2.根据权利要求1所述的基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：所述的采集真实课堂头部姿态数据，具体包括以下步骤：步骤S1-1：采集真实课堂视频；步骤S1-2：获取课堂视频中的视频帧，并进行滑动窗口采样，获得候选头部位置图像，每个头部位置图像包含RGB三层颜色通道；步骤S1-3：构建头部位置检测模型，共8层的神经网络模型，其中前6层为卷积神经网络，第7层和第8层为全连接网络；步骤S1-3-1：前6层卷积神经网络使用相同的参数，每层的滤波器尺寸为3*3，滤波器数量为256，池化方法为求和池化，即256通道中响应值求和结果，保留为最后的输出响应，激励函数形式为relu函数；步骤S1-3-2：第7层的全连接层，将256特征神经元映射为4096特征神经元，全连接映射参数矩阵为256*4096；步骤S1-3-3：第8层的全连接层，将4096特征神经元映射为单个神经元，全连接映射参数矩阵为4096*2，其中，最后输出层神经元的类别为1表示是头部位置图像，0表示不是头部位置图像；步骤S1-4：对步骤S1-2获取的候选头部位置图像进行标记，获得头部训练数据，和非头部训练数据，构建头部位置检测训练集；步骤S1-5：使用步骤S1-4获取的头部位置检测训练集，对步骤S1-3构建的头部位置检测模型进行训练，获得训练后的头部位置检测模型参数wheadpos；步骤S1-6：对步骤S1-2获取的候选头部位置图像，使用训练后的头部位置检测模型参数wheadpos，进行人脸判断，可以辨别出头部和非头部，从而可以提取测试视频的真实头部位置图像realheadpos。3.根据权利要求2所述的基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：所述的渲染光照课堂头部姿态数据，具体包括以下步骤：步骤S2-1：设计课堂学生3D模型；步骤S2-2：在课堂学生3D模型中设置学生听课的头部姿态；步骤S2-3：在课堂学生3D模型中设置光照条件；步骤S2-4：在课堂学生3D模型中设置摄像机拍摄角度；步骤S2-5：根据步骤S2-1，步骤S2-2，步骤S2-3，步骤S2-4设置的条件，进行多次拍摄，获取渲染光照下的课堂图像集合；步骤S2-6：对渲染光照下的课堂图像集合，使用步骤S1-5训练后的头部位置检测模型参数wheadpos，获得光照渲染头部位置图像renderheadpos。4.根据权利要求1所述的基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：所述的构建光照生成对抗网络，具体包括以下步骤：步骤S3-1：设置光照生成对抗网络，其中前4层为光照生成优化网络，第5层到第11层为光照生成判决网络；步骤S3-1-1：设置光照生成优化网络，使用4层的卷积神经网络；步骤S3-1-1-1：在优化网络中，每层的卷积神经网络使用相同的参数，每层的滤波器尺寸为3*3，滤波器数量为256，池化方法为最大池化，即256通道中最大的响应值保留为最后的输出响应，激励函数形式为relu函数；步骤S3-1-1-2：将光照生成优化网络中的所有参数，记做wref；步骤S3-1-1-3：输入图像经过光照生成优化网络，会得到优化后的图像，优化后的图像和原始图像分辨率相同；步骤S3-1-2：设置光照生成判决网络，使用7层的神经网络，其中前5层为卷积神经网络，第6层、第7层为全连接神经网络；步骤S3-1-2-1：在判决网络中，前5层使用相同的参数，每层的滤波器尺寸为3*3，滤波器数量为64，池化方法为求和池化，即64通道中响应值求和结果，保留为最后的输出响应，激励函数形式为relu函数；步骤S3-1-2-2：第6层的全连接层，将256特征神经元映射为4096特征神经元，全连接映射参数矩阵为256*4096；步骤S3-1-2-3：第7层的全连接层，将4096特征神经元映射为单个神经元，全连接映射参数矩阵为4096*2，其中，最后输出层神经元的类别yreal，yreal为1表示是真实头部位置图像，0表示光照优化头部位置图像；步骤S3-1-2-4：将光照生成判决网络中的所有参数，记做wjudge；步骤S3-1-2-5：将一张光照渲染图像，输入光照生成判决网络，可以判决出其得分较接近于0；将一张真实头部位置图像，输入光照生成判决网络，可以判决出其得分较接近于1；步骤S3-2：求解光照生成对抗网络的目标损失；步骤S3-2-1：计算光照渲染图像的优化损失；步骤S3-2-1-1：将光照渲染头部位置图像renderheadpos，输入步骤S3-1-1光照生成优化网络，获得光照优化头部位置图像refineheadpos；步骤S3-2-1-2：求解光照渲染头部位置图像的优化损失，即光照优化头部位置图像refineheadpos和光照渲染头部位置图像renderheadpos的距离，使用1范数来计算2张图像之间的距离，即dref＝||renderheadpos-refineheadpos||1...
【专利技术属性】
技术研发人员：谢昭，张安杰，吴克伟，肖泽宇，童赟，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。