一种考场视频监控异常行为特征识别方法技术

本发明专利技术提出了一种考场视频监控异常行为特征识别方法，考虑到多视角的考场异常行为的应用，通过两个视角的视频数据对考场异常行为进行识别，在传统3D卷积神经网络上进行改进，修改了卷积核大小，并调整了网络结构，设计了双路3D卷积神经网络模型，结合考场双摄像头的环境，采用两路视频数据作为输入，利用不同视角的视频数据，来弥补单个视角的缺陷，利用训练好的双路3D卷积神经网络模型，提取考场中考生的行为特征，然后将两路行为特征向量进行融合，再使用libSVM对融合后的特征进行分类识别，实现了较为精确的考场异常行为的识别，该方法很容易通过软件实现，可广泛推广至全国各类中高校校园中。

An Abnormal Behavior Feature Recognition Method for Examination Room Video Monitoring

【技术实现步骤摘要】
一种考场视频监控异常行为特征识别方法
本专利技术涉及一种考场视频监控异常行为特征识别方法，属于可视计算、计算机视觉领域，使用机器学习和深度学习技术，在传统3D卷积神经网络的基础上改进了网络结构。
技术介绍
目前，智能视频监控已经是视频监控的一个重要发展方向，考场监控也已经推广到了全国各类中高校校园中。智能考场监控将发挥越来越重要的作用，达到考试中报警，考试后检索留存的作用。智能视频监控主要的研究方向有：运动检测，目标分类，人体跟踪，行为理解及描述以及固定场景下的异常行为识别等。其中，异常行为识别技术是监控应用中很重要的研究方向，其主要目的是在某一固定场景中，区分该场景中人或物的正常行为和异常行为。近年来随着深度学习的发展，卷积神经网络在图像处理领域取得了很大成功，并且已经有了很多成熟的应用。在此基础上，人们慢慢开始将卷积神经网络应用于视频数据处理中，利用神经网络强大的学习能力对视频中的行为进行识别理解。最直接的方式是将视频进行截取，然后对单独的视频帧进行神经网络的训练，但是这种方法没有考虑视频的时间信息，所以对于运动性强的视频的识别效果较差。在此基础上，A.Karpathy等人改进了本文档来自技高网...

【技术保护点】
1.一种考场视频监控异常行为特征识别方法，其特征在于，包括以下步骤：(1)对UCF101数据集中的视频数据进行预处理，并对每个视频数据写好标签文件，得到用于训练3D卷积神经网络模型的训练数据；(2)在Caffe框架下利用步骤(1)中的训练数据训练得到两个3D卷积神经网络模型；(3)对两个3D卷积神经网络模型分别利用考场数据集进行微调fine‑tuning，得到更适合考场异常行为识别的两个3D卷积神经网络模型；(4)利用微调fine‑tuning后的两个3D卷积神经网络模型分别提取在多个考场前后两个摄像头拍摄的考生行为的行为特征，获得一个考生在考场同一时间不同视角，即前摄像头视角和后摄像头视角的...

【技术特征摘要】
1.一种考场视频监控异常行为特征识别方法，其特征在于，包括以下步骤：(1)对UCF101数据集中的视频数据进行预处理，并对每个视频数据写好标签文件，得到用于训练3D卷积神经网络模型的训练数据；(2)在Caffe框架下利用步骤(1)中的训练数据训练得到两个3D卷积神经网络模型；(3)对两个3D卷积神经网络模型分别利用考场数据集进行微调fine-tuning，得到更适合考场异常行为识别的两个3D卷积神经网络模型；(4)利用微调fine-tuning后的两个3D卷积神经网络模型分别提取在多个考场前后两个摄像头拍摄的考生行为的行为特征，获得一个考生在考场同一时间不同视角，即前摄像头视角和后摄像头视角的视频中得到的两路特征向量，即前摄像头视角视频中的特征向量和后摄像头视角视频中的特征向量；(5)对所有两路特征向量进行特征融合，将所有的两路特征向量融合成对应的一个特征向量，融合后的特征向量按照4:1的比例分为训练集和测试集；(6)使用训练集对LibSVM分类器(LibraryforSupportVectorMachines)进行训练，得到关于考场行为识别的分类器，然后使用分类器对测试集进行测试，检验关于考场行为识别的分类器对于考场异常行为的识别能力，得到异常行为特征的识别结果。2.根据权利要求1所述的考场视频监控异常行为特征识别方法，其特征在于：所述步骤(1)中，对UCF101数据集中的视频数据进行预处理采用以下步骤：(11)训练3D卷积神经网络模型时的输入是3×16×240×320的图像块单元，将数据集中所有的视频统一调整大小到320*240的分辨率，将视频分割为单帧的图像并进行编号，将每16帧作为一组单元块；(12)以一个单元块为单位给图像写标签，一个单元块的标签包括三项，格式如下：相对路径视频帧数单元块类别标签；每一项均以空格为间隔区分，其中第一项为视频帧数据所在文件夹的相对路径；第二项为每个单元块第一帧的视频帧数；第三项为该单元块的类别标签，每类视频动作的类别标签为1到101之间的数字，每个数字表示某一类动作，即一个动作的所有单元块具有相同的标签值。3.根据权利要求1所述的考场视频监控异常行为特征识别方法，其特征在于：所述步骤(2)中，对Caffe框架下训练得到两个3D卷积神经网络模型采取以下步骤：(21)编辑Caffe的prototxt模型描述文件，定义层级结构并设置各层的参数，包含有5个卷积层和5个池化层，每个卷积层后都连接一个池化层，最后是2个全连接层，基本的参数设定为：定义图像块单元的输入大小为c*l*h*w，其中c是视频颜色的通道数，彩色视频的通道数为3，l是图像块单元中连续的视频帧的帧数，h和w分别是视频的高度和宽度，即输入视频的尺寸；另外，卷积层和池化层的卷积核大小为d*k*k，其中k*k是卷积核中空间维度的大小，d是卷积核中时间维度的大小。5个卷积层包含的神经元个数依次为64，128，256，512，512，最后两个全连接层的输出为4096维的特征向量。图像块单元的输入设置为3*16*240*320，通道数为3，图像块单元包含有16连续的尺寸为240*320的图像帧；(22)通过Caffe中tools文件夹下的train_net工具加载(21)中编辑的prototxt模型的描述文件，利用预处理好的数据集进行训练，训练结束后得到单路网络参数学习调整好的模型文件，即两个3D卷积神经网络模型，后缀为.caffemodel。4.根据权利要求1所述的考场视频监控异常行为特征识别方法，其特征在于：所述步骤(3)中，对微调fine-tuning采取以下步骤：(31)对考场行为数据集中的视频片段进行截取和调整，不使用整个视频画面作为输入，而是以单独的每个考生的视频画面作为输入数据，并将所有截取出来的单个考生的画面统一到320*240的分辨率，得到统一的有效考场行为图片数据集；(32)将统一的有效考场行为图片数据集每16帧作为一个图像块单元，对每个...

【专利技术属性】
技术研发人员：金鑫，李晓东，吴传强，赵耿，孙红波，杨陈俊卿，吴亚明，韩青，
申请(专利权)人：中共中央办公厅电子科技学院北京电子科技学院，中电科大数据研究院有限公司，
类型：发明
国别省市：北京,11