一种基于深度学习的视频异常行为检测方法技术

本发明专利技术涉及一种基于深度学习的视频异常行为检测方法。本发明专利技术方法首先进行预处理，然后进行训练阶段和测试阶段。训练阶段首先得到三个训练样本集，将其分别送到Alexnet中，得到三组特征数据，赋予标签值，将三组特征数据及其相应标签数据作为三个一类支持向量机。测试阶段首先得到三个测试样本，将其分别送入Alexnet中，得到三组特征数据，设定初始标签值，将三组特征数据及其相应标签值送到三个一类支持向量机中进行检测，输出三个测试样本的分类标签值，如果存在‑1，表示该帧图像的人群行为异常。本发明专利技术用深度学习的方法从大数据中自动学习特征，可更全面的表达输入，克服了手工提取特征的不足，从而提高异常行为的检测率。

【技术实现步骤摘要】
一种基于深度学习的视频异常行为检测方法
本专利技术属于视频处理
，涉及一种对视频进行异常行为检测的方法，具体是一种基于深度学习的视频异常行为检测方法。
技术介绍
视频异常行为检测是指采用智能分析算法，让计算机代替工作人员实现监控场景中目标行为的自动检测，并判断目标行为是否会给公众带来危险。当异常行为发生时，能自动识别场景中异常行为，并发出警报，提醒相关部门人员及时响应。异常行为检测的工作主要分为两个过程:特征表征和异常行为判断。特征表征是指从视频数据中提取能够表达这段视频关键信息的特征,这个过程在整个检测过程起了关键的作用,特征的好坏直接会影响到最终的检测效果。考虑到监控场景的复杂多变性，以及人群流动速度不断变化，大多采用光流特征，但是光流特征对光线敏感,从而会影响到检测结果；考虑到光流的光线敏感性，又提出了对光线变化具有更好鲁棒性的纹理特征；之后又有学者提出将低层视觉特征和其它特征结合在一起使用，比如将检测目标的速度、尺寸、纹理等多个特征结合在一起表示行为。近年来，随着深度学习理论的提出,为设计自动特征学习方法奠定了基础,它采用分层学习机制，能够自动地从输入数据逐层学习出高级抽象特征，而非采用手工设计的特征，它可以针对新的应用从训练数据中很快学习得到新的有效的特征表示，目前已经在可视目标识别、人体动作识别、以及人脸识别等多领域获得较为显著的效果。因此，将深度学习应用到异常行为检测的特征表征阶段，往往可以取得相比传统特征提取方法更好的效果。
技术实现思路
本专利技术的目的就是提供一种有效的视频异常行为检测方法，以更好的表达特征，从而提高异常行为的检测率。为解决上述技术问题，本专利技术提供的技术方案将深度学习与传统方法相结合，本方案分为训练阶段和测试阶段，其具体步骤如下：步骤(1)、预处理：选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；步骤(2)、训练阶段：步骤(2-1).设Y中第i帧图像为yi；首先，每隔M1帧连续取k帧图像，即得到作为训练样本一的第i个数据；其次，每隔M2帧连续取k帧图像，即得到作为训练样本二的第i个数据；最后，每隔M3帧连续取k帧图像，即得到作为训练样本三的第i个数据；其中j表示相隔帧数的倍率，j∈[0,k-1]；得到三个训练样本集Y1、Y2、Y3，分别由所有的Y1i、Y2i、Y3i组成，即Y1＝{Y1i}、Y2＝{Y2i}、Y3＝{Y3i}；其中0≤i≤P-1-max(M1,M2,M3)×(k-1)；步骤(2-2).以Y1、Y2、Y3作为输入分别送到Alexnet(注：引用自ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystems.CurranAssociatesInc.2012:1097-1105.)网络中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合F1、F2、F3,它们分别由相应的所有样本集数据的特征所组成；其中Alexnet网络是以2012年imagenet大赛的冠军获得者Alex命名的卷积神经网络；步骤(2-3).为F1、F2、F3的每个特征数据赋予一个标签值，因为训练样本都是正常行为，标签数据分别为L1＝{1}、L2＝{1}、L3＝{1}，|L1|＝|L2|＝|L3|＝|F1|＝|F2|＝|F3|,其中符号“||”表示求集合的元素个数；步骤(2-4).将三组特征数据F1、F2、F3及其相应的标签数据L1、L2、L3表示为三个样本集：{F1,L1}、{F2,L2}、{F3,L3}，作为三组输入分别送到三个一类支持向量机(oneclassSVM)进行训练，得到三个一类支持向量机，分别记做one-SVM1，one-SVM2，one-SVM3；步骤(3)、测试阶段：步骤(3-1).设T中第n帧图像为tn；首先，每隔M1帧连续取k帧图像，即得到作为测试样本一；其次，每隔M2帧连续取k帧图像，即得到作为测试样本二；最后，每隔M3帧连续取k帧图像，即得到作为测试样本三；其中0≤n≤Q-1-max(M1,M2,M3)×(k-1)，j表示相隔帧数的倍率，j∈[0,k-1]；步骤(3-2).以T1n、T2n、T3n作为输入分别送入训练阶段步骤(2-1)的Alexnet中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据TF1n、TF2n、TF3n；步骤(3-3).为待测试特征TF1n、TF2n、TF3n设定一个初始标签值，记为TL1n＝1、TL2n＝1、TL3n＝1；步骤(3-4).将三组特征数据TF1n、TF2n、TF3n及其相应的标签值TL1n、TL2n、TL3n表示为三个输入样本：{TF1n,TL1n}、{TF2n,TL2n}、{TF3n,TL3n}，作为三组输入分别送到one-SVM1、one-SVM2、one-SVM3中进行检测，输出三个测试样本的分类标签值，若分类标签值等于1表示模型检测出该帧图像为正常帧，分类标签值等于-1则表示模型检测出该帧为异常帧；步骤(3-5).对三个分类标签值进行投票，投票规则是：如果三个分类标签值中有任意两个或两个以上的值为1，则最终输出结果为1，表示该帧图像的人群行为正常；如果三个分类标签值中有任意两个或两个以上的值为-1，则最终输出结果为-1，表示该帧图像的人群行为异常，从而得到最终标签输出，得到模型的检测结果。本专利技术的有益效果是：本专利技术用深度学习的方法从大数据中自动学习特征，可以更全面的表达输入，克服了手工提取特征的不足，从而提高异常行为的检测率；本专利技术对输入视频帧进行时间采样，用帧间相隔Ma(a＝1,2,3)帧的k帧图像串联得到的时空块作为Alexnet输入，提取得到的特征可以更好的表达输入的运动信息，并用一类支持向量机结合投票的方式检测异常行为。附图说明图1为基于深度学习的视频异常行为检测的流程图；图2为获取视频时空块输入的过程；图3为用深度学习网络模型提取特征的过程。具体实施方式以下结合附图和实施实例对本专利技术加以详细说明。图1给出了基于深度学习的视频异常行为检测的流程图，该流程图主要包括两个阶段：训练阶段和测试阶段。训练阶段由三个模块组成：一、数据处理模块，该模块主要功能是获取训练图像的时空块输入；二、深度学习模块，该模块主要功能是从训练数据集中提取行为特征；三、训练分类器模块，该模块主要功能是利用正常行为特征训练得到符合正常行为特征数据分布的分类器；测试阶段也由三个模块组成：一、数据处理模块，该模块主要功能是获取待测试图像的时空块输入；二、深度学习模块，该模块主要功能是从待测试数据集中提取行为特征；三、行为检测模块，该模块主要功能是利用训练阶段得到的分类器实现对待检测行为的最终检测。其具体步骤为：步骤(1)、预处理：选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为227×227；将数据集的前P帧作为训练集本文档来自技高网...

【技术保护点】
一种基于深度学习的视频异常行为检测方法，其特征在于具体步骤是：步骤(1)、预处理：选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；步骤(2)、训练阶段：步骤(2‑1).设Y中第i帧图像为yi；首先，每隔M1帧连续取k帧图像，即得到

【技术特征摘要】
1.一种基于深度学习的视频异常行为检测方法，其特征在于具体步骤是：步骤(1)、预处理：选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；步骤(2)、训练阶段：步骤(2-1).设Y中第i帧图像为yi；首先，每隔M1帧连续取k帧图像，即得到作为训练样本一的第i个数据；其次，每隔M2帧连续取k帧图像，即得到作为训练样本二的第i个数据；最后，每隔M3帧连续取k帧图像，即得到作为训练样本三的第i个数据；其中j表示相隔帧数的倍率，j∈[0,k-1]；得到三个训练样本集Y1、Y2、Y3，分别由所有的Y1i、Y2i、Y3i组成，即Y1＝{Y1i}、Y2＝{Y2i}、Y3＝{Y3i}；其中0≤i≤P-1-max(M1,M2,M3)×(k-1)；步骤(2-2).以Y1、Y2、Y3作为输入分别送到Alexnet网络中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合F1、F2、F3,它们分别由相应的所有样本集数据的特征所组成；步骤(2-3).为F1、F2、F3的每个特征数据赋予一个标签值，因为训练样本都是正常行为，标签数据分别为L1＝{1}、L2＝{1}、L3＝{1}，|L1|＝|L2|＝|L3|＝|F1|＝|F2|＝|F3|,其中符号“||”表示求集合的元素个数；步骤(2-4).将三组特征数据F1、F2、F3及其相应的标签数据L1、L2、L3表示为三个样本集：{F1,L1}、{F2,L2}、{F3,L3}，作为三组输入分别送到三个一类支持向量机进行训练，得...

【专利技术属性】
技术研发人员：陈华华，雷丽莹，郭春生，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33