一种基于深度学习的视频异常行为检测方法技术

本发明专利技术涉及一种基于深度学习的视频异常行为检测方法。本发明专利技术方法包括训练阶段和测试阶段。在训练阶段，将训练视频序列转换成灰度图和光流图，并分别制作成时空块，分别输入到残差自编码模型中进行训练，建立基于灰度图和光流图的两个模型，训练好的模型包含了正常行为的运动模式和外观信息，所以更有利于正常行为的重构。在测试阶段，将测试数据制作成灰度图和光流图的时空块，先将灰度图时空块输入到灰度图模型中，初步检测出正常区域和可疑区域，再将可疑区域的光流图时空块输入到光流图模型中，检测出正常区域和异常区域，得到最终的异常判定，本发明专利技术方法能更好地鉴别视频数据的运动信息和外观特征，从而提高异常行为的检测率。

【技术实现步骤摘要】
一种基于深度学习的视频异常行为检测方法
本专利技术属于视频处理
，涉及一种对视频进行异常行为检测的方法，具体是一种基于深度学习的视频异常行为检测方法。
技术介绍
视频异常行为检测是属于智能视频监控的范畴，是利用智能算法针对监控视频中的异常行为进行检测，并发出报警信号以提高相关部门的响应速度。视频异常行为检测技术的发展在维护公共场所安全，节约人力物力上有着重要的作用。在不同的视频场景中对异常的定义是不一样的，在同一个场景中异常事件的种类也是比较多样化的。通常情况下，异常事件是不同于正常事件的，发生概率比较小的事件。从目前的异常检测方法来看，大致可以分为基于人为选择特征的方法和基于深度神经网络自动选择特征的方法。大多数方法一般涉及两个部分，在训练阶段通过无监督学习训练数据的外观和运动特征，建立与正常数据相关联的一个或多个模型。在测试阶段，根据视频数据与模型是否匹配判定视频是否异常。早期有学者通过研究视频中运动目标的轨迹来检测异常事件，但这种方法不能解决人群遮挡的问题。也有学者提出基于学习字典、稀疏重建的方法。近年来，在图像分类中的可视化数据表示和运动识别上，深度神经网络已经显示出它们优于人工设定特征的优点，特别是近几年其在时间有效性及准确性上都取得了进一步的突破。因此，将深度学习的神经网络应用到异常行为检测中，往往可以取得相比传统特征提取方法更好的效果。
技术实现思路
本专利技术的目的是提供一种基于深度学习的视频异常行为检测方法，提高对异常行为的检测率。为解决上述技术问题，本专利技术提供的技术方案融合了多种深度学习的神经网络结构。本专利技术方法包括训练阶段和测试阶段，具体细节说明如下：1、训练阶段：首先进行预处理：选取待检测视频数据集，视频数据集包含训练数据集和测试数据集，训练数据集中的训练数据全是正常行为样本；提取训练数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过训练数据集的灰度图序列计算光流图序列，得到训练数据集的灰度图数据集和光流图数据集；然后进行如下操作：步骤(1).将训练数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块gri；将空间位置上相同的连续t帧的空间块组合成一个时空样本gr＝[gr1,gr2,…,grt]，尺寸大小为t×p×p；将训练数据集中的光流图数据集的光流图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块ori；将空间位置上相同的连续t帧的空间块组合成一个时空样本or＝[or1,or2,…,ort]，尺寸大小为t×p×p；这样就将训练数据集划分为灰度图像时空样本集Gr和光流图像时空样本集Or；步骤(2).搭建残差自编码网络，所述的残差自编码网络结构分为输入层、中间网络层和输出层；中间网络层由a层卷积层，b层卷积长短时记忆层，a层反卷积层组成，并采用残差结构的方式进行组合连接；步骤(3).将训练数据集的灰度图像时空样本集Gr输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与输入数据的均方误差作为训练的目标函数，最大迭代次数为200次，或者目标函数相比于上一次迭代结果的变化值小于0.1时，停止迭代；训练完成后得到基于灰度图像数据重构的模型A1；将灰度图像时空样本集Gr输入到模型A1中，得到模型A1输出数据，将输入数据与模型A1输出数据相减结果的二范数作为重构误差，重构误差的最大值，记作α；将训练数据集的光流图像时空样本集Or输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与输入数据的均方误差作为训练的目标函数，最大迭代次数为200次，或者目标函数相比于上一次迭代结果的变化值小于0.1时，停止迭代；训练完成后得到基于光流图像数据重构的模型A2；将光流图像时空样本集Or输入到模型A2中，得到模型A2输出数据，将输入数据与模型A2输出数据相减结果的二范数作为重构误差，重构误差的最大值，记作β。2、测试阶段：首先进行预处理：选取待检测视频数据集，提取测试数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过测试数据集的灰度图序列计算光流图序列，得到测试数据集的灰度图数据集和光流图数据集；然后进行如下操作：步骤(4).将测试数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块gei；将空间位置上相同的连续t帧的空间块组合成一个时空样本ge＝[ge1,ge2,…,get]，尺寸大小为t×p×p；得到测试数据集的灰度图像时空样本测试集Ge；步骤(5).将灰度图像的时空样本测试集Ge输入到模型A1中，经过各层网络处理后得到数据重构的输出，将输入数据与输出数据相减，并计算相减结果的二范数作为输入与输出之间的重构误差E1；重构误差E1小于或等于α的样本数据检测为正常区域，大于α的样本数据检测为可疑区域；步骤(6).提取可疑区域的光流图像，并用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块oei；将空间位置上相同的连续t帧的空间块组合成一个时空样本oe＝[oe1,oe2,…,oet]，尺寸大小为t×p×p；得到可疑区域光流图像时空样本测试集Oe；步骤(7)：将Oe输入到模型A2中，得到数据重构的输出，将输入数据与输出数据相减，并计算相减结果的二范数作为输入与输出之间的重构误差E2；重构误差E2小于或等于β的样本数据检测为正常区域，大于β的样本数据检测为异常区域。至此得到测试数据集的检测结果，完成整个系统的异常检测。检测中最关键的外观特征和运动信息，提取视频数据的灰度图和光流图分别作为视频数据的外观特征和运动特征表示，并基于这两个特征进行模型训练。本专利技术采用融合了卷积神经网络和卷积长短时记忆网络结构的残差自编码模型，因为充分利用了卷积神经网络提取数据空间结构信息的能力，结合了卷积长短时记忆网络处理时间序列的优势，同时利用残差结构进一步加强模型的特征拟合能力，所以这种模型在处理视频数据上会实现较好的效果。附图说明图1为本专利技术方法训练阶段的流程图；图2为本专利技术方法测试阶段的流程图；图3为残差自编码网络图。具体实施方式以下结合附图和实施实例对本专利技术加以详细说明。一种基于深度学习的视频异常行为检测方法，包括训练阶段和测试阶段。训练阶段由三个模块组成：一、预处理模块，该模块主要功能是获取训练数据集的灰度图数据和光流图数据；二、搭建残差自编码网络模块，该模块主要功能是搭建融合了多种神经网络结构的残差自编码网络结构；三、训练神经网络，该模块主要功能是利用只包含正常行为的训练数据对残差自编码网络进行训练，得到基于灰度图重构和光流图重构的两个模型。测试阶段也由三个模块组成：一、预处理模块，该模块主要功能是获取测试数据集的灰度图数据和光流图数据；二、A1模型检测模块，该模块主要功能是将测试数据集的灰度图数据输入到训练好的A1模型中进行检验，通过计算重构误差判断出正常区域和可疑区域；三、A2模型检测模块，该模块主要功能是将可疑区域的光流图像数据输入到A2模型中进行检验，通过计算重构误差判断出正常区域和异常区域，得到最终的异常检测结果。如图1所示，训练阶段本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频异常行为检测方法，包括训练阶段和测试阶段，其特征在于：所述的训练阶段具体如下：首先进行预处理：选取待检测视频数据集，视频数据集包含训练数据集和测试数据集，训练数据集中的训练数据全是正常行为样本；提取训练数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过训练数据集的灰度图序列计算光流图序列，得到训练数据集的灰度图数据集和光流图数据集；然后进行如下操作：步骤(1).将训练数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块gri；将空间位置上相同的连续t帧的空间块组合成一个时空样本gr＝[gr1,gr2,…,grt]，尺寸大小为t×p×p；将训练数据集中的光流图数据集的光流图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块ori；将空间位置上相同的连续t帧的空间块组合成一个时空样本or＝[or1,or2,…,ort]，尺寸大小为t×p×p；由此，将训练数据集划分为灰度图像时空样本集Gr和光流图像时空样本集Or；步骤(2).搭建残差自编码网络，所述的残差自编码网络结构分为输入层、中间网络层和输出层；中间网络层由a层卷积层，b层卷积长短时记忆层，a层反卷积层组成，并采用残差结构的方式进行组合连接；步骤(3).将训练数据集的灰度图像时空样本集Gr输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与输入数据的均方误差作为训练的目标函数，最大迭代次数为200次，或者目标函数相比于上一次迭代结果的变化值小于0.1时，停止迭代；训练完成后得到基于灰度图像数据重构的模型A1；将灰度图像时空样本集Gr输入到模型A1中，得到模型A1输出数据，将输入数据与模型A1输出数据相减结果的二范数作为重构误差，重构误差的最大值，记作α；将训练数据集的光流图像时空样本集Or输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与输入数据的均方误差作为训练的目标函数，最大迭代次数为200次，或者目标函数相比于上一次迭代结果的变化值小于0.1时，停止迭代；训练完成后得到基于光流图像数据重构的模型A2；将光流图像时空样本集Or输入到模型A2中，得到模型A2输出数据，将输入数据与模型A2输出数据相减结果的二范数作为重构误差，重构误差的最大值，记作β；所述的测试阶段具体如下：首先进行预处理：选取待检测视频数据集，提取测试数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过测试数据集的灰度图序列计算光流图序列，得到测试数据集的灰度图数据集和光流图数据集；然后进行如下操作：步骤(4).将测试数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块gei；将空间位置上相同的连续t帧的空间块组合成一个时空样本ge＝[ge1,ge2,…,get]，尺寸大小为t×p×p；得到测试数据集的灰度图像时空样本测试集Ge；步骤(5).将灰度图像的时空样本测试集Ge输入到模型A1中，经过各层网络处理后得到数据重构的输出，将输入数据与输出数据相减，并计算相减结果的二范数作为输入与输出之间的重构误差E1；重构误差E1小于或等于α的样本数据检测为正常区域，大于α的样本数据检测为可疑区域；步骤(6).提取可疑区域的光流图像，并用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块oei；将空间位置上相同的连续t帧的空间块组合成一个时空样本oe＝[oe1,oe2,…,oet]，尺寸大小为t×p×p；得到可疑区域光流图像时空样本测试集Oe；步骤(7)：将Oe输入到模型A2中，得到数据重构的输出，将输入数据与输出数据相减，并计算相减结果的二范数作为输入与输出之间的重构误差E2；重构误差E2小于或等于β的样本数据检测为正常区域，大于β的样本数据检测为异常区域；由此，得到测试数据集的检测结果，完成整个系统的异常检测。...

【技术特征摘要】
1.一种基于深度学习的视频异常行为检测方法，包括训练阶段和测试阶段，其特征在于：所述的训练阶段具体如下：首先进行预处理：选取待检测视频数据集，视频数据集包含训练数据集和测试数据集，训练数据集中的训练数据全是正常行为样本；提取训练数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过训练数据集的灰度图序列计算光流图序列，得到训练数据集的灰度图数据集和光流图数据集；然后进行如下操作：步骤(1).将训练数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块gri；将空间位置上相同的连续t帧的空间块组合成一个时空样本gr＝[gr1,gr2,…,grt]，尺寸大小为t×p×p；将训练数据集中的光流图数据集的光流图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块ori；将空间位置上相同的连续t帧的空间块组合成一个时空样本or＝[or1,or2,…,ort]，尺寸大小为t×p×p；由此，将训练数据集划分为灰度图像时空样本集Gr和光流图像时空样本集Or；步骤(2).搭建残差自编码网络，所述的残差自编码网络结构分为输入层、中间网络层和输出层；中间网络层由a层卷积层，b层卷积长短时记忆层，a层反卷积层组成，并采用残差结构的方式进行组合连接；步骤(3).将训练数据集的灰度图像时空样本集Gr输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与输入数据的均方误差作为训练的目标函数，最大迭代次数为200次，或者目标函数相比于上一次迭代结果的变化值小于0.1时，停止迭代；训练完成后得到基于灰度图像数据重构的模型A1；将灰度图像时空样本集Gr输入到模型A1中，得到模型A1输出数据，将输入数据与模型A1输出数据相减结果的二范数作为重构误差，重构误差的最大值，记作α；将训练数据集的光流图像时空样本集Or输入到步骤(2)的残差自编码网络中进行迭代训练，以输出数据与...

【专利技术属性】
技术研发人员：陈华华，刘萍，郭春生，叶学义，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33