基于时空级联自编码器的视频图像异常检测方法及系统技术方案

本发明专利技术公开了一种基于时空级联自编码器的视频图像异常检测方法及系统，包括：提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。保证视频序列的时间信息可以被充分利用，同时降低视频数据处理的复杂度。

【技术实现步骤摘要】
基于时空级联自编码器的视频图像异常检测方法及系统
本专利技术涉及图像处理
，特别是涉及一种基于时空级联自编码器的视频图像异常检测方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。近几年，监控摄像机广泛地应用在各种公共区域内，由此带来了海量的视频监控数据。越来越多机器视觉领域方面的研究人员致力于从这些原始视频数据中挖掘有效信息。其中，异常行为自动检测与定位(AutomaticDetectionandLocalizationofAbnormalBehaviors)逐渐成为研究热点之一。然而，在复杂的人群视频场景下，异常行为模式多变，难以对其进行准确定义；除此之外，异常行为发生频率较低，导致实验过程中正样本数量不足。为了解决上述两个问题，近期研究人员提出采用无监督的方式训练异常检测模型，这种训练方式仅使用正常样本作为输入。继而，测试样本中不符合预先训练模型的样本将被判为异常。根据输入数据的种类，现有的无监督异常检测方法可以分为两类：1)基于人工设计特征的方法：这类方法通常使用人工本文档来自技高网...

【技术保护点】
1.一种基于时空级联自编码器的视频图像异常检测方法，其特征在于，包括：/n提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；/n根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；/n根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。/n

【技术特征摘要】
1.一种基于时空级联自编码器的视频图像异常检测方法，其特征在于，包括：
提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；
根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；
根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。


2.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，计算原始视频图像中每个像素点的时空梯度并构建时空梯度图，采用滑动窗口将时空梯度图分割成梯度特征块；
或，所述梯度特征块为三维梯度特征块。


3.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，采用光流法计算原始视频图像中每个像素点的水平方向光流值与垂直方向光流值构成光流图的水平通道和垂直通道，计算每个像素点的光流幅值构成光流图的时间通道，采用滑动窗口将光流图分割成光流特征块；
或，所述光流特征块为三维光流特征块。


4.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，所述三维视频块为对原始视频图像采用滑动窗口进行分割后获取；
或，所述滑动窗口大小为w×h×t，w和h分别为滑动窗口的宽度和高度，t为其时间深度。


5.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，在表观流和运动流的双流结构中，分别根据训练集训练时空对抗自编码器；
根据第一训练公式，迭代更新时空对抗自编码器的编码器与判别器的网络参数wEn与wDi；






其中，为用于训练的正常的梯度特征块，为通过编码器映射得到的隐空间向量，向量的维度为n，为向量采样自先验分布p(z)的概率，表示从先验分布p(z)中任意采样的特征向量，表示向量来源于p(z)的概率，L为训练过程中每个小批量的梯度特征块数目；
或，在表观流和运动流的双流结构中，分别根据训练集训练时空卷积自编码器；
根据第二训练公式，迭代更新时空卷积自编码器的网络参数w：



其中，为用于训练的正常的梯度特征块，为解码器重构出的梯度特征块，λ为正则化参数，L...

【专利技术属性】
技术研发人员：常发亮，李南君，刘春生，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37