【技术实现步骤摘要】
基于掩码自编码器的无监督视频异常检测方法和装置
[0001]本专利技术属于视频图像处理
，涉及一种基于掩码自编码器的无监督视频异常检测方法和装置。
技术介绍
[0002]随着“平安社会”、“智慧城市”等概念的提出与推动，安防系统成为防范公共安全事件发生的有效保障。安防系统中最主要的技术之一，即为海量的监控视频分析，其已逐步成为现如今社会治安领域中重要的研究课题。视频异常检测(video anomaly detection,VAD)作为监控视频分析的核心技术之一，其旨在从监控视频中智能识别出的异常事件和可疑行为。通过视频异常检测技术，不仅可以降低人工识别海量数据会发生的误检和漏检概率，还能够减少所需要消耗的大量人力和财力。
[0003]对于复杂且高维的视频数据建模非常困难，同时，异常事件具有稀少性(异常事件的发生频率远低于正常事件，且难以收集和采集)、新颖性(异常事件通常不同于往常规律且无法预测)、模糊性(异常事件的定义具有抽象性，正常与异常样本之间没有明确的划分边界)、不可穷举性(异常事件多种多样)的本质特征。...
【技术保护点】
【技术特征摘要】
1.一种基于掩码自编码器的无监督视频异常检测方法，其特征在于，包括步骤：获取监控视频数据；对所述监控视频数据的每一帧分别进行目标检测，提取检测到的前景目标对应位置在当前帧与相邻前后多帧的图像块；根据各帧的所述图像块构建各立方体，在时域上分别对每个所述立方体进行间隔掩码操作；所述立方体包括时空立方体和光流立方体；根据间隔掩码操作后的各所述时空立方体和各所述光流立方体，分别利用视觉网络预测得到各所述时空立方体和各所述光流立方体中被掩码部分的预测块；根据所述预测块，分别计算各所述时空立方体和各所述光流立方体在像素层次的预测损失；根据各所述时空立方体和各所述光流立方体的预测损失，计算得到所述监控视频数据中各帧的异常值得分；所述异常值得分用于指示所属视频帧的异常事件检测结果。2.根据权利要求1所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，根据各帧的所述图像块构建所述时空立方体的过程，包括：将时间连续的多个所述图像块缩放到预设大小并按时间顺序堆叠，得到一个所述时空立方体；所述时空立方体用于描述一个视频事件。3.根据权利要求2所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，在时域上分别对每个所述时空立方体进行间隔掩码操作的过程，包括：对于每一个所述时空立方体，在时域上按图像块间隔掩码的方式进行图像块层次的掩码操作，得到掩码操作后的所述时空立方体；掩码操作后的所述时空立方体中一半图像块可见，另一半图像块被遮罩。4.根据权利要求1至3任一项所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，根据间隔掩码操作后的各所述时空立方体，分别利用视觉网络预测得到各所述时空立方体中被掩码部分的预测块的过程，包括：对于每一个间隔掩码操作后的所述时空立方体，将所述时空立方体上可见部分进行预操作后输入所述视觉网络；其中，所述预操作包括将所述可见部分扁平化为一维向量，线性投影至设定的低维空间后添加可学习的位置编码；将所述视觉网络的输出向量投影至所述预操作前的原始维度并变形为所述预操作前的尺寸，得到每一个所述时空立方体中被掩码部分的预测块。5.根据权利要求4所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，所述时空立方体在像素层次的预测损失通过如下公式计算得到：其中，C表示一个所述时空立方体，C
mask
表示所述时空立方体中被掩码部分的原始像素值，C
pred
表示对所述时空立方体中被掩码部分的预测像素值。6.根据权利要求1所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，根据各帧的所述图像块构建所述光流立方体的过程，包括：分别对时间连续的多个所述图像块进行光流提取，得到时间连续的多个光流块；将时间连续的多个所述光流块缩放到预设大小并按时间顺序堆叠，得到一个所述光流
立方体；所述光流立方体用于作为一个视频事件的动作描述。7.根据权利要求6所述的基于掩码自编码器的无监督视频异常检测方法，其特征在于，在时域上分别对每个所述光流立方体进行间隔掩码操作的过程，包括：对于每一个所述光流立方体，在时域上按光流块间隔掩码的方式进行光流块层次的掩码操作，得到掩码操作后的所述光流立方体；掩码操作后的所述光流立方体中一半光流块可见，另一半光流...
【专利技术属性】
技术研发人员：王思齐，胡婧韬，余广，祝恩，蔡志平，朱信忠，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。