基于语义完型填空测试自编码器的视频异常检测方法及装置制造方法及图纸

本发明专利技术公开的基于语义完型填空测试自编码器的视频异常检测方法及装置，包括以下步骤：根据视频图像数据提取事件集合并构建时空立方体；构建完型填空测试结构；构建基于Transformer的自动编码器的深度神经网络模型进行外观补全；构建基于条件变分自编码器的深度神经网络模型进行光流补全；将预处理的训练数据分别输入到两个深度神经网络模型中得到输出数据；并根据损失函数，利用反向传播不断更新模型参数，得到优化后的两个深度神经网络模型；通过优化后的两个深度神经网络模型对处理后的测试数据进行异常检测，并计算每一个视频帧的异常分数，用来进行异常判断。本发明专利技术相较于现有方法稳定性好，能够更加敏感的识别出异常。

【技术实现步骤摘要】

本专利技术涉及基于语义完型填空测试自编码器的视频异常检测方法及装置，属于视频监控系统领域。

技术介绍

1、视频具有时序性与丰富的信息内涵，常用于交代事物的发展过程，在多媒体中的一个重要角色。视频异常检测通过自动解读视频内容来进行异常检测，其主要目标是寻找出视频中异常事件发生的时间窗口。在监控视频的背景下，视频异常检测在许多安全关键场景中都很有价值，因此受到了广泛关注。

2、尽管做了很多努力，但视频异常检测仍然存在具有挑战性的问题：(1)无界性。相同的事件在不同的场景中并不总是有相同的结果(例如，在操场上或在路上跑步)。在现在的研究中，由于模型的泛化能力也可以很好地重建异常事件的某些部分，使得异常和正常的边界不清晰，即任何远离正常模型的事件都将被视为异常。(2)数据不平衡性。收集真实的异常用于训练通常是困难的，甚至是不可能的。目前数据集中正常数据量远大于异常数据量，因为异常事件在现实生活中很少发生。

3、近年来，深度学习中基于自编码器(ae)的无监督方法一直是视频异常检测中常用的解决方法。gong通过引入内存记忆模块来记住正常的数据模本文档来自技高网...

【技术保护点】

1.基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，所述步骤S1中提取事件集合的具体步骤为：首先使用预训练的目标检测器模型提取基于外观的ROI，并去除其中区域过小，重叠或者嵌套的ROI，得到集合Ba；将时间梯度二值化得到二值图，得到基于运动的ROI集合Bm；取两个集合并集，得到最终的ROI集合。

3.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，所述步骤S1中构建时空立方体的具体步骤为：从之前的D帧中提取ROI，并将相同...

【技术特征摘要】

1.基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，所述步骤s1中提取事件集合的具体步骤为：首先使用预训练的目标检测器模型提取基于外观的roi，并去除其中区域过小，重叠或者嵌套的roi，得到集合ba；将时间梯度二值化得到二值图，得到基于运动的roi集合bm；取两个集合并集，得到最终的roi集合。

3.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，所述步骤s1中构建时空立方体的具体步骤为：从之前的d帧中提取roi，并将相同的roi尺寸调整为h×w：x1…xd；最后将他们组成一个时空立方体x1:d＝[x1…xd]。

4.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于，所述步骤s2中去除时空立方体x1:d中的第i个roi，构建出一个完型填空测试结构，表示为：

5.根据权利要求1所述的基于语义完型填空测试自编码器的视频异常检测方法，其特征在于...

【专利技术属性】
技术研发人员：杜圣东，陈鹏展，赵小乐，苏敏，胡节，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：