本发明专利技术公开了一种基于双流时空编码器的自监督视频异常检测方法，属于视频异常检测技术领域。该方法包括预处理模块、视频流网络、光流网络以及横向链接。该方法引入光流来为模型提供额外的视觉线索，同时结合原始视频，从而设计了一个双流编码器来从视频中提取复杂的时空信息；其次，双流编码器采用针对不同模态数据的定制网络架构，分别为视频流网络和光流网络，实现了对视频中高级视觉特征更全面的提取；最后，通过设计横向连接来促进双流通道之间的信息交互，以弥补了深度网络中的信息遗漏问题。该方法通过以上几点提高了视频异常检测的性能。
【技术实现步骤摘要】
本专利技术涉及视频异常检测，具体涉及一种基于双流时空编码器的自监督视频异常检测方法。
技术介绍
1、视频异常检测是计算机视觉领域备受推崇的研究领域，对安全监控、交通管理、工业制造等领域有着重要影响。自动检测视频中的异常行为或事件有着极大的价值。然而，视频异常检测面临一系列挑战。首先，异常行为相对较少，导致训练数据分布不均衡。其次，在不同场景下对异常行为的定义往往是主观的。这两点导致了收集和标记异常样本的困难。
2、近年来，基于重建和预测的无监督学习方法在视频异常检测领域取得了显著成就。基于重建的方法通常利用在正常视频数据上训练的自编码器来检测异常。异常数据通常有着较大的重建误差。基于预测的方法通常使用像循环神经网络（rnn）或扩散模型这样的时序模型，在训练过程中学习正常行为，预测未来帧，并通过在测试阶段识别与预测帧显著偏差来检测异常。然而，深度网络的强大泛化能力意味着异常视频帧可能也会被良好重建或预测而不产生较大的误差。此外，一些工作尝试使用自监督学习方法来进行视频异常检测。自监督学习可以提高模型对数据特征的区分能力，从而有效缓解模型中的泛化问本文档来自技高网...
【技术保护点】
1.一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：所述方法包括预处理模块、视频流网络、光流网络以及横向链接，具体步骤为：
2.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：步骤S1中，将光流作为新的先验信息引入视觉模型中；通过对视频和光流联合建模，模型挖掘视频中全面的时空特征。
3.根据权利要求2所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：步骤S1中，通过对象检测器进行对象检测以生成对象边界框，通过光流提取器进行光流提取；为光流和视频构建以对象为中心的时空立方体；
>4.根据权利要求1...
【技术特征摘要】
1.一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：所述方法包括预处理模块、视频流网络、光流网络以及横向链接，具体步骤为：
2.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：步骤s1中，将光流作为新的先验信息引入视觉模型中；通过对视频和光流联合建模，模型挖掘视频中全面的时空特征。
3.根据权利要求2所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：步骤s1中，通过对象检测器进行对象检测以生成对象边界框，通过光流提取器进行光流提取；为光流和视频构建以对象为中心的时空立方体；
4.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：步骤2和3中，将视频和光流时空立方体在时间或者空间顺序上进行相同地打乱，以输入双流编码器中进行自监督训练。
5.根据权利要求4所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：双流编码器采用针对不同模态数据的定制网络架构，实现了对视频中高级视觉特征的全面提取，分别为视频流网络和光流网络。
6.根据权利要求5所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：所述视频流网络由多层的3d卷积以及2d卷积组成，每个卷积层后跟着一系列的实例归一化层、relu激活函数和池化层。
7.根据权利要求5所述的一种基于双流时空编码器的自监督视频异常检测方法，其特征在于：所述光流网络使用了一个视觉transformer架...
【专利技术属性】
技术研发人员：孙雁飞，温万龙，徐飞易，孙莹，亓晋，董振江，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。