一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法技术

一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法，首先将每个视频表示为一个视频包，包含至少一个异常实例的视频包为正类包，不含任何异常实例的视频包为负类包；然后将两类包都分割成相同且固定数量的时间段，每一个时间段即为视频包中的一个实例，再将两类包输入基于共同注意力和自注意力机制的视觉语言双向编码变换器ViLBERT模块，从而得到ViLBERT特征；接着将ViLBERT特征输入到全连接神经网络中，并对该神经网络基于排序损失函数进行训练；最终构建一个有效区分异常事件和正常事件的异常检测模型，每个实例能够获得各自的异常得分，从而实现视频异常检测。本方法解决了异常检测中缺乏大量帧级标签的问题，保证了异常事件和正常事件的有效区分。保证了异常事件和正常事件的有效区分。保证了异常事件和正常事件的有效区分。

【技术实现步骤摘要】
一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法


[0001]本专利技术属于视频异常检测
，具体涉及一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法

技术介绍

[0002]异常检测不仅是计算机视觉领域一个重要且活跃的研究课题，也是一项具有非常具有挑战性的任务，因为在一个开放且复杂的环境中可能会出现各种各样的现实情况，因此几乎不可能收集到各种异常事件的数据。除此之外，由于异常事件种类繁多，而且发生频率较低，如果在海量视频数据集中对异常事件进行采集和标记，不仅需要耗费大量的人力而且十分耗时。近些年一些聚类方法被用于解决异常检测问题，例如高斯混合模型和k均值聚类算法。但是这些方法都属于无监督异常检测方法，由于异常事件种类繁多，难以通过一个简单的分类器进行区分，因此在实际应用过程中通常会遇到性能不佳的问题。
[0003]近些年来，为了进一步提高模型性能，采用弱监督思想的异常检测方法越来越受到研究者的广泛关注。在弱监督方法中，异常检测通常被表述为一个多实例学习MIL任务，在实际应用中取得了一定效果，但其对异常事件的识别在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法，其特征在于：所述异常检测方法具体包括以下步骤：S1，根据视频数据设定训练集和待测集，将每个视频看作一个视频包，在训练集中，将包含至少一个异常实例的视频包定义为正包B
p
，将不包含任何异常实例的视频包定义为负包B
n
；S2，将S1中得到的正包和负包分成相同数量L的时间段，每个时间段表示视频包中的一个实例；S3，将S2中得到的正包和负包都输入到基于注意力机制的ViLBERT模块，从而提取到所有视频实例的ViLBERT特征；S4，将S3中得到的实例ViLBERT特征输入到一个三层的全连接神经网络中，并基于排序损失函数进行迭代训练，训练后得到一个区分异常事件和正常事件的异常检测模型，输入待测集，其中的每个视频实例获得各自的异常得分，得到异常的检测结果。2.根据权利要求1所述的一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法，其特征在于：所述S1中的视频包B
p
和B
n
中所含的实例数量相等。3.根据权利要求1所述的一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法，其特征在于：所述S2中的正包视频实例依次用p1,p2,...,p
l
,...p
L
表示，负包视频实例依次用n1,n2,...,n
l
,...n
L
表示。4.根据权利要求1所述的一种基于视觉语言双向编码变换器和排序损失函数的异常检测方法，其特征在于：所述S3中，ViLBERT模块的注意力机...

【专利技术属性】
技术研发人员：李群，潘许贝，肖甫，盛碧云，沙乐天，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：