基于提示学习的弱监督视频异常检测方法及系统技术方案

本发明专利技术提供一种基于提示学习的弱监督视频异常检测方法及系统，属于基于计算机视觉的异常事件检测技术领域，获取待处理的视频数据；利用预先训练好的异常检测模型，对获取的待处理的视频数据进行处理，得到视频中异常事件的具体分类结果。本发明专利技术引入视频局部与全局自适应时间建模模块来同时捕获局部和全局依赖关系，平衡了对详细时间建模的需求与计算效率之间的关系；利用外部知识库，提升了模型对不同类别的辨别能力；设计文本‑视频对比损失函数，增强正确匹配文本‑视频对的相似度，同时降低错误匹配的相似度，有效抑制负样本的相似度过高，从而提升模型的区分能力，使文本与视频的匹配更加精准，增强模型的视频与文本对齐能力。

【技术实现步骤摘要】

本专利技术涉及基于计算机视觉的异常事件检测，具体涉及一种基于提示学习的弱监督视频异常检测方法及系统。

技术介绍

1、视频异常检测通过分析视频数据，自动识别和检测异常行为或事件，在安防领域具有广泛应用。通过提升检测的准确性和鲁棒性，该技术不仅能增强监控系统的效能，降低误报率，还能显著减少人力成本，从而提升整体监控效率，并带来积极的经济效益。

2、早期的视频异常检测的方法主要是半监督视频异常检测方法，即仅利用正常视频来学习正常模式，将异常事件识别为偏离所学正常模式的事件，如基于未来帧预测的方法。然而，这些方法由于主要依赖正常视频进行训练，难以泛化到未见过的异常模式，对异常视频的利用有限，容易产生较高的误报率。因此，在实际应用中，半监督方法的检测效果往往受到限制。

3、近年来，弱监督视频异常检测因其在训练中同时包含正常和异常视频，从而实现更具区分性的表示学习，且因只需要视频级别的注释，指示异常的存在，但不需要精确的时间信息，注释要求较少等优点，受到越来越多的关注，成为当前视频异常检测研究的主流方向。

4、针对弱监督视频异常检测本文档来自技高网...

【技术保护点】

1.一种基于提示学习的弱监督视频异常检测方法，其特征在于，包括：

2.根据权利要求1所述的基于提示学习的弱监督视频异常检测方法，其特征在于，视频分类分支中，片段特征X通过不同的线性层投影到潜在空间，通过计算内积得到相似性矩阵G，应用softmax归一化生成全局注意力图Mg，通过注意力图重新加权投影的片段特征，以获得全局上下文特征Xg；通过在掩码窗口中重复使用相似性矩阵来实现局部上下文校准；通过注意力图Ml对投影的片段特征进行重新加权，得到局部校准特征Xl，将全局上下文特征和局部校准特征实现局部-全局上下文自适应融合，动态平衡全局时间模式和局部细微差异的重要性；引入动态位置编码...

【技术特征摘要】

1.一种基于提示学习的弱监督视频异常检测方法，其特征在于，包括：

2.根据权利要求1所述的基于提示学习的弱监督视频异常检测方法，其特征在于，视频分类分支中，片段特征x通过不同的线性层投影到潜在空间，通过计算内积得到相似性矩阵g，应用softmax归一化生成全局注意力图mg，通过注意力图重新加权投影的片段特征，以获得全局上下文特征xg；通过在掩码窗口中重复使用相似性矩阵来实现局部上下文校准；通过注意力图ml对投影的片段特征进行重新加权，得到局部校准特征xl，将全局上下文特征和局部校准特征实现局部-全局上下文自适应融合，动态平衡全局时间模式和局部细微差异的重要性；引入动态位置编码来对片段的相对距离进行建模，动态位置编码作为位置先验嵌入到相似度矩阵g中；采用了两层mlp进行特征降维，每个conv1d层后跟一个gelu激活和dropout操作；使用因果卷积层预测片段级异常分数。

3.根据权利要求1所述的基于提示学习的弱监督视频异常检测方法，其特征在于，在文本对齐分支中，利用词汇数据库wordnet对类别进行语义增强，使clip能够更好地理解事件的不同表述方式；首先，获取类别标签的同义词或相关概念以扩展类别的语义范围；随后，使用clip的tokenizer将语义增强后的类别转换为类别标记；其次，将增强后的类别token代入prompt结构，添加一个包含m个上下文标记的可学习提示，形成完整的文本输入序列；其中，类别标记tinit被放置在文本输入序列的中间；最后，clip的文本编码器接收文本输入序列作为输入，并生成最终的类别嵌入。

4.根据权利要求3所述的基于提示学习的弱监督视频异常检测方法，其特征在于，利用视觉上下文来完善类文本嵌入，使简洁的文本标签更加准...

【专利技术属性】
技术研发人员：岑翼刚，池洋，许万茹，马晓乐，金一，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：