【技术实现步骤摘要】
本专利技术属于计算机科学与，特别是涉及多模态弱监督视频异常检测方法、装置、设备及介质。
技术介绍
1、随着安防监控、工业生产等领域对视频监控智能化需求的提升，视频异常检测技术成为研究热点。传统的视频异常检测多基于监督学习，需大量精确标注的异常样本用于模型训练，如专利cn112329772a所采用的方法，在实际场景中，获取这类标注数据不仅成本高昂，且耗费大量人力与时间。此外，单模态数据(如仅视频图像)难以全面且精准地捕捉异常事件的特征，导致检测准确率受限。随着技术发展，多模态数据融合被引入视频异常检测领域，它整合视频帧序列、与对应文本序列等多源信息，为检测提供更丰富特征，但传统方法在处理多模态数据时存在特征对齐困难、信息融合效率低等问题。同时，在弱监督学习方面，尽管利用视频级标签进行模型训练可降低标注成本，然而现有弱监督视频异常检测算法，如专利cn114822444a所提出的方案，在面对复杂场景时，模型泛化能力不足，对异常特征的提取也不够准确，易受背景信息干扰，从而影响检测结果的可靠性与稳定性。
技术实现思路<
本文档来自技高网...
【技术保护点】
1.一种多模态弱监督视频异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤S101中，基于视频字幕模型SwinBERT生成的关于监控视频的文本描述，引入文本序列。
3.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤S102中，利用外部注意力机制捕捉视频片段间的全局信息，通过引入两个外部的、小型的、可学习的共享记忆单元Mk、Mv，来捕捉数据样本间相关性，具体过程可以表示为：
4.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤S1...
【技术特征摘要】
1.一种多模态弱监督视频异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤s101中，基于视频字幕模型swinbert生成的关于监控视频的文本描述，引入文本序列。
3.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤s102中，利用外部注意力机制捕捉视频片段间的全局信息，通过引入两个外部的、小型的、可学习的共享记忆单元mk、mv，来捕捉数据样本间相关性，具体过程可以表示为：
4.如权利要求1所述的一种多模态弱监督视频异常检测方法，其特征在于，步骤s102中，多尺度时间网络通过多尺度卷积层实现，该层利用不同扩张率的卷积核捕捉局部时间依赖性，揭示文本序列中局部模式与趋势的联系；多尺度时间网络利用非局部块扩展感知范围，捕获全局时间依赖性，识别长距离依赖关系；最终，融合多尺度卷积层与非局部...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。