一种具有分析能力的视频异常检测及其模型训练方法技术

技术编号:42856979 阅读:16 留言:0更新日期:2024-09-27 17:22
本申请公开了一种具有分析能力的视频异常检测及其模型训练方法,属于视频检测技术领域。本申请视频异常检测模型由视频异常检测网络和多模态解码网络构成,其中,视频异常检测网络通过由弱监督训练数据转化的全监督训练数据进行异常视频的识别训练,再通过多模态解码网络学习异常图像帧特征、对应指令文本特征和对应分析文本特征之间的特征关系,由此本申请视频异常检测模型不仅能高效检测出视频中的异常事件,同时也实现了对检测出的异常事件进行解释分析。

【技术实现步骤摘要】

本申请属于视频检测,更具体地,涉及一种具有分析能力的视频异常检测及其模型训练方法


技术介绍

1、视频异常检测旨在识别视频中的异常事件,近年来由于其在公共安全和视频内容理解方面的巨大应用价值而受到广泛研究。当前基于及其学习的视频异常检测方法根据训练数据的标注类型大致分为三类:无监督、弱监督和全监督:无监督方法仅在单类别正常视频或未标记的正常/异常视频上进行训练,而弱监督方法在带有视频级标签的正常/异常视频上进行训练,由于带有帧级标签的视频数据很少,因此基于全监督的监测方法比较少。

2、由于基于机器学习的视频异常检测方法是通过机器学习算法方法对视频特征进行提取并区分,因此其对人类语言中“异常”的含义并不了解,当检测出异常视频后,无法向管理人员提供对检测异常的解释分析,即“什么异常”和“为什么被认为是异常”。这种不透明性限制了人类对检测系统的理解。


技术实现思路

1、针对现有技术的以上缺陷或改进需求,本申请提供了一种具有分析能力的视频异常检测及其模型训练方法,其目的在于解决现有视频异常检测方法对视频异本文档来自技高网...

【技术保护点】

1.一种具有分析能力的视频异常检测模型训练方法,其特征在于,包括:

2.根据权利要求1所述的视频异常检测模型训练方法,其特征在于,所述训练集通过以下方法获取:

3.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,基于所述异常分数和标注帧的位置划分出带有帧级标签的正常或异常视频片段,具体为:

4.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述视频描述生成网络具体为多模态视觉语言大模型Video-LLaVA。

5.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述大语言模型具体为大语言模型Llama3。...

【技术特征摘要】

1.一种具有分析能力的视频异常检测模型训练方法,其特征在于,包括:

2.根据权利要求1所述的视频异常检测模型训练方法,其特征在于,所述训练集通过以下方法获取:

3.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,基于所述异常分数和标注帧的位置划分出带有帧级标签的正常或异常视频片段,具体为:

4.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述视频描述生成网络具体为多模态视觉语言大模型video-llava。

5.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述大语言模型具体为大语言模型llama3。

6.根据权利要求1所述的视频异常检测模型训练方法,其特...

【专利技术属性】
技术研发人员:桑农张化鑫王翔龚丙权尹文体高常鑫
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1