【技术实现步骤摘要】
本申请属于视频检测,更具体地,涉及一种具有分析能力的视频异常检测及其模型训练方法。
技术介绍
1、视频异常检测旨在识别视频中的异常事件,近年来由于其在公共安全和视频内容理解方面的巨大应用价值而受到广泛研究。当前基于及其学习的视频异常检测方法根据训练数据的标注类型大致分为三类:无监督、弱监督和全监督:无监督方法仅在单类别正常视频或未标记的正常/异常视频上进行训练,而弱监督方法在带有视频级标签的正常/异常视频上进行训练,由于带有帧级标签的视频数据很少,因此基于全监督的监测方法比较少。
2、由于基于机器学习的视频异常检测方法是通过机器学习算法方法对视频特征进行提取并区分,因此其对人类语言中“异常”的含义并不了解,当检测出异常视频后,无法向管理人员提供对检测异常的解释分析,即“什么异常”和“为什么被认为是异常”。这种不透明性限制了人类对检测系统的理解。
技术实现思路
1、针对现有技术的以上缺陷或改进需求,本申请提供了一种具有分析能力的视频异常检测及其模型训练方法,其目的在于解决现有视频
...【技术保护点】
1.一种具有分析能力的视频异常检测模型训练方法,其特征在于,包括:
2.根据权利要求1所述的视频异常检测模型训练方法,其特征在于,所述训练集通过以下方法获取:
3.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,基于所述异常分数和标注帧的位置划分出带有帧级标签的正常或异常视频片段,具体为:
4.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述视频描述生成网络具体为多模态视觉语言大模型Video-LLaVA。
5.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述大语言模型具体为大语言模
...【技术特征摘要】
1.一种具有分析能力的视频异常检测模型训练方法,其特征在于,包括:
2.根据权利要求1所述的视频异常检测模型训练方法,其特征在于,所述训练集通过以下方法获取:
3.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,基于所述异常分数和标注帧的位置划分出带有帧级标签的正常或异常视频片段,具体为:
4.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述视频描述生成网络具体为多模态视觉语言大模型video-llava。
5.根据权利要求2所述的视频异常检测模型训练方法,其特征在于,所述大语言模型具体为大语言模型llama3。
6.根据权利要求1所述的视频异常检测模型训练方法,其特...
【专利技术属性】
技术研发人员:桑农,张化鑫,王翔,龚丙权,尹文体,高常鑫,
申请(专利权)人:华中科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。