一种基于语义嵌入学习的视频异常行为检测方法技术

技术编号:45095408 阅读:35 留言:0更新日期:2025-04-25 18:33
本发明专利技术涉及计算机视觉领域,特别涉及一种基于语义嵌入学习的视频异常行为检测方法,方法包括采集各种包含异常行为的视频数据,并根据视频包含的异常行为,标注该视频对应的视频标签,然后将视频与视频标签划分为正负样本,之后将经过编码器编码后的视频向量和视频标签向量嵌入到同一个特征空间,通过对比损失函数拉近匹配的视频和视频标签之间的距离,拉远不匹配的视频和视频标签之间的距离。最后衡量视频和所有异常描述文本在特征空间中的余弦相似度,将相似度最高的异常文本作为最终检测结果。该方法解决了在真实的标注数据稀缺情况下的视频异常行为检测,提高了异常行为检测任务的泛化能力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,特别涉及一种基于语义嵌入学习的视频异常行为检测方法


技术介绍

1、视频中的异常行为检测旨在通过分析视频中的人物行为、动作模式以及场景变化,自动识别出与常规行为模式显著不同的情况。这些异常行为不仅限于斗殴、抢劫等暴力行为,还包括交通事故、火灾等社会问题。近年来,随着深度学习技术的快速发展,尤其是卷积神经网络(cnn)、长短期记忆网络(lstm)和图神经网络(gnn)的广泛应用,视频中的异常行为检测技术取得了显著的进展,且大部分都关注监控视频中的异常行为。随着网络技术的发展,人们不仅仅只聚焦于监控视频中的异常行为,而是关注流媒体视频中的异常行为。传统的基于单标签监督学习的网络模型已经无法满足现在工作的需求,因为在动态变化的环境中,会源源不断的出现新的异常行为类别,这导致无法在短时间得到新类别的大量带标注的数据,进而无法有效的进行监督学习。此外,在某些特殊场景,例如直播视频中,异常行为的检测需要一定的实时性,因此迫切需要新的高效且实时的检测模型,如何设计能够捕捉到复杂动态模式的高效算法,并能够适应不同场景、不同任务下的异常行为识别本文档来自技高网...

【技术保护点】

1.一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,该方法主要包括以下步骤:

2.根据权利要求1所述的一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,S1中,采集各类包含异常行为的视频数据,视频主要来自于互联网视频平台中出现的包含异常行为的短视频和直播视频。

3.根据权利要求1所述的一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,S1中,在根据视频中包含的异常行为对该视频标注相应的视频描述时,分析视频中存在的异常行为,然后根据该异常行为,对视频标注一个视频描述用来描述视频内容。

4.根据权利要求1所述的一种基于语义嵌入学习的视频...

【技术特征摘要】

1.一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,该方法主要包括以下步骤:

2.根据权利要求1所述的一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,s1中,采集各类包含异常行为的视频数据,视频主要来自于互联网视频平台中出现的包含异常行为的短视频和直播视频。

3.根据权利要求1所述的一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,s1中,在根据视频中包含的异常行为对该视频标注相应的视频描述时,分析视频中存在的异常行为,然后根据该异常行为,对视频标注一个视频描述用来描述视频内容。

4.根据权利要求1所述的一种基于语义嵌入学习的视频异常行为检测方法,其特征在于,s2中,所述语义嵌入网络模型包括特征提取模块、语义嵌入学习模块;

5.根据权利要求4所述的一...

【专利技术属性】
技术研发人员:陈龙杨海涛
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1