当前位置: 首页 > 专利查询>河南大学专利>正文

一种融合关键帧和多任务混合模型的视频异常检测方法及系统技术方案

技术编号:43965212 阅读:14 留言:0更新日期:2025-01-07 21:51
本发明专利技术公开一种融合关键帧和多任务混合模型的视频异常检测方法及系统,该方法首先使用分段聚类的帧间差分关键帧提取技术,将提取的关键帧作为模型输入,节省了存储空间,提升检测效率;然后,在人体骨骼特征提取的基础上,融合了基于重构的方法和基于预测的方法,构建一个混合模型;并且在多任务学习方面,基于构建的混合模型,综合利用历史帧重构和预测未来帧、利用未来帧重构和预测历史帧、利用历史帧和未来帧重构和预测当前帧;最后基于训练好的混合模型进行视频异常检测。本发明专利技术有效解决了重构方法和预测方法异常数据误判率较高和有易受环境噪声影响的问题,通过混合模型综合利用多源信息,结合两种方法的优势,提高模型的实用性、准确率。

【技术实现步骤摘要】

本专利技术涉及视频异常检测,尤其涉及一种融合关键帧和多任务混合模型的视频异常检测方法及系统


技术介绍

1、视频异常检测是指通过算法检测出视频中不符合人们预期的行为或事件,例如人群聚集、纵火、抢劫、逆向行驶、横穿马路等。随着社会的快速发展与大量高清摄像机的部署,视频异常检测已经成为国内外研究的热点领域。随着数据量的增加,传统机器学习算法无法捕获数据样本之间的复杂结构,在检测异常值时出现大幅度的性能下降。而基于深度学习的方法在视频异常检测中具有巨大的优势,不仅可以利用构建好的深层次卷积神经网络模型自主学习数据样本之间的分层判别特征,而且有着优异的自适应能力和数据处理能力。

2、视频可以看作许多连续图像按照时间顺序叠加而成,由于监控视频中不仅包含了行为动作信息,而且包含了大量重复帧,这导致了大量的内存消耗以及信息冗余,增加了模型的计算量,降低了视频异常检测效率和识别率。

3、目前,视频异常检测主要采用基于重构和预测的方法,其中重构方法中主要使用自编码器来完成编码和解码,但其强大的编码和解码能力导致异常数据样本被很好地重构,使得异常数据的本文档来自技高网...

【技术保护点】

1.一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,包括:

2.根据权利要求1所述的一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,所述关键帧提取模块具体用于根据需求对原始视频进行分段和特征提取,然后使用K-means聚类方法进行聚类,将特征向量分成k个簇,其中每个簇都由一个代表性的中心点表示,之后差分图像,计算帧像素强度绝对差值,并根据阈值选择关键帧。

3.根据权利要求1所述的一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,所述人体骨骼提取模块具体用于利用人体姿态估计算法从输入的视频帧中提取出人体骨骼数据。

...

【技术特征摘要】

1.一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,包括:

2.根据权利要求1所述的一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,所述关键帧提取模块具体用于根据需求对原始视频进行分段和特征提取,然后使用k-means聚类方法进行聚类,将特征向量分成k个簇,其中每个簇都由一个代表性的中心点表示,之后差分图像,计算帧像素强度绝对差值,并根据阈值选择关键帧。

3.根据权利要求1所述的一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,所述人体骨骼提取模块具体用于利用人体姿态估计算法从输入的视频帧中提取出人体骨骼数据。

4.根据权利要求1所述的一种融合关键帧和多任务混合模型的视频异常检测方法,其特征在于,所述编码器的梯度损失为:

【专利技术属性】
技术研发人员:穆辉宇李江伟张鹏宇马艳红展桂荣刘卫东党兰学左宪禹
申请(专利权)人:河南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1