视频异常行为实时检测方法技术

技术编号:19482198 阅读:45 留言:0更新日期:2018-11-17 10:47
本发明专利技术公开了一种视频异常行为实时检测方法,包括:提取输入视频图像的图像前景,再分区域提取出所有的前景区域;提取前景区域的光流幅度,再通过光流幅度提取HMOF特征;利用基于自编码的特征提取模块来重构HMOF特征;利用高斯混合分类器来分类重构后的HMOF特征,将其分为正常和异常两类,从而完成对视频异常行为的检测与定位。该方法具有检测性能较好,检测速度快等优点。

【技术实现步骤摘要】
视频异常行为实时检测方法
本专利技术涉及计算机视觉
,尤其涉及一种视频异常行为实时检测方法。
技术介绍
视频中异常行为检测是计算机视觉领域中的一个重要问题,用摄像头捕获到目标区域视频信息,算法需要自动检测出视频中不符合常规模式的行为(违反交通规则,打架斗殴,违法偷窃等)。现有方法主要分为三种类型:(1)基于轨迹分析的方法。使用目标跟踪的算法得到视频中运动目标的轨迹图,之后运用特定的轨迹分析方法来分析某个轨迹是否属于异常轨迹,这类方法只能在轨迹层分析速度、方向等异常,忽略了场景信息。(2)基于特征提取的方法。这类算法核心思想是提取到能表征视频内容的核心特征,之后在提取到的特征的基础上分析是否属于异常行为。这类方法可以分为区域特征学习和全局特征学习的方法,现有的方法中,前者大多在所有视频块上建模,采用的一般为人为设计特征,不具有针对性。后者需要处理复杂的视频动态,对模型复杂度要求很高。(3)基于行为建模的方法。在小的视频块上建立运动模型,在该模型下出现概率低的行为被归类为异常。这类方法主要缺陷是行为模式复杂多样,难以建立有效模型。异常检测算法常用的性能评判标准分为帧级和像素级别,其中帧级常用于评价全局异常,如果某一帧里至少包含一个异常像素,就将这一帧视为异常,这种评价指标无需精确检测出异常的像素位置,只需确定视频的帧序列中的视频帧是哪些。像素级常用于评价局部异常,即需要确定异常目标位于视频哪一块区域,需要和数据集的异常标注进行对比,超过40%面积的异常标注被检测出来才认为这一帧检测正确。采用等错误率(EER)作为帧级和像素级的指标,EER是接受者操作特性曲线(ROC)与(0,1)到(1,0)线段的交点,EER越低,说明ROC曲线越靠近左上方,系统的性能越好。下面介绍目前方法中在异常检测数据集UCSDPed2中帧级和像素级分别做的最好的方法。TanXiao等人在文章“Learningtodetectanomaliesinsurveillancevideo”(IEEESignalProcessingLetters,2015)提出了一种新的基于稀疏的非负矩阵分解(SSMF)的异常检测方法,构造一个非负系数直方图作为视频的时空体的局部特征,为了避免过多的局部检测,将视频中的空间和时间上下文信息集成到模型中,从而可以实现异常检测。该方法在像素级EER获得了目前最好的性能,为17%。Sabokrou等人在文章“Deep-Cascade:Cascading3DDeepNeuralNetworksforFastAnomalyDetectionandLocalizationinCrowdedScenes”(IEEETransactionsonImageProcessing,2017)中提出了一种基于级联(DeepCascade)的异常检测方法,利用级联分类器,分步骤进行检测,多阶段检测从简单到困难的区域(patch)。第一个阶段过一个级联的自编码器,第二个阶段过一个级联的CNN卷积神经网络,分为四个子部分,每个子部分都会截流正常的patch,把疑似异常的patch输入下一个子部分,从而实现对异常的检测。该方法在帧级EER获得了目前最好的性能,为8.2%。但是,由于视频中异常行为检测不仅对算法性能要求较高,对实时性要求也高。如果算法处理速度很慢,不能做到实时,很难运用到现实生活中。现有的算法大部分耗时较多,不能做到实时;另外少数(比如,上述两种算法)能做到实时的算法,其性能与目前最好的算法性能相比仍有较大的差距。
技术实现思路
本专利技术的目的是提供一种视频异常行为实时检测方法,具有检测性能较好,检测速度快等优点。本专利技术的目的是通过以下技术方案实现的:一种视频异常行为实时检测方法,包括:提取输入视频图像的图像前景,再分区域提取出所有的前景区域;提取前景区域的光流幅度,再通过光流幅度提取HMOF特征;利用基于自编码的特征提取模块来重构HMOF特征;利用高斯混合分类器来分类重构后的HMOF特征,将其分为正常和异常两类,从而完成对视频异常行为的检测与定位。由上述本专利技术提供的技术方案可以看出,一方面,基于HMOF(光流幅度直方图)特征,可以更为有效提取异常行为信息;另一方面,采用基于自编码的特征提取模块,极大的提升了处理速度,可以达到实时效果,并且显著提升了算法性能。附图说明为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种视频异常行为实时检测方法的流程图;图2为本专利技术实施例提供的提取HMOF特征的示意图;图3为本专利技术实施例提供的基于自编码的特征提取模块来重构HMOF特征的示意图;图4为本专利技术实施例提供的检测结果示意图。具体实施方式下面结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术的保护范围。本专利技术实施例提供一种视频异常行为实时检测方法,如图1所示,其主要包括:1、提取输入视频图像的图像前景,再分区域提取出所有的前景区域。视频图像中每一个像素点都是由前景颜色和背景颜色组合而成,其中前景颜色所占的比重称为alpha因子,记为a,颜色组合方程如下I=aF+(1-a)B;其中I、F、B分别对应表示视频图像上一点的合成色、前景色、背景色;利用K最近邻算法(KNNmatting)来提取出图像中的前景,再将前景分成大小相同且不重合的区域,统计每个区域前景像素点之和,如果大于设定阈值,则将设为前景区域,从而得到视频图像所有的前景区域。2、提取前景区域的光流幅度,再通过光流幅度提取HMOF特征。本步骤过程如图2所示,首先,计算HMOF的阈值δ:由于训练集中存在噪点,会使得局部光流幅度变的很大,因此,将训练集所有光流幅度按从小到大进行排序,然后去掉最大的s%的光流,取剩下中最大的光流幅度作为阈值δ。然后,提取前景区域的光流幅度,并将光流幅度,分成n个区间,第i个区间为[(i-1)/n×δ,i/n×δ];为了测试所有的光流点,可以将最后一个区间改成[(n-1)/n×δ,+∞]。最后得到光流幅度直方图,再进行归一化处理获得HMOF特征。3、利用基于自编码的特征提取模块来重构HMOF特征。如图3所示,基于自编码器的特征提取模块采用神经网络中的自编码器,能够用于特征变化,获得特征中更深层次的信息。首先,在正常的视频上利用所有视频块的HMOF特性训练基于自编码的特征提取模块,使得在训练样本上重构误差最小;然后,采用训练视频所有区域视频块的HMOF特征训练该基于自编码的特征提取模块;再将前景区域视频块的HMOF特征送入该基于自编码的特征提取模块,获得的中间隐层的输出即为重构后的HMOF特征。4、利用高斯混合分类器来分类重构后的HMOF特征,将其分为正常和异常两类,从而完成对视频异常行为的检测与定位。混合高斯模型是指对样本的概率密度分布进行估计,而估计采用的本文档来自技高网
...

【技术保护点】
1.一种视频异常行为实时检测方法,其特征在于,包括:提取输入视频图像的图像前景,再分区域提取出所有的前景区域;提取前景区域的光流幅度,再通过光流幅度提取HMOF特征;利用基于自编码的特征提取模块来重构HMOF特征;利用高斯混合分类器来分类重构后的HMOF特征,将其分为正常和异常两类,从而完成对视频异常行为的检测与定位。

【技术特征摘要】
1.一种视频异常行为实时检测方法,其特征在于,包括:提取输入视频图像的图像前景,再分区域提取出所有的前景区域;提取前景区域的光流幅度,再通过光流幅度提取HMOF特征;利用基于自编码的特征提取模块来重构HMOF特征;利用高斯混合分类器来分类重构后的HMOF特征,将其分为正常和异常两类,从而完成对视频异常行为的检测与定位。2.根据权利要求1所述的一种视频异常行为实时检测方法,其特征在于,所述提取输入视频图像的图像前景,再分区域提取出所有的前景区域包括:视频图像中每一个像素点都是由前景颜色和背景颜色组合而成,其中前景颜色所占的比重称为alpha因子,记为a,颜色组合方程如下I=aF+(1-a)B;其中I、F、B分别对应表示视频图像上一点的合成色、前景色、背景色;利用K最近邻算法来提取出图像中的前景,再将前景分成大小相同且不重合的区域,统计每个区域前景像素点之和,如果大于设定阈值,则将设为前景区域,从而得到视频图像所有的前景区域。3.根据权利要求1所述的一种视频异常行为实时检测方法,其特征在于,所述提取前景区域的光流幅度,再通过光流幅度提取HMOF特征包括:计算HMOF的阈值δ;提取前景区域的光流幅度,并将光流幅度,分成n个区间,第i个区间为[(i-1)/n×δ,i/n×δ];从而得到光流幅度直方图,再进行归一化处理获得HMOF特征。4.根据权利要求3所述的一种视频异常行为实时检测方法,其特征在于,计算HMOF的阈值δ的过程包括:将训练集所有光流幅度按从小到大进行排序,然后去掉最大的s%的光流,取剩下中最大的光流幅度作为阈值δ。5.根据权利要求1所述的一种视频异常行为实...

【专利技术属性】
技术研发人员:朱辉辉刘斌李卫海俞能海
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:安徽,34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1