基于时空兴趣点降噪的监控视频异常事件检测方法技术

本发明专利技术涉及了基于时空兴趣点降噪的监控视频异常事件检测方法。本发明专利技术采用了分层特征表示的方法，用时空兴趣点作为低级特征表示局部事件，通过C均值聚类学习低级码本，通过K近邻距离与阈值的比较判断局部异常事件；用多个时空兴趣点构成的集合体作为高级特征来表示全局事件，利用贪婪聚类算法学习高级码本并对每个码本进行最小二乘法建模，通过集合体与模板的最小二乘距离判断全局异常事件。本发明专利技术不仅在局部事件的表示阶段通过前景掩码对时空兴趣点的筛选严格限制了异常的分析区域，而且在建立全局事件检测模型的时候使用最小二乘法，在保证基本准确率的前提下，降低了检测的时间复杂度和计算复杂度。

Monitoring video anomaly detection method based on spatiotemporal interest point noise reduction

The present invention relates to a monitoring video anomaly detection method based on time and space interest point noise reduction. This method uses a hierarchical feature representation, using spatio-temporal interest point as low-level features represent local events, learning low-level code book by C means clustering, judged by comparing the local abnormal events and K neighbor distance threshold; constituted by a plurality of space-time interest points for advanced features to represent the global event, using greedy clustering the learning algorithm of senior codebook for each codebook of least squares modeling, determining the global abnormal events by least square distance and template assembly. The invention not only in the local event representation stage through the foreground mask selection of spatio-temporal interest point strictly limit the analysis of regional anomalies, and in the establishment of global event detection model using the least squares method, under the premise of ensuring the basic accuracy, reduces the detection time complexity and computational complexity.

【技术实现步骤摘要】
基于时空兴趣点降噪的监控视频异常事件检测方法
本专利技术涉及一种监控视频异常事件检测方法，特别涉及一个基于时空兴趣点降噪的监控视频异常事件检测方法。
技术介绍
随着计算机科学技术的发展，利用图像处理、计算机视觉、机器学习等技术可以突破传统视频监控系统的局限性，实现对视频监控系统的视频智能分析和异常事件的主动检测、实时预警，对于公共安全领域的视频监控应用有重要价值。监控视频中异常事件检测方法主要分为四个基本步骤：图像预处理、基本事件表示、构建异常检测模型和判断异常事件。其中基本事件表示主要分为基于低级视觉特征的事件表示和基于高级语义特征的事件表示。基于低级视觉特征进行事件表示的做法一般是从用重叠、非重叠或者时空兴趣点的方式将视频体分割成小的视频块，把视频块看作基本的事件，从视频块中提取低级视觉特征对基本事件进行表示。目前，使用较多的低级视觉特征有光流、梯度、纹理等。基于高级语义特征的事件表示主要是需要对数据进行复杂的模式处理，如目标时空轨迹、社会力等方法。常见的异常事件检测模型主要有：基于分类的异常事件检测模型、基于最近邻的异常事件检测模型、基于聚类的异常事件检测模型、基于统计的异常事件检测模型、基于信息理论的异常事件检测模型等。虽然监控视频下异常事件检测方法多种多样，但是多数的异常事件检测方法缺乏对全局异常的考虑，不能对多个事件的交互方式是否正常作出判断。文献《VideoanomalydetectionandlocalizationusinghierarchicalfeaturerepresentationandGaussianprocessregression》【KWCheng、IEEETransactionsonImageProcessing】提出了检测局部和全局异常事件的检测方法，弥补了该方面的不足。该算法利用时空兴趣点作为低级特征表示局部事件，通过K均值聚类学习低级码本，通过KNN距离与阈值的比较判断局部异常事件；利用多个时空兴趣点构成的集合体作为高级特征表示全局事件，通过贪婪聚类算法学习高级码本并对码本中的每一项进行GPR建模，通过集合体与GPR模板的匹配程度判断全局异常事件。上述算法在检测异常事件上表现良好，但仍存在着以下问题：第一，时空兴趣点计算方法易受到动态背景噪声干扰。算法中时空兴趣点能筛选出视频中的动态区域，但是无法区分动态背景和运动前景，对于存在光照变化或者相机抖动的视频，时空兴趣点的方法会将动态背景划入异常分析范围，造成时间和空间的浪费；第二，该算法使用GPR模型对全局事件进行建模，计算复杂度高，检测过程耗时多，其中80％的处理时间消耗在GPR模型的计算上，导致检测模型计算时间性能较差。
技术实现思路
针对上述问题，本专利技术公开了一种基于时空兴趣点降噪的监控视频异常事件检测方法。该方法利用前景掩码方法实现时空兴趣点筛选，对时空兴趣点进行降噪处理，并采用最小二乘法对全局事件进行建模。与已有方法相比，该算法既保证了异常事件检测准确率，同时提升了检测速度。本专利技术解决其技术问题采用的技术方案步骤如下：基于时空兴趣点降噪的监控视频异常事件检测方法，采用以下步骤实现：步骤S101：图像预处理。读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理。步骤S102：时空兴趣点降噪。对降噪后的视频提取时空兴趣点并利用ViBe算法(VisualBackgroundExtractor)计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪。步骤S103：局部事件表示。计算关于降噪后的时空兴趣点HOG3D特征作为低级特征表示局部事件。步骤S104：局部检测模型构建。对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值。步骤S105：局部异常事件判断。计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件。步骤S106：全局事件表示。通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体表示全局事件。步骤S107：建立全局事件模板。通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板。步骤S108：全局检测模型构建。利用最小二乘模型对每个全局事件的模板建模。步骤S109：全局异常事件判断。寻找与测试集合体最匹配的模型，计算集合体中每个兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。本专利技术的有益效果：1.本专利技术在时空兴趣点降噪阶段，使用了前景掩码对时空兴趣点筛选的降噪方法，对于存在光照变化或者相机抖动的视频有很好的降噪效果。本专利技术增加了对时空兴趣点的降噪处理，将异常的分析区域严格限制在最小的范围，降低了时间和空间的消耗。2.本专利技术在构建全局检测模型阶段，使用最小二乘法来对全局事件的模板建模，在保证较好的检测效果的同时大大提升了检测速度。本专利技术改进了原有的高斯过程回归建立全局检测模型的方法，减少了检测过程中的时间消耗。附图说明图1为本专利技术进行监控视频下的异常事件检测的流程图；图2为基于低级特征的局部异常检测框架图；图3为基于高级特征的全局异常检测框架图；图4为ViBe算法前景掩码计算流程图；图5为视频帧时空兴趣点的效果图和掩码图；图6为视频帧前景提取后的效果图和掩码图；图7为视频帧通过前景掩码过滤时空兴趣点的效果图和掩码图；图8为HOG3D特征计算过程示意图；图9为时空兴趣点特征K均值聚类算法流程图；图10为全局事件表示过程图；图11为集合体相似度计算示意图；图12为集合体贪婪聚类算法流程图；图13为构建全局检测模型流程图；图14为全局异常事件判断流程图；图15为本专利技术局部异常事件检测结果图；图16为本专利技术全局异常事件检测结果图。具体实施方式下面结合附图，对本专利技术的具体实施方案作进一步详细描述。参见图1，其具体步骤描述如下：步骤S101：图像预处理。对输入的视频帧进行灰度化并使用高斯滤波进行降噪处理。高斯滤波降噪处理的具体操作如下：用一个3×3的高斯卷积扫描视频帧中的每一个像素，用该卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值。步骤S102：时空兴趣点降噪。本专利技术中利用前景掩码对时空兴趣点筛选的方法对时空兴趣点进行降噪，该过程包含了两个子过程：(1)时空兴趣点的计算时空兴趣点STIPi的计算方法是对图像的每个像素点计算响应值函数R，时空兴趣点STIPi就是响应值函数R的局部极大值对应的像素点，其结果如图5所示。本专利技术中的时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器。用I表示当前的视频帧，用g表示高斯内核，用hev和hσd表示一维伽柏正交对，则函数响应函数如下：R＝(I×g×hev)2+(I×g×hσd)公式(1)(2)降噪后的时空兴趣点本专利技术使用前景掩码对时空兴趣点STIPi进行筛选来降低噪声。首先我们用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，参见图4，每个位于(x,y,t)的像素点是否为前景的具体过程如下：步骤S401：当t＝1时，初始化像素点(x,y,t)的模型。从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,本文档来自技高网...

【技术保护点】
基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于该方法包括以下步骤：步骤S101、图像预处理：读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理；步骤S102、时空兴趣点降噪：对降噪后的视频提取时空兴趣点并利用ViBe算法计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪；步骤S103、局部事件表示：计算关于降噪后的时空兴趣点HOG3D特征，用HOG3D特征作为低级特征表示局部事件；步骤S104、局部检测模型构建：对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值；步骤S105、局部异常事件判断：计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件；步骤S106、全局事件表示：通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体作为高级特征表示全局事件；步骤S107、建立全局事件模板：通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板；步骤S108、全局检测模型构建：利用最小二乘模型对每个全局事件的模板建模；步骤S109、全局异常事件判断：寻找与测试集合体最匹配的模型，计算集合体中每个时空兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。...

【技术特征摘要】
1.基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于该方法包括以下步骤：步骤S101、图像预处理：读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理；步骤S102、时空兴趣点降噪：对降噪后的视频提取时空兴趣点并利用ViBe算法计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪；步骤S103、局部事件表示：计算关于降噪后的时空兴趣点HOG3D特征，用HOG3D特征作为低级特征表示局部事件；步骤S104、局部检测模型构建：对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值；步骤S105、局部异常事件判断：计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件；步骤S106、全局事件表示：通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体作为高级特征表示全局事件；步骤S107、建立全局事件模板：通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板；步骤S108、全局检测模型构建：利用最小二乘模型对每个全局事件的模板建模；步骤S109、全局异常事件判断：寻找与测试集合体最匹配的模型，计算集合体中每个时空兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。2.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S102具体是：(1)时空兴趣点的计算对图像的每个像素点计算响应值函数R，时空兴趣点STIPi就是响应值函数R的局部极大值对应的像素点；其中时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器；用I表示当前的视频帧，用g表示高斯内核，用hev和hσd表示一维伽柏正交对，则函数响应函数如下：R＝(I×g×hev)2+(I×g×hσd)公式(1)(2)降噪后的时空兴趣点用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，参见图4，每个位于(x,y,t)的像素点是否为前景的具体过程如下：步骤S401、当t＝1时，初始化像素点(x,y,t)的模型；从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p1,p2,...,pz}(x,y,t)，该样本集可构成该像素点的灰度值模型；步骤S402、t＝t+1，读取下一帧的新像素点，转至步骤S403，如果没有新的像素点，算法结束；步骤S403、阈值判断；将{p1,p2,...,pz}(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体SR(p(x,y,t))范围内的灰度值进行对比；灰度值p(x,y,t)周围球体SR(p(x,y,t))与灰度值样本集{p1,p2,...,pz}(x,y,t-1)交集的势用符号#{SR(p(x,y,t)∩{p1,p2,...,pz}(x,y,t-1)}表示，最小阈值用#min表示，如果#{SR(pt(x)∩{p1,p2,...,pz})}＞#min，转至步骤S404；否则，转至步骤S405；步骤S404、判断(x,y,t)为背景像素点，设置像素点(x,y,t)的掩码mask＝0，更新当前像素点前景计数count＝0，该像素点有的概率更新自身样本集，该像素点有的概率更新邻居的样本集；转至步骤S402；步骤S405、判断(x,y,t)为前景像素点，设置像素点(x,y,t)的掩码mask＝1，更新当前像素点前景计数count＝count+1；步骤S406、如果连续多帧被判为前景，即像素点前景计数大于前景计数阈值count＞Tfore(Tfore为经验值)，转至步骤S407，否则转至S402；步骤S407、该像素点有的概率更新自身样本集，转至步骤S402。3.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S103具体是：步骤S801、将时空兴趣点STIPi的局部区域rs划分成M×M×N个直方图单元celli；步骤S802、将直方图单元celli划分成S×S×S个小块blocki；步骤S803、求取小块blocki的平均梯度对于给定视频序列v(x,y,t)，关于x,y,t的偏微分用表示；那么的积分视频可以表示为：关于和的积分视频以此类推；设小块blocki的长宽和时间维度大小分别为w,h,l，开始坐标为(x,y,t)，那么blocki关于x方向的平均梯度计算公式为：关于y和t方向平均梯度公式以此类推，最终得到每个小块blocki关于x,y,t方向的平均梯度：步骤S804、将小块blocki的平均梯度投票到直方图，求取投票向量qb；设正二十面体每个面的中心向量为pi＝(xi,yi,ti)T，中心向量的集合为P＝(p1,p2,...,pn)T，黄金比例值为那么pi分别为设梯度向量在某个面上的中心向量上的投影大小为qbi，那么可以根据下式计算：为了保证每个梯度向量只能投票到直方图中的一个维度中，设置一个中心向量到另一个中心的投影为阈值，即t＝piT·pj公式(7)投影向量qb中每一维的值均减去阈值t，若减去之后小于0则设置为0，否则保持不变；将所得到的向量记为q′b，q′b中有且只有一个维度的值是大于0的；最后将q′b归一化乘以梯度向量的大小得到最终的投票向量qb了，共20维；步骤S805、将直方图单元celli内的小块blocki的投票qb向量累加得到直方图单元celli的向量hc，向量hc共20维，计算公式如下：步骤S806、将多个直方图单元celli的向量hc串联起来，构成时空兴趣点STIPi的HOG3D特征di，描述符的维度为20×M×M×N维；。4.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S104具体是首先对时空兴趣点向量di进行聚类，训练样本Φ中存在Nd个时空兴趣点特征向量di，聚类过程如下：步骤S901、随机初始化：将训练样本Φ中所有的特征向量di随机划分到NC个聚类样本子集Φm中，Nm为第m个样本子集Φm中特征向量的总个数，dn为样本子集Φm中第n个特征向量；训练数据的初级码本C由NC个初级码本项cm构成，即初级码本项cm是对应的样本子集Φm的聚类中心，计算公式如下：计算当前状态下的准则函数，其中，||dn-cm||2表示向量dn与初级码本项cm之间的欧氏距离；步骤S902、从训练样本Φ中随机选取一个特征向量di，假设当前状态下特征向量di位于第j个样本子集Φj，其中1≤j≤NC；步骤S903、判断样本子集Φj是否只...

【专利技术属性】
技术研发人员：徐向华，郭倩如，李平，张灵均，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33