一种基于加速度运动特征描述子的群体异常行为检测方法技术

本发明专利技术公开了一种基于加速度运动特征描述子的群体异常行为检测方法，涉及智能视频监控、异常行为检测等领域。首先通过图像中的光流信息计算加速度光流信息，然后按时空块构建加速度光流特征描述子，将t帧图像的所有时空块加速度特征描述子级联以描述所有区域中的运动信息。采用仅包含正常行为的训练集建立高斯伯努利受限玻尔兹曼机模型，用最大期望算法求取模型参数；检测阶段通过重建特征与原始特征的误差大小是否超过预设门限值来完成异常行为检测。该方法不仅能适用于普通场景的监控视频，更能适用于人群较为密集的大型公共场所的监控视频。

【技术实现步骤摘要】
一种基于加速度运动特征描述子的群体异常行为检测方法
本专利技术涉及视频智能监控领域中的异常行为检测问题，尤其是涉及一种基于加速度光流信息构建的运动特征描述子，使用高斯伯努利受限玻尔兹曼机模型的群体异常行为检测方法。
技术介绍
传统的视频监控系统主要依赖于数名工作人员同时观察多台监控设备，实时判断画面中是否出现紧急情况。随着平安城市的建设，大量铺设的摄像头将耗费更多的人力资源，因此智能化分析监控摄像头视频内容变得非常重要。其中，判断监控视频中人群行为是否出现异常，是视频内容智能化分析一项重要的内容。所谓异常事件是指行人个体或群体做出与当前场景下一般行为不同的或者发生与所处环境不相容的动作行为。异常行为一般发生次数较少，发生频率较低。在公共场所中具体包括非法入侵、车辆逆行、人群聚集逃离、打架斗殴、人群骚乱等。对于监控视频的异常行为检测，学者们从不同的角度出发研究了许多不同的算法。视频中异常行为检测，通常将其作为典型分类问题。训练集中包含部分正常视频及部分异常视频，对其中的异常视频进行时间及空间上的标注，在此基础上进行分类器的训练。随后对测试集中视频内容，分类器做出正常异常的判断。这一类方法需要大量标注清晰的正常异常视频，人工成本高，获取困难。另外一种研究思路是使用离群点检测来实现异常行为检测。根据正常行为视频数据构建一个正常行为特征所在的子空间，当测试集中的行为特征落入之前构建的子空间中，则认为是正常行为，否则认为是离群点，判定为异常行为。这类方法仅仅需要正常行为视频作为训练集，数据量大，标注容易，易于实现。
技术实现思路
本专利技术提出了一种基于加速度运动特征描述子的群体异常行为检测方法，首先进行加速度光流的提取，然后对提取到的加速度光流构建运动特征描述子基于夹角的加速度直方图HAVA(Histogramofanglebetweenvelocityandacceleration)，将HAVA与光流直方图HOF(Histogramofopticalflow)级联，利用高斯伯努利受限玻尔兹曼机建立正常行为的模式，通过判断测试数据的重建误差完成异常行为检测。本专利技术通过以下技术方案来实现上述目的：(1)提取两帧图像间的稠密光流。(2)根据稠密光流计算视频图像的加速度光流。(3)将整幅加速度光流图划分到网格状的矩形块中，对每一个矩形块的加速度光流构建一个加速度描述子，将所有矩形块的加速度描述子堆叠得到描述该幅图的加速度新的描述子，将描述子与HOF级联。(4)用训练视频集中加速度特征建立受限玻尔兹曼机模型。在测试阶段，利用已建立的受限玻尔兹曼机模型根据重建特征误差大小检测人群行为是否异常。附图说明图1一种基于加速度运动特征描述子的群体异常行为检测方法框架图；具体实施方式下面结合附图对本专利技术作进一步说明：计算光流及加速度光流的具体方法如下：本专利技术采用Horn-Schunck光流法提取对图像的每一个像素计算光流值。像素点(x,y)的的亮度值为E(x,y)，(u,v)为Horn-Schunck光流法计算得到的光流矢量，(a,g)为加速度矢量。光流约束方程为:uEx+vEy+Et＝0(1)式(1)对时间求偏导可得到光流加速度约束方程：其中ax，ay，gx,gy分别是a,g对x，y的偏导。因此计算光流加速度的问题转换为如何根据光流加速度约束条件(ξac)和平滑约束条件(ξsc)来求解光流加速度约束方程中最小误差ξ。最小误差求解公式为：其中，根据变分法求解式(3)中最小误差，如下式：其中Ext,Eyt,Ett分别是Ex,Ey,Et对t的偏导。a、g的离散拉普拉斯近似解可以根据下式求解：其中，加速度描述子构建具体方法如下：首先，视频按照m×n的网格在空域上划分为多个大小相同的矩形网状空间块，同时将连续t帧视频中子区域对应位置相同的空间块拼接为一个完整的时空块。随后对各时空块中所有像素点计算稠密光流图谱和加速度光流。其中第t帧中的点(x,y)，其光流加速度水平方向和垂直方向上的分量分别为和则该点的光流加速度矢量为光流矢量为加速度光流的强度及其与光流矢量的夹角分别定义如下：对位于同一时空块的所有像素点进行直方图统计。首先，直方图设置为k箱，即将夹角θAV映射为k个区间：χ＝{χ1,χ2,...,χk}(15)其中，然后以加速度强度大小|OA|作为直方图分箱投票权重，计算得到加速度光流直方图HAVA，如式(17)所示：hi＝{∑|OA|,θAV∈χi},i＝1,2,...,k(17)最后，将这t帧中所有m×n个子空间块加速度信息直方图按固定顺序堆叠起来，获得一个更高维的特征矢量。这样就将t帧视频图像中包含的运动信息表征为一个m×n×k维的特征矢量。最后将该加速度描述子与HOF描述子级联，构成能够描述视频图像中全部运动信息的描述子。建立玻尔兹曼机异常行为检测模型过程如下：高斯伯努利受限玻尔兹曼机GBRBM(Gaussian-BernoulliRestrictedBoltzmannMachine)是受限玻尔兹曼机RBM(RestrictedBoltzmannMachine)的一种变体。假设GBRBM有m个可见节点和n个隐藏节点h＝{h1,h2,...,hn}∈{0,1}n。模型的参数包括可见层的偏置矩阵与隐藏层偏置矩阵以及权重矩阵权重矩阵W中的元素wij表示可见单元vi与隐藏单元hj之间的连接权重。参数集合ψ＝{b,c,W}可得到一个确定的RBM。GBRBM是一类基于能量的模型，其能量定义如下：根据RBM二分图结构特点，可以计算其条件概率分布p(v|h)以及p(h|v)。由于RBM层内单元无连接特点，即处于同一层的神经单元相对于另一层神经元条件独立。针对两层神经元的RBM，当给定可见层单元状态时，隐藏层单元是否激活是条件独立；反之，当给定隐藏层单元状态时，可见层单元是否激活也条件独立。公式如下：可见层单元和隐层单元条件概率分布如下：其中N(·|μ,σ2)代表均值为μ、标准差为σ的高斯概率密度函数。f(x)为sigmoid激活函数。RBM是一种基于能量的模型，其学习过程主要为寻找一组参数使得网络能量最小化。对比散度算法(ContrastiveDivergence,CD)是一种非常成功的RBM训练算法。对训练样本集中每一个样本v,首先根据式(20)计算得到隐层神经元状态的概率分布，再对这个概率分布通过Gibbs采样得到h，类似地根据式(19)从h中产生v'，在根据v'产生h'，最终得到连接权重的更新公式如式(23)Δw＝η(vhT-v'h'T)(23)异常行为检测具体方法下：整个过程分为训练阶段和测试阶段。训练阶段通过获取训练集中所有视频运动特征，构建得到一个正常行为的GBRBM模型。在测试阶段，根据模型重建测试数据误差的大小来判断是否发生异常。其中利用受限玻尔兹曼机进行异常行为检测是一种无监督方法，不需要任何先验知识来对异常行为做标签。首先使用正常行为的视频数据构建训练集，GBRBM模型学习其正常行为的模式，得到一组最优化参数然后将待测视频的特征矢量送入GBRBM模型，可以在隐藏层获得该特征新的表达形式其中表达式如下：随后将隐藏层矢量映射到可见层，得到输入的重建数据其中表达式如下：由于RBM良好的因式分解特性，上述前向传播和后向传播过程计本文档来自技高网...

【技术保护点】
1.一种基于加速度运动特征描述子的群体异常行为检测方法，其特点在于包括以下步骤：(1)提取视频图像中运动个体加速度光流信息；(2)根据图像中的加速度光流信息构建一种新的加速度运动特征描述子；(3)按照步骤(2)提取训练视频集的加速度运动特征，并在此特征集合上建立高斯伯努利受限玻尔兹曼机模型，在测试阶段，提取测试视频的加速度特征，使用此模型重建特征，根据重建特征与原始特征的误差大小进行异常行为检测。

【技术特征摘要】
1.一种基于加速度运动特征描述子的群体异常行为检测方法，其特点在于包括以下步骤：(1)提取视频图像中运动个体加速度光流信息；(2)根据图像中的加速度光流信息构建一种新的加速度运动特征描述子；(3)按照步骤(2)提取训练视频集的加速度运动特征，并在此特征集合上建立高斯伯努利受限玻尔兹曼机模型，在测试阶段，提取测试视频的加速度特征，使用此模型重建特征，根据重建特征与原始特征的误差大小进行异常行为检测。2.根据权利要求1所述的方法，其特点在于步骤(1)中计算图像中运动个体加速度光流，计算方法如下：像素点(x,y)的的亮度值为E(x,y)，(u,v)为Horn-Schunck光流法计算得到的光流矢量，(a,g)为加速度矢量，光流约束方程为:根据光流加速度约束条件(ξac)和平滑约束条件(ξsc)使用变分法来求解光流加速度约束方程中最小误差ξ:3.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：何小海，王昆仑，卿粼波，吴晓红，滕奇志，王正勇，刘文璨，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51