基于时空多尺度统计匹配模型的动作检测方法技术

本发明专利技术公开了一种基于时空多尺度统计匹配模型的动作检测方法，首先通过挖掘高斯差分LARK(GLARK)特征来编码局部内容相似性。这种特征可以很好地描述弱边缘的形状和走势，并提出了一种基于时空多尺度统计匹配的SMSM模型，平衡了局部小窗口GLARK结构和局部大窗口邻域结构之间的关系。其次，在SMSM模型中采用多尺度复合模板集，并对不同尺度大小的可变动作能够鲁棒检测。实验表明，本方法解决了背景干扰带来的弱边缘漏检问题，提升了多尺度匹配效率，能够准确地检测动作。

【技术实现步骤摘要】
基于时空多尺度统计匹配模型的动作检测方法
本专利技术属于视频目标检测识别领域，涉及一种基于时空多尺度统计匹配模型的动作检测方法。
技术介绍
在过去的20年中，级联分类和贝叶斯法则等方法逐渐被提了出来。为了确定分类器的参数，传统的目标检测方法需要大量的训练，这就造成了实时性差的问题。近年来，有人提出了一种新的无训练方法。2007年，H.Takeda提出了经典核回归来恢复图像的高频信息，这可以用来降噪。2009年，P.Milanfar研究出了自适应核回归的方法来去除噪声，提高图像的细节和目标检测。同年，H.J.Seo和P.Milanfar作出了进一步的努力，并提出了局部自适应回归核的方法，这是一种用于目标检测的非参数方法。几年后，H.J.Seo致力于从不同方面提高回归核的鲁棒性。其中，在2011年，H.J.Seo和P.Milanfar采用时空自适应局部回归核(3DLARK,3D即时空)。3DLARK可以很好地捕捉视频的局部结构特征。然而，H.J.Seo在中提出的匹配算法(以下简称为““Seo算法”)并不适用于非紧凑的目标，如人的动作。采用带背景的完整模板和测试视频相匹配，这限制测试视频场景的选择。识别精度依赖于模板与测试视频的背景相似度。只有当测试视频的背景与模板非常相似时，结果才能是令人满意的。相反，当视角改变或场景复杂时，结果总是令人失望。2007年，Wang通过方法模板图像并将其分割成多个部分来检测人脸。当中，模板只包含人脸，这给了一些去除背景的灵感。采用无背景模板来缓解场景限制。此外，当动作部分被场景遮挡时，那么完整模板的匹配也不能识别到它。因此，需要一种基于时空多尺度统计匹配模型的动作检测方法以解决上述问题。
技术实现思路
本专利技术的目的是针对现有技术的缺陷，提供一种基于时空多尺度统计匹配模型的动作检测方法。为实现上述专利技术目的，本专利技术基于时空多尺度统计匹配模型的动作检测方法可采用如下技术方案：一种基于时空多尺度统计匹配模型的动作检测方法，包括以下步骤：1)、构建新的局部GLARK特征；式中，K(·,·)为局部自适应回归核核值，l∈[1,…,P2]，P2是以感兴趣像素为中心的局部窗口中像素的总数；ΔXl＝[dx,dy]T，dx和dy分别表示空间图像表面x轴微分和y轴微分；式中，Ωl代表时空分析窗口，m∈Ωl，Zx(m)和Zy(m)分别为空间图像表面m处x轴和y轴高斯差分梯度矩阵，ZT(m)为m处时间维上的梯度；2)、根据步骤1)得到的局部GLARK特征得到模板视频序列和测试视频序列的特征矩阵FQ和特征矩阵FQ和分别包括列向量和计算列向量和夹角的余弦值，得到余弦相似性矩阵ρ3DGLK(:,:,k)：式中，k＝1,2,……,tT,ρij为列向量和夹角的余弦值，其中，i＝1,2,……,mT,j＝1,2,……,nT；3)、取余弦相似性矩阵ρ3DGLK(:,:,k)每一行的最大值，记录FQ中和这个最大值对应的列向量的位置，并记为索引矩阵indexGLK(:,k)：4)、选择一个P×P×T的局部窗口遍历indexGLK(:,k)矩阵，并记录窗口内不重复索引值的个数num。更进一步的，步骤4)中局部窗口的大小为P×P×T，其中，P为局部窗口的长度或宽度，T为局部窗口的时间尺度。更进一步的，步骤2)中模板视频序列中模板图像的大小分别为模板图像的0.5倍、1倍和1.5倍。这样就形成了包含三个模板序列的多尺度拼接模板集，多尺度模板集增加了对视频序列中尺度变化的动作完整检测的可能性，并且解除了LARK对待检测目标场景的限制。有益效果：本专利技术的基于时空多尺度统计匹配模型的动作检测方法，注重目标的局部结构信息，高斯差分子算子增强了局部弱边缘，解决了背景干扰带来的弱边缘漏检问题，特别是对有被遮挡的动作也能很好的检测到；时空统计匹配过程平衡了局部小窗口GLARK结构和局部大窗口邻域结构之间的关系，提升了多尺度匹配效率。附图说明图1是本专利技术方法原理图；图2是神经元细胞感受野图；图3是高斯核卷积；图4是帽子边缘GLARK特征图；图5是由相似度图到检测结果过程图；图6、图7和图8是多场景中本专利技术方法和Seo方法实验结果对比图。具体实施方式下面结合附图和具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。请参阅图1所示，本专利技术的基于时空多尺度统计匹配模型的动作检测方法，包括以下步骤：1)、构建新的局部GLARK特征；式中，K(·,·)为局部自适应回归核核值，l∈[1,…,P2]，P2是以感兴趣像素为中心的局部窗口中像素的总数；ΔXl＝[dx,dy]T，dx和dy分别表示空间图像表面x轴微分和y轴微分；式中，Ωl代表时空分析窗口，m∈Ωl，Zx(m)和Zy(m)分别为空间图像表面m处x轴和y轴高斯差分梯度矩阵，ZT(m)为m处时间维上的梯度；2)、根据步骤1)得到的局部GLARK特征得到模板视频序列和测试视频序列的特征矩阵FQ和特征矩阵FQ和分别包括列向量和计算列向量和夹角的余弦值，得到余弦相似性矩阵ρ3DGLK(:,:,k)：式中，k＝1,2,……,tT,ρij为列向量和夹角的余弦值，其中，i＝1,2,……,mT,j＝1,2,……,nT；步骤2)中模板视频序列中模板图像的大小分别为模板图像的0.5倍、1倍和1.5倍。这样就形成了包含三个模板序列的多尺度拼接模板集，多尺度模板集增加了对视频序列中尺度变化的动作完整检测的可能性，并且解除了LARK对待检测目标场景的限制。3)、取余弦相似性矩阵ρ3DGLK(:,:,k)每一行的最大值，记录FQ中和这个最大值对应的列向量的位置，并记为索引矩阵indexGLK(:,k)：4)、选择一个P×P×T的局部窗口遍历indexGLK(:,k)矩阵，并记录窗口内不重复索引值的个数num。其中，步骤4)中局部窗口的大小为P×P×T，其中，P为局部窗口的长度或宽度，T为局部窗口的时间尺度。本专利技术的基于时空多尺度统计匹配模型的动作检测方法，注重目标的局部结构信息，高斯差分子算子增强了局部弱边缘，解决了背景干扰带来的弱边缘漏检问题，特别是对有被遮挡的动作也能很好的检测到；时空统计匹配过程平衡了局部小窗口GLARK结构和局部大窗口邻域结构之间的关系，提升了多尺度匹配效率。实施例1结合图1，本专利技术提出的基于时空多尺度统计匹配模型的动作检测方法的步骤如下：步骤一：构建新的局部GLARK特征。对于局部GALRK的问题，本专利技术首先分析传统LARK所存在的问题：传统局部自适应回归核定义公式如下。协方差矩阵Cl是根据图像简单地梯度信息计算得来的。事实上，很难用简单的梯度去描述目标的具体的结构特征。更糟糕的是，当目标边缘的对比度比较小时，Seo算法很容易忽略目标的弱边缘。因此会造成漏检。为了弥补这一缺陷，本专利技术充分挖掘LARK特征，引入高斯差分(DOG)算子，生成一个新的GLARK特征描述子来增强弱边缘的结构信息。这个高斯差分算子主要是由图2中的神经元感受野启发而来(经典感受野具有中央和周围区域相互拮抗的结构，非经典感受野是经典感受野之外的较大区域，它消除了对经典感觉野的抑制)。传统高斯核算本文档来自技高网...

【技术保护点】
一种基于时空多尺度统计匹配模型的动作检测方法，其特征在于：包括以下步骤：1)、构建新的局部GLARK特征；

【技术特征摘要】
1.一种基于时空多尺度统计匹配模型的动作检测方法，其特征在于：包括以下步骤：1)、构建新的局部GLARK特征；式中，K(·,·)为局部自适应回归核核值，l∈[1,...,P2]，P2是以感兴趣像素为中心的局部窗口中像素的总数；ΔXl＝[dx,dy]T，dx和dy分别表示空间图像表面x轴微分和y轴微分；式中，Ωl代表时空分析窗口，m∈Ωl，Zx(m)和Zy(m)分别为空间图像表面m处x轴和y轴高斯差分梯度矩阵，ZT(m)为m处时间维上的梯度；2)、根据步骤1)得到的局部GLARK特征得到模板视频序列和测试视频序列的特征矩阵FQ和特征矩阵...

【专利技术属性】
技术研发人员：柏连发，朱均炜，韩静，张毅，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32