基于运动注意力融合模型的运动目标检测与提取方法技术

本发明专利技术涉及基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、中值滤波、边缘检测，实现全局运动场景下运动目标的精确提取。针对目前全局运动场景下目标检测与提取的局限性，采用了时-空运动注意力融合模型、去噪技术、图像滤波技术和边缘跟踪检测技术。根据多个全局运动视频场景的测试结果显示该算法比同类其它算法准确性高、复杂度低，运算量少、实时性强。

【技术实现步骤摘要】
基于运动注意力融合模型的运动目标检测与提取方法
本专利技术属于视频图像检测
，涉及一种基于运动注意力融合模型的运动目标检测与提取方法。
技术介绍
运动目标的检测与提取一直是视频分析领域中的研究热点，具有广泛的应用价值。运动目标检测与提取大致可分为两类：一类是在镜头静止不动时，即局部运动场景下，另一类是在镜头运动时，即全局运动场景下。对于局部运动场景下的运动目标检测方法比较成熟，但在全局运动场景下，由于运动信息的复杂性，运动目标的检测与提取一直以来都是个具有难度的问题。视频运动目标检测算法主要是依据时空信息进行的，即纹理信息，颜色信息和运动信息，在局部运动场景下，典型的方法有帧间差异的算法和背景重构的方法，帧间差异的方法是通过检测图像帧上的变化特征与不变特征，以将运动目标与静止背景进行分离，而背景重构方法的主要思想是预先重构不含前景运动目标的背景图像,然后将当前帧与该背景图像相减进行目标的检测。对于全局运动场景下的运动目标检测与提取问题，其难点在于视频运动特征的表现是由全局运动和局部运动叠加的结果，目前唯一最有效的方法是基于运动补偿的检测算法，其主要思路是用六参数的运动模型进行全局运动估计，采用递归最小二乘法计算模型参数，然后通过运动补偿求解运动目标与背景之间的相对运动，最终获得目标所在区域。由于运动参数模型运算过程比较复杂，同时模型估计的精确性受到运动目标大小和运动复杂性的影响，因此在目标面积相对较大或视频运动较为复杂的情况下，这种方法的准确性和实时性并不能得到有效保障。在近些年的视觉技术研究中，视觉感知逐渐融入了人类生理和心理的研究成果，这些研究成果对计算机视觉技术的发展起到了很大的推动作用。研究表明人类视觉过程表现为一个自底向上(bottom-up)和自顶向下(top-down)相结合的过程，自底向上的过程属于早期视觉，它与图像具体内容无关，取决于构成图像的元素自身引起的视觉反差，反差越大的区域就越容易吸引起视觉系统的注意力。在2002年，Itti和Koch等人首次提出了注意力区域的概念，这一概念首次引入了人类视觉对图像观察本身的特性，它先对输入的图像进行线性滤波，提取出亮度(Intensity)、颜色(Color)、和方向(Orientation)这些低层次的图像特征，然后通过高斯金字塔和Center-surround算子进行局部视觉反差的计算，反差大的区域就代表容易吸引视觉注意力的区域，此后再对不同尺度和不同的特征下的反差计算结构进行融合，得到综合视觉显著图。在此基础上，MaYufei等人在分析运动矢量的基础上提出了一种运动注意力模型，该模型考虑了运动矢量的能量以及空间和时间相关性进行运动注意力的分析。Guironnet和Zhai等人在2005年提出了基于时空信息的注意力模型，对静止目标和运动目标的模型进行了融合。JingZhang和Seung-HyunLee等人把注意力区域的提取应用在静止图像的目标分割问题上,并取得了一定的效果。JunweiHan等人则运用注意力模型对视频对象进行分割，其方法是首先进行全局运动补偿，然后对动态注意力和静态注意力进行融合得到最终结果，但这种方法仅限于局部运动场景。
技术实现思路
本专利技术的目的是提供一种基于运动注意力融合模型的运动目标检测与提取方法，能够快速、准确、实时的完成对视频图像在全局运动场景下运动目标的检测和提取。本专利技术所采用的技术方案是，基于运动注意力融合模型的运动目标检测与提取方法，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、边缘检测，实现全局运动场景下运动目标的精确提取；该方法按以下步骤进行，步骤1、根据光流方程对运动矢量场进行估计后，进行叠加和滤波两个预处理；步骤2、在上步得到运动矢量场基础上构建运动注意力融合模型对运动目标区域进行初步确定，具体为：a.定义时间注意力因子采用时间上临近运动矢量差值衡量运动矢量相关性程度定义时间运动注意力因子为和分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量；b.定义空间注意力因子采用八邻域内的运动矢量均值与该运动矢量的差值来衡量局部运动相关性程度，设MBk,i,j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Sk,i,j表示包含宏块MBk,i,j及其相邻宏块的集合；那么定义的空间运动注意力因子为：代表在k帧中坐标位置为(i,j)的运动矢量，其中c.定义时-空注意力融合模型根据步骤a与步骤b中时间运动注意力因子和空间运动注意力因子定义运动注意力模型为时间和空间注意力因子的线性融合模型：其中，α、β为正值的系数，式中·代表矢量的点积，其中δ为正值；d.确定运动目标区域对运动宏块MBk,i,j的注意力取时间上邻近的平均：然后根据公式判断运动宏块MBk,i,j是否属于目标区域TR，式中：n为大于零的整数，T代表为正数的判断阈值，MBk,i,j为对应的像素宏块；步骤3、对步骤2中运动目标区域采用闭运算，在不改变原来目标的面积同时消除目标区域的内部空洞，获得更为精确地目标区域。本专利技术的特点还在于，步骤1中对运动矢量场处理的具体方法为：设图像在像素r＝(x,y)T处，t时刻的强度记为I(r,t)，通过光流方程求出i表示宏块的横坐标，j表示宏块的纵坐标，其中宏块的中心坐标为(i,j)，设当前帧为第k帧，第k帧对应的运动矢量表示为第k帧与前后帧的宏块进行运动矢量进行叠加，按公式计算，同时运动矢量在叠加后采用中值滤波进行去除噪声干扰处理，即对于每一个非零运动矢量，用相邻的运动矢量中值代替其值，得到滤波后的运动矢量步骤3中对运动目标区域采用闭运算，在不改变原来目标的面积同时消除目标区域的内部空洞，获得精确的边缘轮廓的具体方法为：i)用Canny算子得到粗分割区域的纹理边缘二值图；ii)任意选择一个边缘像素块的中心点作为边缘跟踪的起始跟踪点，以该点指向相邻的边缘像素块中心点的方向作为起始跟踪方向；如果存在两个相邻块，则分别执行以下步骤；iii)判断在该点周围的8个像素点是否为边缘像素点，如果存在边缘像素点，选择最接近跟踪方向的像素点为边缘点，如果不存在边缘点那么确定跟踪方向的像素点为边缘点；iV)以步骤iii)中确定的边缘点为新的跟踪点，以该点指向下一个相邻的边缘像素块中心点的方向作为新的跟踪方向，重新执行步骤iii)，当下一个相邻块已经处于图像边界并且没有相邻的其它像素块，那么结束该操作，得到精确的目标轮廓，再对轮廓内部完全填充，最终得到精确化的运动目标区域。本专利技术的有益效果是：1)基于运动注意力融合模型，运算过程简单，实时性有效提高。2)采用光流方程对视频帧估计得到运动矢量场后进行叠加和滤波处理，得到稠密规整的运动矢量场且有效抑制了视频信号中的噪声。3)定义运动注意力融合模型时在时间与空间注意力因子线性组合的基础上，增加了时-空对注意力影响的偏置，合理反映出时间与空间注意力影响对比的变化，比较符合客观事实。4)对根据上述模型估计出的运动宏块注意力取时间上临近的平均，大大降低了干扰和估算的不准确性。5)对运动目标区域采取了闭运算，在不改变运动目标面积的前提下，有效地填充了运动目标内部的空洞。6)通过Canny算子得到运动目标区域本文档来自技高网...

【技术保护点】
基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时?空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、中值滤波、边缘检测，实现全局运动场景下运动目标的精确提取。

【技术特征摘要】
1.基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、边缘检测，实现全局运动场景下运动目标的精确提取；该方法按以下步骤进行，步骤1、根据光流方程对运动矢量场进行估计后，进行叠加和滤波两个预处理；步骤2、在上步得到运动矢量场基础上构建运动注意力融合模型对运动目标区域进行初步确定，具体为：a.定义时间注意力因子采用时间上临近运动矢量差值衡量运动矢量相关性程度定义时间运动注意力因子为和分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量；b.定义空间注意力因子采用八邻域内的运动矢量均值与该运动矢量的差值来衡量局部运动相关性程度，设MBk,i,j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Sk,i,j表示包含宏块MBk,i,j及其相邻宏块的集合；那么定义的空间运动注意力因子为：代表在k帧中坐标位置为(i,j)的运动矢量，其中c.定义时-空注意力融合模型根据步骤a与步骤b中时间运动注意力因子和空间运动注意力因子定义运动注意力模型为时间和空间注意力因子的线性融合模型：其中，α、β为正值的系数，式中·代表矢量的点积，其中δ为正值；d.确定运动目标区域对运动宏块MBk,i,j的注意力取时间上邻近的平均：然后根据公式判断运动宏块MBk,i,j是否属于目标区域TR，式中：n为大于零的整数，T代表为正数的判断阈值，MBk,i,j为对应的像素宏块；步骤3、对步骤2中运动目标区域采用闭运算，在不改...

【专利技术属性】
技术研发人员：刘龙，樊波阳，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：