一种基于运动颜色关联的视频图像显著性检测方法技术

本发明专利技术公开了一种基于运动颜色关联的视频图像显著性检测方法，包括：获得视频图像的静态显著性图；提取场景的光流向量场；对光流向量场进行初步分类并抛弃最大分类区块；将视频图像从RGB颜色空间转换到HSV颜色空间；根据HSV颜色空间H分量中对应颜色在输入图像中出现的频率，生成颜色直方图；针对光流向量场有效分类区块中的每个向量，将其范数投射到颜色直方图的相应区间中去，得到每个颜色区间的运动尺度变量；得到每种颜色的运动显著性值并投影到原图像生成运动显著性图；将运动显著性图与静态显著性图相加得到最终显著性图。本发明专利技术的方法可以有效地将运动特征纳入显著性考虑范围，在现有的运动视频测试集上能取得优于传统方法的结果。

【技术实现步骤摘要】

本专利技术属于视频图像处理
，具体涉及一种视频图像显著性检测方法。
技术介绍
从复杂的场景中识别出重要的目标是人类视觉神经系统的一项基础功能。例如，在驾车时交通信号灯能引起人眼注意，蓝天上飞过的飞机能引起人眼的注意，夜间海平面上的灯塔能引起人眼的注意。依赖这项功能我们可以将注意力集中于关键部位以达到更好的分析效果。显著性检测是使计算机系统能模仿人眼的注意力机制，通过相应的计算过程，将视频图像中的重要部分凸显出来，是一个“发现”的过程。利用显著性检测的结果，可以优先分配各种紧缺资源，例如在较小的手机显示屏幕上显示较大的图片，可以优先显示其重要的部分；在计算资源不足时，可优先对显著部分进行识别、跟踪等计算。显著性检测的最终结果是生成显著性映射图像(Saliency map)，也称显著性图。显著性图是一种概率分布的描述图，图中越亮的部分概率值越大，也即该像素的显著性越大。显著性图可以应用于计算机视觉的各个领域，如自适应压缩，图像分割，图像检索，目标识别等，也可以用于交通管理，安防监控，机器人环境感知等实时场景。Itti等西方学者于1998年提出了基于视觉注意机制的快速场景分析模型，首次将显著性的概念纳入了机器视觉领域。此后，针对静止图像的静态显著性检测方法蓬勃发展起来。静态显著性由颜色、边缘、梯度、形状等图像属性综合作用而成，具有独特性、不可预测性及奇异性，其感知机理与视觉神经紧密联系。Achanta等人于2009年提出频域调整显著性区域分析方法，该方法从频域分析角度出发，使用颜色和光照信息来获得中心周围对比度，进而得到显著性映射结果。Cheng等于2011年提出了基于全局对比度的显著性区域检测方法，该方法利用输入图像的颜色统计特征进行直方图对比从而得到显著性目标，此方法还可进一步按空间距离进行加权得到区域对比度检测方法。静态显著性检测方法目前已经比较成熟，对于视频图像的静态显著性检测，其静态显著性图可以通过各种成熟的检测方法获得。中国专利文献201010623832. O公开了一种基于显著性特征的目标识别方法，该方法通过分析目标的几何特征来得到显著性值；中国专利文献201110335538. 4公开了一种显著性物体快速检测方法，该方法通过小波变换和中心-周边直方图算法来获得显著性信息上述静态显著性检测方法仅依赖图像的颜色或对比度特征等信息进行分析，能较好地处理前、背景颜色对比分明的静态单幅图像，但对于拥有复杂的运动场景的连续视频图像，特别是前景运动目标与背景颜色较为相似的视频图像，常常无法得到正确的结果。此夕卜，人眼对于运动的物体具有更高的关注度，而只考虑颜色等静态特征的分析方法在处理视频时往往不能得到客观公正的结果。因此，通过对视频中目标进行运动特征的分析，可以大大提高视频显著性分析的正确性。出于这样的考虑，出现了针对视频的动态显著性检测方法。Wixson等人于2000年提出方向恒定流检测方法，但其假定目标沿直线运动的约束，难以适应于大多数应用场景。Mahadevan等人于2010年提出中心环绕时空显著性检测方法，它的结果强烈依赖于检测窗口的大小，并且对较大的前景物体容易产生检测失效。Gopalakrishnan于2012年提出线性动态轮廓的运动显著性检测方法,该方法仅能感知目标的大体位置，不能生成完整的轮廓，精确度较差。
技术实现思路
本专利技术的目的在于提供，其能克服相机抖动带来的干扰使得视频场景中运动的重要物体能被有效地凸显出来，从而得到显著性映射图，为进一步的跟踪监控或是视频压缩提供基础。为解决上述技术问题，本专利技术提供了，包括以下步骤 S1:根据静态显著性检测方法获得视频图像的静态显著性图；S2:根据连续的视频帧提取场景的光流向量场；S3:通过聚类方法对光流向量场进行初步分类并抛弃最大分类区块；S4:将视频图像从RGB颜色空间转换到HSV颜色空间；S5:根据HSV颜色空间H分量中对应颜色在输入图像中出现的频率，生成颜色直方图；S6:针对光流向量场有效分类区块中的每个向量，根据其所在像素点的颜色将其范数投射到颜色直方图的相应区间中去，得到每个颜色区间的运动尺度变量；S7:通过规范化运动尺度变量，得到每种颜色的运动显著性值并投影到原图像生成运动显著性图。S8:运动显著性图与静态显著性图线性加权相加得到最终显著性图。其中，所述步骤S3中，通过聚类方法对光流向量场进行初步分类并抛弃最大分类区块。可采用现有任一成熟聚类方法实现。查找最大分类区块即查找向量个数最多的分类区块，这只需要对每个分类区块中的向量进行计数即可实现。找到最大分类区块后将其中的向量设为无效，因为这通常是由摄像机晃动带来的运动噪声，抛弃这些噪声可以提高下面步骤计算的准确性。而其他剩余分类区块中的向量均为有效向量，这些分类区块为有效分类区块。其中，所述步骤S5中，根据HSV颜色空间中的H分量，生成颜色直方图，公式为h (rk) =nk，其中rk是颜色区间内的第k种颜色，nk是图像中颜色为rk的像素数。其中，所述步骤S6中，针对光流向量场有效分类区块中的每个向量，根据其所在像素点的颜色，将其范数投射到颜色直方图的相应区间中去，即将其的模加到相应区间的运动尺度变量上，公式为本文档来自技高网...

【技术保护点】
一种基于运动颜色关联的视频图像显著性检测方法，包括以下步骤：S1:获取视频图像的静态显著性图；S2:利用所述视频图像中连续的视频帧提取场景的光流向量场；S3:通过聚类方法对光流向量场进行分类并抛弃最大分类区块；S4:将所述视频图像从RGB颜色空间转换到HSV颜色空间；S5:根据所述HSV颜色空间H分量中对应颜色在视频图像中出现的频率，生成颜色直方图；S6:针对所述光流向量场分类区块中的每个向量，根据其所在像素点的颜色将其范数投射到所述颜色直方图的相应区间中去，得到每个颜色区间的运动尺度变量；S7:规范化所述运动尺度变量，得到每种颜色的运动显著性值并投影到原图像生成运动显著性图；S8:将所述运动显著性图与静态显著性图线性加权相加，得到最终显著性图，即可实现对视频图像的显著性检测。

【技术特征摘要】
1.一种基于运动颜色关联的视频图像显著性检测方法，包括以下步骤 Si获取视频图像的静态显著性图； S2:利用所述视频图像中连续的视频帧提取场景的光流向量场； S3:通过聚类方法对光流向量场进行分类并抛弃最大分类区块； S4:将所述视频图像从RGB颜色空间转换到HSV颜色空间； S5:根据所述HSV颜色空间H分量中对应颜色在视频图像中出现的频率，生成颜色直方图； S6:针对所述光流向量场分类区块中的每个向量，根据其所在像素点的颜色将其范数投射到所述颜色直方图的相应区间中去，得到每个颜色区间的运动尺度变量； S7:规范化所述运动尺度变量，得到每种颜色的运动显著性值并投影到原图像生成运动显著性图； S8:将所述运动显著性图与静态显著性图线性加权相加，得到最终显著性图，即可实现对视频图像的显著性检测。2.根据权利要求1所述的一种基于运动颜色...

【专利技术属性】
技术研发人员：宋宝，邹腾跃，唐小琦，王金，叶伯生，凌文锋，熊烁，王小钊，李明磊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：