一种基于位置先验信息的时空域显著度检测方法技术

本发明专利技术涉及一种时空域显著度检测方法，属于图像处理领域，具体涉及一种基于位置先验信息的时空域显著度检测方法。本发明专利技术的主要思想是视频显著度图的显著目标应该是时空连续的，通过获取包含显著对象的时间上连续的前景区域位置信息，增强改进显著度对比方法，包括前景背景对比度方法和局部前景对比度方法，从而有效抑制背景区域，并且高亮前景显著目标。同时本发明专利技术提出视频帧内运动一致性来改进时域运动信息的区分程度，从而得到更为精准的运动显著度检测结果。此外，融合时域和空域显著度检测的结果来综合考虑时空域信息，本发明专利技术通过时空域显著度检测结果的融合，进而提高时空域显著度检测的准确性。

A temporal domain saliency detection method based on location prior information

The invention relates to a spatio-temporal domain saliency detection method, belonging to the image processing field, in particular to a spatio-temporal domain saliency detection method based on location prior information. The main idea of the present invention is a significant target video saliency map should be continuous space-time, through the acquisition of the object contains significant time for the prospect of regional location information, enhanced significantly improved contrast method, including foreground background contrast methods and Prospect of local contrast method, so as to effectively suppress the background area, and highlight the significant prospects target. At the same time, the invention proposes motion consistency within the video frame to improve the discrimination degree of the time domain motion information, thereby obtaining more accurate motion saliency detection results. In addition, the temporal and spatial saliency detection results are integrated into the spatio-temporal domain information, and the fusion of the saliency detection results of spatiotemporal domain is adopted to improve the accuracy of spatio-temporal domain saliency detection.

【技术实现步骤摘要】
一种基于位置先验信息的时空域显著度检测方法
本专利技术涉及一种时空域显著度检测方法，属于图像处理领域，具体涉及一种基于位置先验信息的时空域显著度检测方法。
技术介绍
在计算机视觉领域，图像视频显著度检测作为目标识别、视频监控、移动机器人学的预处理部分已经进行广泛的研究。图像视频显著度研究一般基于自底向上的快速显著度检测方式，这类方法由中低层特征驱动，适用范围较广，运算速度较快。目前视频时空域显著度研究对于图像显著度研究相对较新，基于视频与图像的相似性，现有的图像显著度检测方法可以独立应用于视频的每一帧图像，这样的方式忽略了视频的时域信息。考虑到时域信息是视频显著度检测最主要的影响因素，空域特征可以结合时域特征计算独立帧的显著度。现有技术中的一些算法主要有：(1)在已有的图像显著度模型上对原有空域特征维度进行扩展，加入运动特征，用于预测动态场景中人眼预测的显著位置；(2)利用亮度、颜色和运动适量的局部对比生成最终的显著度图；(3)利用基于多种低层特征的时空显著度将高帧率的视频输入转为低帧率视频。这些方法都忽略了视频显著度图的时空连续性，可能导致显著图中的显著目标在时间轴上并不连续。为了获取视频更高维度的特征，区域对比度被广泛应用到显著度检测中，区域对比度通常的做法是计算区域特征差异并加权空间位置关系，然而这样的加权方式可能会导致目标衰减或者难以区分前景和背景区域的相似的颜色。为了解决这两个问题，需要利用位置先验信息对前景位置定位，通过利用位置信息，保持时空域显著度图的时空一致性，且改进对比度算法，从而提高视频显著度检测的准确性。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于前景位置先验信息的时空域视频显著度检测方法，该方法通过连续获取视频前景区域位置信息，保持视频时空域显著度图的帧间连续性并改进前景背景对比度算法，进而凸显显著目标并抑制背景区域。一种基于位置先验信息的显著度检测方法，包括：超像素集分割步骤，将视频帧It分割成大小相似、颜色高度一致的超像素集空域显著度计算步骤，基于空间位置关系加权计算超像素与其他超像素的超像素重要度特征值差异得到的空域对比度，基于各超像素的空域对比度得到视频的空域著度图其中，超像素重要度为其对应颜色与整帧其他超像素主要颜色的对比度；时域显著度计算步骤，根据超像素运动直方图和整帧运动直方图之间的差异得到每个超像素的运动区分度基于更新运动区分度之间的特征差异计算视频的时域显著度图时空显著图融合步骤，基于时域到空域的一致性MCT，空域到时域的一致性MCS，采用基于这两个一致性系数的选择项和交互项非线性融合时、空域显著度图；其中，MCT与MCS由时域显著度图和空域显著度图的乘积分别除以空域显著度图中所有超像素的空域显著度值总和时域显著度图中所有超像素的时域显著度值总和得到。作为优选，上述的一种基于位置先验信息的显著度检测方法，所述超像素集分割步骤中，基于SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集使用最小方差量化算法减少It中出现频率低的颜色，从而量化It的颜色。作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域显著度计算步骤中，通过颜色直方图对比度算法计算超像素重要度作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景背景对比度计算，具体为：定义超像素距离背景区域的最短路径为关键路径背景区域超像素的关键路径为该超像素跟其相邻距离最短的背景区域超像素之间的欧氏距离，而前景区域超像素的关键路径跟前景区域的面积相关，定义如下。式中，Ft为前景区域，Bt为背景区域；基于位置信息的空域特征差异为之间的超像素重要度差值ψ(i，j)加权单位阶跃函数ε(ψ(i，j))，即ψ(i，j)大于0时，ε(ψ(i，j))值为1，反之则为0；ψ(i，j)依据超像素位于不同的区域，定义如下：前景背景对比度为超像素的空间特征差异加权空间位置关系，前景背景对比度表示如下，式中，为超像素之间的欧氏距离；作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景局部对比度计算，具体为：计算前景区域内超像素与其它前景区域内超像素的超像素重要度特征值差异总和并相应加权空间位置关系，得到前景局部对比度作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景局部对比度计算、前景局部对比度计算，并且基于下式计算视频空域显著度图其中，线性系数η为0.5，为前景局部对比度，为前景背景对比度。作为优选，上述的一种基于位置先验信息的显著度检测方法，所述时域显著度计算步骤中，采用LDOF光流法提取每一帧像素级运动矢量场，依据运动矢量场，提取每个超像素的运动直方图和整帧运动直方图通过计算超像素级运动直方图和帧级运动直方图之间的差异，得到每个超像素的运动区分度作为优选，上述的一种基于位置先验信息的显著度检测方法，在计算运动区分度后，加上帧内运动一致性约束来更新运动区分度，具体步骤包括：依据SF方法计算的空间方差更新运动区分度为根据取得的更新运动区分度，采用前景背景对比度算法，计算整帧每个超像素跟其他超像素的更新运动区分度的差异累积，从而得到时域显著度图作为优选，上述的一种基于位置先验信息的显著度检测方法，所述时空显著图融合步骤中，根据SP方法可得，交互项根据MCT和MCS对和融合，融合方式如下：选择项的计算方式为：分别计算时域和空域中的所有超像素显著度值的总和并加权每个超像素到前景区域中心的欧式距离，得到时域显著度分布DIST和空域显著度分布DISS，比较DIST和DISS的大小，为这两者中较小值对应的显著度图。作为优选，上述的一种基于位置先验信息的显著度检测方法，基于下式融合交互项和选择项得到最终的时空域显著度图式中，λt等于sqrt(MCT··MCS)，利用λt可以较好地融合时、空域显著度图。本专利技术可以实现对背景复杂运动复杂的视频进行较准确的视频显著度提取，从而有效解决
技术介绍
提到的问题，可以作为视频计算机视觉的预处理工作部分。附图说明图1为本专利技术方法流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术是一种基于位置先验信息的视频时空域显著度提取方法，基于前景位置信息，提出增强前景背景对比度算法和前景局部对比度算法；其思路是结合帧内运动一致性提取视频空域和时域的高层特征，并基于前一帧的时空域显著度图获取当前视频帧的前景区域位置信息，基于该位置先验信息，对提取的中层特征采用增强的前景背景对比度算法计算分别得到空域、时域显著度图。最后通过交互式融合得到最终的时空域显著度图。具体实现时，首先采用SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集并使用最小方差量化算法减少It中出现频率低的颜色；然后根据前一帧的时空域显著度图提取显著度值大于0.4的联通区域作为当前帧的前景区域Ft，初始帧的前景区域Ft默认为整帧视频图像；根据的最主要颜色的计算超像素的超像素重要度然后基于前景位置信息，利用前景背景对比度和前景局部对比度加权计算得到空域显著度图然后提取每帧的像素级运动矢量场，并进一步提本文档来自技高网...

【技术保护点】
一种基于位置先验信息的显著度检测方法，其特征在于，包括：超像素集分割步骤，将视频帧I

【技术特征摘要】
1.一种基于位置先验信息的显著度检测方法，其特征在于，包括：超像素集分割步骤，将视频帧It分割成大小相似、颜色高度一致的超像素集空域显著度计算步骤，基于空间位置关系加权计算超像素与其它超像素的超像素重要度特征值差异得到的空域对比度，基于各超像素的空域对比度得到视频的空域著度图其中，超像素重要度为其对应颜色与整帧其他超像素主要颜色的对比度；时域显著度计算步骤，根据超像素运动直方图和整帧运动直方图之间的差异得到每个超像素的运动区分度基于帧内一致性约束的更新运动区分度，计算视频的时域显著度图时空显著图融合步骤，基于时域到空域的一致性MCT，空域到时域的一致性MCS采用选择项和交互项非线性融合时、空域显著度图；其中，MCT与MCS由时域显著度图和空域显著度图的乘积分别除以空域显著度图中所有超像素的空域显著度值总和时域显著度图中所有超像素的时域显著度值总和得到。2.根据权利要求1所述的一种基于位置先验信息的显著度检测方法，其特征在于，所述超像素集分割步骤中，基于SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集使用最小方差量化算法减少It中出现频率低的颜色，从而量化It的颜色。3.根据权利要求1所述的一种基于位置先验信息的显著度检测方法，其特征在于，所述空域显著度计算步骤中，通过颜色直方图对比度算法计算超像素重要度4.根据权利要求1所述的一种基于位置先验信息的显著度检测方法，其特征在于，所述空域对比度的计算包括前景背景对比度计算，具体为：定义超像素距离背景区域的最短路径为关键路径背景区域超像素的关键路径为该超像素跟其相邻距离最短的背景区域超像素之间的欧氏距离，而前景区域超像素的关键路径跟前景区域的面积相关，定义如下：式中，Ft为前景区域，Bt为背景区域；基于位置信息的空域特征差异为之间的超像素重要度差值ψ(i，j)加权单位阶跃函数ε(Ψ(i，j))，即ψ(i，j)大于0时，ε(ψ(i，j))值为1，反之则为0；ψ(i，j)依据超像素位于不同的区域，定义如下：前景背景对比度为超像素的空间特征差异加权空间位置关系，前景背景对比度表示如下，式中，为超像...

【专利技术属性】
技术研发人员：胡瑞敏，胡柳依，王中元，肖晶，王琦，邵梦灵，
申请(专利权)人：武汉大学深圳研究院，武汉大学，
类型：发明
国别省市：广东,44