一种视频显著性检测方法技术

本发明专利技术公开了一种视频显著性检测方法，包括：考虑背景线索、颜色紧致性和颜色独特性确定背景候选区域，构成静态重建字典对每个视频帧中的超像素进行重建，获取静态显著性图；考虑运动紧致性和运动独特性确定背景种子点集合，构成运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图；将静态显著性图和运动显著性图融合，获取单帧显著性结果；利用双向稀疏传播获取帧间显著性图；构建由一元数据项、空时平滑项、空间互斥项、以及全局项组成的能量函数，通过能量函数对单帧、及帧间显著性结果进行优化。本方法可以准确提取视频序列中的显著性目标，背景抑制能力强，显著性目标轮廓清晰；设计的模型具有较好的鲁棒性，能够处理许多挑战性场景。

A Video Saliency Detection Method

【技术实现步骤摘要】
一种视频显著性检测方法
本专利技术涉及图像处理、计算机视觉领域，尤其涉及一种视频显著性检测方法。
技术介绍
人类的视觉系统可在大范围、复杂的场景中快速定位出最吸引注意的内容。受此机制的启发，研究人员也希望计算机可以模拟人类的视觉注意机制，具备自动定位场景中显著性内容的能力，进而为后续处理提供有效的辅助信息，这样“视觉显著性检测”任务应运而生。作为一个跨计算机科学、神经学、生物学、心理学的交叉学科方向，视觉显著性检测已经被广泛应用于诸多研究领域，如：检测、分割、裁剪、检索、压缩编码、质量评价、以及推荐系统等，具有十分广阔的市场发展和应用前景。大数据时代的来临，使得数据形式发生了翻天覆地的变化，传统的图像数据已不足以满足人们日益增长的感官需求，视频数据量增长迅速，如何准确、一致地提取视频数据中的显著性目标成为亟待解决的新课题。视频显著性检测旨在通过联合空间和时间信息实现视频序列中与运动相关的显著性目标的连续提取，已被广泛应用于视频目标检测、视频摘要、基于内容的视频检索等领域。不同于图像显著性检测，视频显著性检测需要同时结合时间信息和空间信息，连续地定位视频序列中与运动相关的显著性目标。与协同显著性检测相比，视频显著性检测还需考虑运动信息和时序特性，而且具有“相邻视频帧之间相关性较大”的先验。由于视频数据量大、场景变化明显、目标大小不一致等问题，使得视频显著性检测研究难度较大，算法性能整体较低。Wang等人提出了一种基于局部梯度流估计和全局修正的视频显著性检测算法。Xi等人将图像显著性检测中的背景先验扩展至视频领域，提出了一种基于空时背景先验的视频显著性目标检测算法。Chen等人提出了一种基于空时融合和低秩一致性扩散的视频显著性检测方法。Liu等人提出了一种基于超像素和空时传播的视频显著性检测方法。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：现有视频检测技术对于噪声等干扰都较为敏感，导致检测精度不高，鲁棒性较差；视频中目标的运动特性在显著性检测任务中具有十分重要的作用，但现有算法并未充分挖掘运动信息；现有算法在对帧间一致性进行优化时并未考虑全局信息约束，导致结果的整体一致性有待改善。
技术实现思路
本专利技术提供了一种视频显著性检测方法，本专利技术通过深入挖掘视频序列中目标的运动信息和帧间约束关系，设计一种有效的视频显著性检测模型，连续提取视频序列中的显著性目标，详见下文描述：一种视频显著性检测方法，所述方法包括以下步骤：考虑背景线索、颜色紧致性和颜色独特性确定背景候选区域，构成静态重建字典对每个视频帧中的超像素进行重建，获取静态显著性图；考虑运动紧致性和运动独特性确定背景种子点集合，构成运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图；将静态显著性图和运动显著性图融合，获取单帧显著性结果；利用双向稀疏传播获取帧间显著性图；构建由一元数据项、空时平滑项、空间互斥项、以及全局项组成的能量函数，通过能量函数对单帧、及帧间显著性结果进行优化。其中，所述考虑运动紧致性和运动独特性确定背景种子点集合具体为：选择若干个具有较大光流域空间变化参量的超像素作为基于运动紧致性先验的背景候选种子点集合；选择若干个具有较小运动独特性值的超像素作为基于运动独特性先验的背景候选种子点集合；将通过运动紧致性和运动独特性确定的背景候选种子点集合合并，得到最终的运动空间背景种子点集合。进一步地，所述运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图具体为：所有背景种子点集合中的超像素的特征向量组合得到运动重建字典，该重建字典对视频帧进行稀疏重建，以重建误差度量超像素区域的运动显著性，得到运动显著性图。进一步地，所述利用双向稀疏传播获取帧间显著性图具体为：在前向传播中，利用前一视频帧构建前景字典，对当前视频帧进行稀疏重建，获得前向帧间显著性结果，从第一帧开始，连续处理至最后一帧；后向传播过程以视频序列的后一帧构建前景字典，对当前帧进行稀疏重建，从最后一帧处理至第一帧。进一步地，所述一元数据项用于约束优化后的显著性结果不与初始显著性结果相差太大；所述空时平滑项用于约束具有像素特性的相邻超像素的显著性值保持一致；所述空间互斥项用于约束当前超像素近似的邻域超像素与当前超像素具有一致的显著性值；所述全局项用于约束前景超像素与整个视频的前景模型具有相似的显著性值。所述能量函数的表达式及矩阵形式如下：其中，表示超像素优化后的显著性值，表示超像素的初始显著性值，表示超像素的单帧显著性值，表示超像素的前向显著性值，表示超像素的后向显著性值，为整个视频序列中所有超像素的初始显著性值组成的向量，为整个视频序列中所有超像素的优化后的显著性值组成的向量，NA为所有视频帧中所有超像素的总个数，Ωst表示超像素之间的空时邻接关系，Ωs表示超像素之间的空间邻接关系，Wst为空时颜色相似性矩阵，为矩阵Wst的度矩阵，ωij为矩阵Wst的元素，表示两个超像素之间的颜色相似性，Ws为空间颜色相似性矩阵，κi表示超像素ri与整个图像组的全局前景模型之间的颜色直方图的距离。本专利技术提供的技术方案的有益效果是：1、本专利技术设计了一种基于稀疏重建与传播的视频显著性检测模型，可以准确提取视频序列中的显著性目标，背景抑制能力强，显著性目标轮廓清晰；2、本专利技术设计的模型具有较好的鲁棒性，能够处理许多挑战性场景，如遮挡、小目标等，同时算法运算速度较快，时效性较好；3、本专利技术采用双向传播重建机制，通过两次帧间传播，进一步挖掘更加全面的视频帧间对应关系，获取更加准确的帧间显著性结果。附图说明图1为一种视频显著性检测方法的流程图；图2为本专利技术提出的检测结果的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提出了一种视频显著性检测方法，参见图1，该方法包括以下步骤：101：在静态线索和运动先验的基础上，通过稀疏重建模型来计算视频序列中每个帧的空间显著性；102：通过渐进的稀疏传播模型，捕获时间域的时序对应关系，生成帧间显著性图；103：将两个显著性结果融合到一个全局优化模型中，以改善整个视频中显著性对象的时空平滑性和全局一致性。综上所述，本专利技术实施例通过深入挖掘视频序列中目标的运动信息和帧间约束关系，设计一种有效的视频显著性检测模型，连续提取视频序列中的显著性目标。实施例2下面结合具体的实例、图1对实施例1中的方案进行进一步地介绍，详见下文描述：201：单帧显著性重建；其中，对于视频显著性检测任务，检测到的目标应该在每个视频帧中且相对于背景区域是显著的、运动的。为此，基于静止和运动先验，构建了两个稀疏重建模型来检测每一个视频帧中的显著性目标。第一个是静态显著性先验，它利用三种颜色显著性线索来构建基于颜色的重建字典(DC)，第二个是运动显著性先验，它集成了运动独特性线索和运动紧致性线索，构建了基于运动的字典(DM)。设一个视频序列包含N个视频帧，利用SLIC(简单线性迭代聚类)方法将每帧视频划分为500个超像素区域，记为并计算视频序列的光流信息得到像素级的运动向量，在超像素内对运动向量取平均得到每个超像素区域的运动向量表示超像素区域，上标t为视频序列中的帧标号，下标k为超像素标号。202：静本文档来自技高网...

【技术保护点】
1.一种视频显著性检测方法，其特征在于，所述方法包括以下步骤：考虑背景线索、颜色紧致性和颜色独特性确定背景候选区域，构成静态重建字典对每个视频帧中的超像素进行重建，获取静态显著性图；考虑运动紧致性和运动独特性确定背景种子点集合，构成运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图；将静态显著性图和运动显著性图融合，获取单帧显著性结果；利用双向稀疏传播获取帧间显著性图；构建由一元数据项、空时平滑项、空间互斥项、以及全局项组成的能量函数，通过能量函数对单帧、及帧间显著性结果进行优化。

【技术特征摘要】
1.一种视频显著性检测方法，其特征在于，所述方法包括以下步骤：考虑背景线索、颜色紧致性和颜色独特性确定背景候选区域，构成静态重建字典对每个视频帧中的超像素进行重建，获取静态显著性图；考虑运动紧致性和运动独特性确定背景种子点集合，构成运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图；将静态显著性图和运动显著性图融合，获取单帧显著性结果；利用双向稀疏传播获取帧间显著性图；构建由一元数据项、空时平滑项、空间互斥项、以及全局项组成的能量函数，通过能量函数对单帧、及帧间显著性结果进行优化。2.根据权利要求1所述的一种视频显著性检测方法，其特征在于，所述考虑运动紧致性和运动独特性确定背景种子点集合具体为：选择若干个具有较大光流域空间变化参量的超像素作为基于运动紧致性先验的背景候选种子点集合；选择若干个具有较小运动独特性值的超像素作为基于运动独特性先验的背景候选种子点集合；将通过运动紧致性和运动独特性确定的背景候选种子点集合合并，得到最终的运动空间背景种子点集合。3.根据权利要求1所述的一种视频显著性检测方法，其特征在于，所述运动重建字典对每个视频帧中的超像素进行重建，获取运动显著性图具体为：所有背景种子点集合中的超像素的特征向量组合得到运动重建字典，该重建字典对视频帧进行稀疏重建，以重建误差度量超像素区域的运动显著性，得到运动显著性图。4.根据权利要求1所述的一种视频显著性检测方法，其特征在于，所述利用双向稀疏传...

【专利技术属性】
技术研发人员：雷建军，丛润民，张哲，祝新鑫，宋宇欣，贾亚龙，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12