基于全局运动估计的视频显著性检测方法技术

本发明专利技术涉及一种基于全局运动估计的视频显著性检测方法，其特点是包括以下步骤：提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到空域显著性图；利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化；根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。本发明专利技术设计合理，其在空域显著性及时域显著性检测中考虑的特征种类齐全，使得最终显著性图更加符合人眼的主观感知质量，其鲁棒性高，不依赖于视频内容变化，有较强的可扩展性，如加入其他特征也可用本发明专利技术的融合方式。

【技术实现步骤摘要】

本专利技术属于视频检测
，具体涉及一种基于全局运动估计的视频显著性检 测方法。
技术介绍
随着互联网技术和通信技术的蓬勃发展，人们日常生活中获取和交流的信息越来 越多。这些信息包含文本、图像、音频和视频等，由于视频含有信息量大和内容丰富，因此视 频成为主要的信息载体。而如此庞大的信息在传输和存储时会受到带宽和容量限制，因此 需要根据信息受体人眼的视觉特性对其进行处理，提取出人眼关注的部分。视频显著性检 测就是根据人眼视觉特性对视频信息分析的重要机制，其在视频处理中可用于物体检测、 目标跟踪、视频编码等。 人眼视觉注意机制可分为自底向上和自顶向下两种，自底向上的机制是数据驱动 的，即没有任何先验知识，仅由低层信息（如亮度、色度和对比度等）得到，而自顶向下的机 制是任务驱动，需要有一定先验知识。由于低层信息获得较为容易且一般缺乏先验知识，故 现有视频显著性检测大多基于自底向上的视觉机制。 视频显著性检测按其特征来源可分为压缩域和非压缩域方法。现有的视频显 著性检测模型大多是在非压缩域实现的，如Itti等（LaurentItti，ChristofKoch，and ErnstNiebur,"Amodelofsaliency-basedvisualattentionforrapidscene analysis,"IEEETransactionsonpatternanalysisandmachineintelligence ，vol.20，no.ll，pp. 1254 - 1259, 1998.)提出的基于灵长类早期视觉系统的显著性检 测模型，Hare1(JonathanHarel,ChristofKoch,andPietroPerona, "Graph-based visualsaliency，"inAdvancesinneuralinformationprocessing systems, 2006,pp. 545 - 552.)提出的基于图论的方法，Guo等（ChenleiGuoandLiming Zhang,"Anovelmultiresolutionspatiotemporalsaliencydetectionmodelandits applicationsinimageandvideocompression,''ImageProcessing,IEEETransactions on，vol. 19,no. 1，pp. 185 - 198, 2010.)提出的基于相位的显著性检测模型。这些模型所提 取的信息均来自于未压缩的像素域，像素域中包含大量视频信息如亮度、色度、纹理等，因 此在像素域中需要高计算复杂度获取显著性图。再者，视频传输和存储都是压缩后的码流， 压缩视频应用广泛主要得益于减小存储空间和提升传输速度，因此压缩域视频显著性检测 更有利于应用到实时处理场景中。 压缩域视频显著性检测主要利用离散余弦变换（DCT)系数和运动矢量 (MVs)计算每个块的显著性大小。Muthuswamy等（KarthikMuthuswamyandDeepu Rajan,"Salientmotiondetectionincompresseddomain, "IEEESignalProcessing Letters,vol. 20,pp. 996 - 999, 2013.)提出一种双层结构算法用于辨别显著性运动，但 是没有解决多种特征条件下显著性图的融合问题。Fang(YumingFang,ZhouWang,and ffeisiLin,"Videosaliencyincorporatingspatiotemporalcuesanduncertainty weighting, "inMultimediaandExpo(ICME), 2013IEEEInternationalConference on.IEEE, 2013,pp. 1 - 6.)等提出基于局部不确定性度量的自适应融合方法能取得较好的 检测效果，但是该方法在计算权重时需预先知道真实显著性图，该因素阻碍了此法的实际 应用，且该方法不适用于视频中存在全局运动的场景。 综上所述，现有的视频显著性检测方法中，压缩域方法较少，未考虑全局运动对检 测结果的影响，且多种特征下显著性图融合技术不够完善，不能充分发挥每种特征条件下 检测结果的优势。如何去除全局运动的影响和多特征显著性图自适应融合是视频显著性检 测中迫切需要解决的问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种设计合理、主观视觉效果好且 能够准确检测视频显著性区域的。 本专利技术解决其技术问题是采取以下技术方案实现的： 一种，包括以下步骤： 步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征 得到空域显著性图； 步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到 粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化； 步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著 性图像得到图像显著区域。 而且，步骤1所述的时域特征包括对应时域特征的运动矢量，所述空域特征包括 以下五个分量： ⑴、亮度特征L，对应于亮度的直流分量；(2)、色度特征Q，对应于色度Cb的直流分量； (3)、色度特征C2，对应于色度(；的直流分量； (4)、结构特征T，对应于亮度的所有交流分量的和； (5)、边缘特征E，对应于亮度中与直流分量最接近的两个交流分量的和。 而且，步骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包 括以下步骤： ⑴针对每种特征fG{L，Q，C2,T，E}，计算当前块与相邻块绝对特征对比度％ :【主权项】1. 一种，其特征在于包括以下步骤： 步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到 空域显著性图； 步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略 时域显著性图，并根据宏块信息对粗略时域显著性图进行优化； 步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图 像得到图像显著区域。2. 根据权利要求1所述的，其特征在于：步 骤1所述的时域特征包括对应时域特征的运动矢量，所述空域特征包括以下五个分量： (1) 、亮度特征L，对应于亮度的直流分量； (2) 、色度特征C1，对应于色度Cb的直流分量； (3) 、色度特征C2，对应于色度(；的直流分量； (4) 、结构特征T，对应于亮度的所有交流分量的和； (5) 、边缘特征E，对应于亮度中与直流分量最接近的两个交流分量的和。3. 根据权利要求1所述的，其特征在于：步 骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包括以下步骤： ⑴针对每种特征f e {L，C1, C2, T，E}，计算当前块与相邻块绝对特征对比度:式中，f JP L分别表示当前块和相邻块的特征值； ⑵利用二维高斯权重函数计算每个相邻块对应的权重：式中，dxij和dyij分别表示当前块和相邻块在水平和垂直方向上的空间距离，〇 ,和〇 y 分别表征二维高斯函数水平和垂直方向上的标本文档来自技高网...

【技术保护点】
一种基于全局运动估计的视频显著性检测方法，其特征在于包括以下步骤：步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到空域显著性图；步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化；步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：白旭，徐俊，任婧婧，
申请(专利权)人：北京牡丹电子集团有限责任公司数字电视技术中心，
类型：发明
国别省市：北京;11