一种视频信号的关注度分析系统技术方案

本发明专利技术涉及计算机视觉技术领域，尤其涉及视频信号的关注度分析系统。本发明专利技术包括基于多参考帧的关注度特征提取模块，和基于空域连续性的关注度图计算模块。其中，基于多参考帧的关注度特征提取模块进一步包括：亮度特征提取子模块、颜色特征提取子模块、方向特征提取子模块、基于多参考帧的运动特征提取子模块、闪烁特征提取子模块；基于空域连续性的关注度图计算模块进一步包括：空域关注度子图计算子模块、运动关注度子图计算子模块、基于空域连续性的运动关注度子图增强子模块、闪烁关注度子图计算子模块、关注度子图合并子模块。本发明专利技术力求在不明显增加计算复杂度的情况下，大幅提升关注区域提取的准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，尤其涉及视频信号的关注度分析系统。
技术介绍
视觉关注度模型通过模拟人眼对场景图像的感知机理，找到图像/视频中人眼感 兴趣的区域，目前其已广泛的应用于人眼关注点搜索、图像分割、图像压缩、图像自适应剪 切、视频对象跟踪、视频检索、视频编码、3D场景透视等领域。1980年美国普林斯顿大学心理学教授Arme Treisman在文献1中通过对人眼视 觉系统进行模拟实验得出颜色、方向和亮度是人类视觉系统最关注的特征，并在此基础上 提出了特征融合的理论，它是人类视觉模型的一个重要的理论基础。1998年，Itti等人在 文献2中对视觉注意中的选择和转移工作机制进行了开创性的研究，提出了可计算的视觉 注意模型框架，采用特征融合的方式计算关注度图，并将关注度值大的区域作为关注区域。 2003年，Itti在文献3中，结合图像关注度模型，并通过考虑前后2帧视频信号的运动特征 和闪烁特征，提出视频信号的关注度模型。但是Itti模型仅用了前后2帧进行运动参数的 提取，能够捕获的物体速度范围有限，当运动物体速度较慢时容易造成漏判。另外，其基于 帧差法的运动特征检测，容易将活动物体的内部标识成低关注度区域，从而造成误判。2005年，Wen-Huang Cheng在文献4中，针对Itti模型对缓慢运动处理不佳的缺 点，将视频序列分段，利用中值滤波得到时间分段的关注度图，但这种方法对于运动剧烈的 序列效果不好。另外，2009年Chang Liu等在文献5中，利用像素的统计模型将空域关注度 和时域关注度融合，从而解决当运动物体速度较慢时容易造成漏判的问题，但是其前提条 件是统计窗口必须和前景对象的大小匹配，因此在实际应用中并不具备普适性。本专利技术专利申请通过利用多帧参考，对传统方法的运动特征提取进行了扩展，使 得运动特征在时域上包含更多的尺度，能更精确的描述前景对象的运动信息，减少漏判的 可能性。同时，该系统在关注度计算模块中，用空域关注度图对运动关注度进行了增强，解 决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明，在关注区域 提取的准确率上，该系统较传统方法有大幅提高。文献 1 :Treisman，Α. Μ. Gelade G. “A feature-integration theory of attention.，，CognitivePsychology，vol. 12，no. 1, pp. 97-136，1980.文 献 2 :L Itti，C. Koch, E. Niebur. “A model of saliency-based visual attention for rapidscene analysis. “ IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 20，no. 11，pp. 1254—1259，Nov. 1998.文 献 3 :L· Itti, N. Dhavale, F· Pighin，Realistic avatar eye and head animation using aneurobiological model of visual attention.，，In Proceedings of SPIE 48th Annual InternationalSymposium on Optical Science and Technology, vol. 5200，pp.64-78August，2003.文 ^ 4 :W. H. Cheng, W. T. Chu, J. L. Wu. “A visual attention based5region-of-interestdetermination framework for video sequences. ”IEICE Transaction on Information and Systems, vol. 88, no.7,pp.1578-1586,2005.文献5 :Chang Liu, PongC. Yuen, Guoping Qiu,Object motion detection using informationtheoretic spatio-temporal saliency,，，Pattern Recognition, vol.42, issue 11，pp.2897-2906，2009.
技术实现思路
针对上述存在的技术问题，本专利技术的目的是提供一种视频信号的关注度分析系 统，找到视频中人眼感兴趣的区域，从而为后续的视频处理奠定基础。为达到上述目的，本专利技术采用如下的技术方案一种视频信号的关注度分析系统，包括-基于多参考帧的关注度特征提取模块，该模块进一步包括亮度特征提取子模块，用于提取当前视频帧不同尺度的亮度特征集合；颜色特征提取子模块，用于提取当前视频帧不同尺度的颜色特征集合；方向特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的方向特征集 合；基于多参考帧的运动特征提取子模块，用于提取当前视频帧不同方向上的不同尺 度的运动特征集合；闪烁特征提取子模块，用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特 征；-基于空域连续性的关注度图计算模块，该模块进一步包括空域关注度子图计算子模块，用于利用亮度、颜色和方向通道的特征集合计算各 自通道的关注度子图，并生成空域关注度子图；运动关注度子图计算子模块，用于利用当前帧的运动特征集合计算初步的运动关 注度子图；基于空域连续性的运动关注度子图增强子模块，用于利用已生成的空域关注度子 图对运动关注度子图进行修正，得到最终的运动关注度子图；闪烁关注度子图计算子模块，用于利用闪烁特征生成闪烁关注度子图；关注度子图合并子模块，用于将空域、运动和闪烁关注度子图合并，生成最终的关 注度图。所述亮度特征提取子模块，通过下述公式获得设Lev是图像高斯金字塔的分解层数，其取值是由用户自己设定的正整数，另设 r(o),g(o),b(o)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，由下式求得亮 度特征Ι(σ)，形成Lev层特征子图Ι(σ) = (r ( σ ) +g ( σ ) +b ( σ )) /3其中，σ为正整数，且σ e [l，Lev]。所述颜色特征提取子模块，通过下述公式获得设r(0)，g(0)，b(0)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，图 像高斯金字塔中第。层的红、绿、蓝，黄四个基色R(。)，G(o)，B(O)，Y(O)通过下述公式获得 R(a) = (Γ(σ)2Γ(σ) + δ(σ) 22Κσ) I Γ(σ) - 0(σ) = Β(σ) = φ(σ) Υ(σ)Γ(σ) + 2Κσ)与红绿色对应的RG ( ο )、与蓝黄色对应的BY ( ο )通过下述公式获得RG(o ) = (R(o )-G(o ))BY ( σ ) = (B ( σ ) -Y ( σ ))。所述方向特征提取子模块中方向特征0( ο，θ)是对亮度特征Ι(σ)上用方向θ 的Gabor函数滤波得到的Gabor金字塔，其中，θ是Gabor函数的方向参数，由用户自行选 择本文档来自技高网...

【技术保护点】
一种视频信号的关注度分析系统，其特征在于，包括：－基于多参考帧的关注度特征提取模块，该模块进一步包括：亮度特征提取子模块，用于提取当前视频帧不同尺度的亮度特征集合；颜色特征提取子模块，用于提取当前视频帧不同尺度的颜色特征集合；方向特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的方向特征集合；基于多参考帧的运动特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的运动特征集合；闪烁特征提取子模块，用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征；－基于空域连续性的关注度图计算模块，该模块进一步包括：空域关注度子图计算子模块，用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图，并生成空域关注度子图；运动关注度子图计算子模块，用于利用当前帧的运动特征集合计算初步的运动关注度子图；基于空域连续性的运动关注度子图增强子模块，用于利用已生成的空域关注度子图对运动关注度子图进行修正，得到最终的运动关注度子图；闪烁关注度子图计算子模块，用于利用闪烁特征生成闪烁关注度子图；关注度子图合并子模块，用于将空域、运动和闪烁关注度子图合并，生成最终的关注度图。

【技术特征摘要】
一种视频信号的关注度分析系统，其特征在于，包括 基于多参考帧的关注度特征提取模块，该模块进一步包括亮度特征提取子模块，用于提取当前视频帧不同尺度的亮度特征集合；颜色特征提取子模块，用于提取当前视频帧不同尺度的颜色特征集合；方向特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的方向特征集合；基于多参考帧的运动特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的运动特征集合；闪烁特征提取子模块，用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征； 基于空域连续性的关注度图计算模块，该模块进一步包括空域关注度子图计算子模块，用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图，并生成空域关注度子图；运动关注度子图计算子模块，用于利用当前帧的运动特征集合计算初步的运动关注度子图；基于空域连续性的运动关注度子图增强子模块，用于利用已生成的空域关注度子图对运动关注度子图进行修正，得到最终的运动关注度子图；闪烁关注度子图计算子模块，用于利用闪烁特征生成闪烁关注度子图；关注度子图合并子模块，用于将空域、运动和闪烁关注度子图合并，生成最终的关注度图。2.根据权利要求1所述的视频信号的关注度分析系统，其特征在于，所述亮度特征提 取子模块，通过下述公式获得设Lev是图像高斯金字塔的分解层数，其取值是由用户自己设定的正整数，另设 r(o),g(o),b(o)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，由下式求得亮 度特征Ι(σ)，形成Lev层特征子图 1(0) = (r(o)+g(o)+b(o))/3 其中，σ为正整数，且σ e [l，Lev]。3.根据权利要求2所述的视频信号的关注度分析系统，其特征在于，所述颜色特征提 取子模块，通过下述公式获得设r(0)，g(0)，b(0)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，图像高 斯金字塔中第ο层的红、绿、蓝，黄四个基色R(0)，G(O)，B(O)，Y(O)通过下述公式获 得Β{σ) = φ{σ)-^}ψΞ )7(σ) = Γ(σ)+^(σ)-丨咖)产 I - Κσ)与红绿色对应的RG(O)、与蓝黄色对应的BY(O)通过下述公式获得RG(o) = (R(o)-G(o))BY ( σ ) = (B ( σ ) -Y ( σ ))。4.根据权利要求2或3所述的视频信号的关注度分析系统，其特征在于，所述方向特征 提取子模块中方向特征0( ο，θ )是对亮度特征I(O)上用方向θ的Gabor函数滤波得到 的Gabor金字塔，其中，θ是Gabor函数的方向参数，由用户自行选择。5.根据权利要求2-4中任一项所述的视频信号的关注度分析系统，其特征在于，所述 闪烁特征提取子模块中，闪烁特征值Fi ( σ )由当前帧的亮度特征Ii ( ο )和前一帧的亮度特 征Ih ( σ )对应位置像素点的强度值相减得到Fi(Q) = Ili(O)-IH(O)其中...

【专利技术属性】
技术研发人员：胡瑞敏，夏洋，刘如浩，苏引，王中元，胡金晖，黄震坤，
申请(专利权)人：武汉大学，
类型：发明
国别省市：83[中国|武汉]