视觉注意模式制造技术

一种改善的视觉注意模式使用增强的合适的分段算法将一个视频序列的一个目前帧基于颜色和亮度分成多个区域，每个区域由多个空间特征算法并行处理，该空间特征算法包括颜色和表皮，以产生各自的空间重要性映像。还处理目前帧和在先帧，以便对目前帧的每一块产生运动矢量，该运动矢量补偿摄像机的运动，同时该补偿的运动矢量被转换以产生一个时间重要性映像。基于眼睛移动分析并使用加权来组合空间和时间重要性映像。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及视频质量分析，特别涉及改进的视觉注意模式，以便自动地确定在视频信号的图像中感兴趣的区域。
技术介绍
早期被适当调整的视觉系统的模式提供被压缩的自然图像中视觉失真位置的准确预测。数据逼真映像产生主观质量的估算，目前的现代化质量度量标准将执行所有可见误差的简单求和。但是在主观评估图像质量期间并未考虑任何更高的水平或已知的有认识力的因素出现。失真对整个图像质量的影响被理解为以其相对场景内容的位置的强烈影响。似人视觉系统(HVS)的可变分辨力性质意味着只有在视网膜凹斑处可得到高的分辨力，该视网膜凹斑具有约2度的直径。通过有规则的眼睛运动以便将该区域置位于视网膜凹斑条件下获得一个场景的资料。早期视觉模式假定一个“无限的网膜凹斑”，即场景是在这样一种假设下进行处理的，即所有区域由高分辨力视网膜凹斑进行观察。但是眼睛运动的研究指出观察并不使场景中所有区域等同地处于视网膜凹斑。代之以识别几个地区为似人视觉注意处理感兴趣的区域(ROI)，并且观察倾向于重复地返回到这些ROI而不是仍未被处于视网膜中区的地区。人们知道在这些ROI中图象的逼真度对整个图象质量具有最大的影响。当观察自然场景时，似人视觉注意和眼睛运动的知识，与对象的选择的和相关的眼睛运动模式相联合，提供似人视觉注意计算模式改进的结构。研究已指出，人们的注意受大量在图象运动中存在的不同特征所影响，例如亮度对比度，颜色对比度，目标大小，目标形状，人和面部在场景中的位置，以及该目标是否为前景或背景的部分。在文献中已介绍了少量简单的视觉注意模式。这些模式以不设监理方式针对检测一个场景中的ROI。它们通常设计用于不复杂的静止的图像。在防止其用作典型娱乐影视的增强注意模式中明显存在大量的缺陷。包括有限数量的使用的注意特征；未施加不同的加权到不同的特征；缺乏分段技术中的强度；缺乏时间模式；使用过分简单的算法提取注意特征。未说明推荐的模式能牢固地横跨宽范围的图像内容工作和未报告其对人眼运动的相关性。如在下列文章中所指出的，公开了一种用于自动确定场景中视觉重要地区作为重要性映像(IM)的技术Wilfried Qsberger，AnthongJ.Maeder and Neil Bergmann“A Perceptually BassedQuantization Technique for MPEG Encoding”，Proceedings SPIE3299-Human Vision and Electronic Imaging 111，San Jose，USA，pp.48-159，26-29 January 1998。如上所述，这些映像是通过组合影响似人视觉注意和眼睛运动的已知因素而产生的。为了编码分配较低量化到可见重要地区和较少视觉重要性地区具有一个分配的更苛刻的量化。结果表明图像质量主观的改进。在现有技术中使用典型的递归分开-和-合并分段来执行分段。在分段后，该结果由五个空间特征处理以产生单独的空间重要性映像对比度；大小；形状；位置和背景。运动也被采纳到考虑之中以产生一个时间的重要性映像。这些单独的重要性映像的每一个将被平方以增强高重要性地区并之后被等同地加权以产生最后的IM。但是感觉到这种技术并不充分牢靠。使用比现有技术更牢固的人为注意和眼睛运动的特性所要求的是一种自动方式去预测何处ROI似乎位于典型娱乐影视的自动场景中。
技术实现思路
按本专利技术提供一种使用视觉注意模式自动标记在一个影视图像中的感兴趣的区域的方法。基于颜色和亮度一个目前帧被适当地分段成多个区域。每个区域由多个包括颜色和表皮的空间特征算法并行处理以产生相应的空间重要性映像。组合空间重要性映像以产生一个综合的空间重要性映像，这种组合是基于由眼睛运动研究导出的加权。目前帧和一个在先帧也被处理以产生用于目前帧的运动矢量，接着在被转换到一个时间重要性映像之前对该运动矢量作摄像机的运动校正。通过线性加权组合综合的空间重要性映像和时间重要性映像以对目前帧产生一个完整的重要性映像，以及线性加权常数从眼睛运动研究导出。结合附加权利要求和附图阅读时从下列详细说明对本专利技术目的，优点和其他新的特征将显而易见。附图说明图1是按本专利技术的改进的视觉注意模式的方块图。图2(a)是一个目前帧的一个图像。图2(b)是按本专利技术获得的图像的完整重要性映像。图3是一条曲线，说明按亮度的一个阈值的变化，用于按本专利技术的空间特征之一。图4是一条曲线，说明参数值随色彩的变化，用于按本专利技术的表皮的空间特征。图5是一个方块图，用于产生按本专利技术的时间重要性映像。具体实施例方式在此所描述的一种重要性映像(IM)技术是基于区域的注意模式。这种基于区域的注意模式使其更易按此模式包括大量的特征，这是因为影响注意的许多特征或是区域的固有性质，例如尺寸和形状，或能自然地与场景中所有目标相关，例如运动，颜色，对比度和结构。参照图1，一个视觉注意模式具有一个空间注意模式10和一个时间注意模式20。空间模式具有影像的一个目前帧作为一个输入。该图像是首先使用亮度和颜色信息两者由分段算法30分段到同簇区域的每个地区相对七个特征11-17的重要性。包括已知影响视觉注意的颜色，对比度，尺寸，形状，位置，背景和表皮然后计算。特征图像处理算法的可塑性使得容易包括附加的特征。根据借助人眼运动的校准来加权这些特征，而人眼运动已经据对人眼运动的实验进行推测。然后特征加权被输入到组合算法40，以对该目前帧的场景产生空间重要性映像。运动模式20具有该目前帧和一个在先帧作为对运动矢量算法22的并行输入。然后来自运动矢量算法20的运动矢量基于其运动的幅度由运动重要性算法24加权用于在该场景中的每个目标。运动加权还使用根据眼睛跟踪系统实验推测的数据与空间加权相组合以对目前帧产生一个总的IM。图2(a)中表示一个目前帧，其相应的IM表示在图2(b)中。已标记为高重要性的IM区域具有轻微阴影部分，而黑的区域表示未必吸引注意的场景的那些部分。对以上讨论的现有技术的改进包括空间环境特征的改进的分段，扩展，对空间和时间特征处理算法的改进，以及在校准和组合算法方面的改进。在分段处理过程中，图像帧已剪辑版本用作输入，以避免这样一种效应，即对于模式的新近状况，图像边缘具有24个像素工作好的剪辑边缘。功能分解使用颜色信息和亮度信息去确定何时出现分解/合并操作。作为一个例子可使用L*u*v*颜色区。现在用于分解的条件为如果((variancelum(Ri)＞thsplitlum&(variancecol(Rf)＞thsplitcol)& (size(Ri)＞thsize))则分解到4个象限这里variancecol(Ri)＝SQRT(variance(Ri(u*))2+variance(Ri(v*))2)用于阈值的值可以是thsplitlum＝250和thsplitcol＝120。对于功能合并还进行额外的变化。为避免分段产生块形状的大区域问题，合并阈值通过使用一个参数scalefactormerge自适应地与块尺寸相关，该参数当合并大区域时增加，特别当合并的两个区域具有小尺寸时thmergelumnew＝scalefactormerge*thmergelumold这里本文档来自技高网...

【技术保护点】
一种这样类型的改进的视觉注意模式，它将一个视频序列的一帧分段成用于由多个空间特征处理的区域，以产生相应的多个空间重要性映像，其包括具有一个在先帧的帧以便处理产生一个时间重要性映像，组合空间和时间重要性映像以对该帧产生一个总的重要性映像，其中，改进包括步骤： 使用颜色和亮度自适应地将该帧分段成多个区域； 用多个空间特征处理该区域以产生多个空间重要性映像； 用在先帧处理该帧，以产生补偿摄像机运动的时间重要性映像；以及 基于由眼睛活动研究导出的加权函数组合空间和时间重要性映像以产生用于该帧的总的重要性映像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：WM奥斯博格，
申请(专利权)人：特克特朗尼克公司，
类型：发明
国别省市：US[美国]