图像序列中闪烁的检测和抑制制造技术

本发明专利技术涉及在视频帧序列中检测非期望的短暂变化(闪烁)的方法、设备和计算机程序产品。在一个实施例中，将帧的亮度均值与参考水平相比较，并且将交叉频率与诸如通过混淆的亮度频率相关联的频率的、期望的变化频率相比较。通过引入参考水平周围的延迟区，可以改进交叉计数。在非期望的短暂变化的肯定检测的情况下，还提供了使用累计分布函数的校正方法、设备和计算机程序产品。通过使非饱和像素变亮，或者通过以根据参考累积分布函数随机采样的值来代替饱和像素，减轻了闪烁引起的像素饱和的视觉损害。本发明专利技术提供了适于流视频序列的实时处理的实施例。

【技术实现步骤摘要】
【国外来华专利技术】
在此公开的本专利技术一般涉及视频处理，更准确地，涉及视频帧序列中非期望的短暂变化的连续检测。具体地，本专利技术适合于检测通过通信网络进行流传输的视频帧序列中与混淆相关的假象(aliasing-related artefact)。有利地，本专利技术还提供了非期望的短暂变化的结合的检测和抑制的方法和设备。技术背景在运动图像的播放期间(也就是说，静止图像(帧)序列在适当时间点连续呈现)，观众有时会观察到非期望的亮度变化，即“闪烁”(flicker)，其不会出现在描绘的场景中。如此处所使用的，场景(scene)是在记录运动图像的成像设备的视野中可见或部分可见的一个空间区域。尽管整个场景在给定时刻可能不可见，但是其能够通过扫视(span)在一个镜头期间被成功覆盖。闪烁可能具有快到人眼感觉不到的剧烈振动的光源引起。然而，记录包括以成像设备的帧速率(frame rate)对这种振动频率进行采样，通过采样处理，该振动频率可能变为更低的、可见地感受到的频率。图1示出了高频信号的采样(如圆圈所示)如何被解释为来自低频信号，反之亦然；这种现象就是混淆(aliasing)。人们可以区分不同种类的闪烁。在灰度级视频序列中，闪烁是图像信号的单信道的非故意的(并且通常是周期性的)变化。这种变化可能影响整个帧或者仅仅子区域，该子区域可能对应于具有特定亮度的空间区域。当运用彩色视频技术时，振动的白色光源可能以不同于振动的彩色光源的方式来影响记录的视频序列。正如在接下来的几个段落将会解释的，对图像分量的闪烁的精确解释取决于所使用的精确彩色视频格式。首先，如果视频序列以线性原色分量编码，例如RGB，那么在白色光源的情况下，非期望的振动将存在于所有颜色中。如果振动光源是彩色的，则将会给每个彩色分量按照光源颜色组成的比例贡献振动条件(term)；例如，振动的红色光源会主要贡献RGB信号的R分量，而较少贡献G分量和B分量。其次，若干普遍彩色视频格式基于三维YCbCr彩色空间。这种视频格式包括一个亮度信道Y(对像素的亮度分量，或者辉度(brightness)分量编码)和两个色度信道Cb、Cr(根据与白色的偏离，对像素的色度分量编码)。亮度分量对应于灰度级视频的单图像信道；因此如果YCbCr彩色视频信号将通过灰度级接收器重现，那么可以简单地忽略信道Cb、Cr。图像分量(如关于常量、缩放、偏移等)的准确定义可能在不同的具体视频格式之间变化，但是一般来说在原色格式和YCbCr格式之间存在明确的转换(有时是线性转换)。尤其是，所有三原色分量都为亮度做出积极(positive)贡献，例如经由线性关系Y＝ρR+γG+βB，其中根据标准白色确定系数的相对值ρ＞0，γ＞0，β＞0。因此，不管导致闪烁的光源是白色还是彩色的，闪烁将自身显现为亮度分量中的变化。另一方面，彩色光源也会导致Cb分量和/或Cr分量的振动。再次，还存在基于色调、饱和度和辉度三者的彩色视频格式，特别是HSL、HSV、HLS、HIS和HSB格式。一般来说，转换到RGB格式或者自RGB格式的转换伴随着这一类的每种视频格式。闪烁，至少白色闪烁，在光度/数值/辉度/强度信道(L或者V)中是可检测的，这将不与本公开的其它地方的亮度相区分。在前面段落的讨论故意没有将模拟格式与数字格式相区分，因为对于本公开的目的而言，数字格式可以看作模拟格式的量化版本。同样地，除了线性版本之外，一些视频格式可以存在于伽马(gamma)压缩或者部分伽马压缩版本中，例如R’G’B’和Y’CbCr格式。然而，视频格式是否包括这种压缩对于理解本专利技术是无关紧要的。因为观众会觉得闪烁令人烦恼或不快，所以在视频处理领域已经关注对闪烁进行检测和校正。关于检测，许多目前先进的方法都是基于傅立叶转换的，其将信号分解为具有包括0在内的不同频率的分量的线性组合。基于不同频率的相关重要性(正如傅立叶系数所示)，不论闪烁是否出现都能够建立线性组合。根据这一原则的检测方法如EP1324598中所示；该方法包括图像信号的平均的离散傅立叶转换。正如信号处理领域的普通技术人员所认识到的，傅立叶转换涉及的算法有以下缺点：●它们不能应用于非固定信号，例如由于非等距采样导致帧速率可能随时间变化的视频信号；●它们不能解决在信号阱中的非正弦闪烁，因为基频的能量在较高谐波会部分丢失；以及●它们可能推算起来很复杂。其它检测方式可以基于对统计方差的计算。例如，在US2007/036213中公开的方法将较低阀值条件应用于方差以确定什么时候需要减少闪烁。部分地，由于方差的增加可能具有除闪烁以外的其它来源，因此众所周知地，这种检测方法会产生较大百分比的误报。用于抑制或者消除闪烁的若干可用方法是基于闪烁序列中的每个帧相对参考帧进行校正。更确切地说，对于将校正的帧生成累积分布函数(CDF)，或者用另一个名称，累积直方图，并且对于参考帧生成参考CDF。像素值随后被调整以便校正帧的CDF近似地等于参考帧的CDF。一般来说，参考帧不必等于(除了由闪烁导致的变亮或者变暗)将校正的帧，但是优选地，应该对于背景、照明等描绘了相似的场景。US5793886中公开的方法提供了代表性的示例。为了生成参考CDF，该方法对于序列中的较早帧和较晚帧都计算CDF，随后根据将校正的帧的位置将CDF内插。随着消费者对宽带互联网连接的访问的增加，不仅是IP语音技术，还有视频电话和视频会议在近年来广泛流行。因为音频和视频数据在这里作为分组流而传输，因此发送和接收双方都需要实时处理数据，而不是作为有限批处理(finite batch)。讨厌的图像闪烁可能出现在视频电话中，正如出现在任何种类的运动图像中一样，但是检测和解决闪烁的可用方法(见上)经常是不合适的。更重要的是，除了上述方法，许多现有方法必须知道在流中的前面的帧和后面的帧。这些无关联的(non-causal)处理方法无法用于没有缓冲帧的实时事件，其中对帧进行缓冲延误了数据流的传输。最小缓冲器长度是视频序列的闪烁部分的最大期望持续时间加上每帧和闪烁部分末端的一个参考帧的处理(校正)时间。在已经存在用于隐蔽网络抖动的一定延迟的、目前先进的互联网通信的情况下，大多数用户会发现不可接受的附加延迟。因此，缓冲将意味着重大缺陷。虽然本领域中已知用于在直播中检测和/或抑制图像闪烁的装置，但是大多数这样的设备因为其高复杂度而不能集成到消费产品中。类似地，致力于在记录期间减本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.06.09 EP 09162228.2;2009.06.11 US 61/186,2511.一种在视频帧序列中检测非期望的短暂亮度变化的方法，该方法包
括以下步骤：
在固定时间间隔基于亮度评估变量，从而产生所述变量的时间序列；
基于所述变量的时间序列，计算全局亮度的变化频率的估计；以及
确定所述全局亮度的变化频率的估计是否与任何期望的变化频率相差
少于预定容差。
2.如权利要求1所述的方法，包括，在肯定所述变化频率的估计与期
望的变化频率相差少于预定容差的情况下，抑制所述视频帧序列中非期望的
短暂亮度变化，该方法还包括以下步骤：
选择将校正的帧集；
对于所述选择的帧集中的每个帧：
对于至少一个图像分量的实际值生成累积分布函数CDF；以及
对于每个像素和所述至少一个图像分量中的每个图像分量确定校
正值，所述校正值使对于所述实际值读取的CDF和对于所述校正值读
取的参考CDF之间的差异最小化，并且以所述校正值代替所述实际值，
其中：
每个参考CDF基于对于更早的帧中相应图像分量的值的CDF；以及
所述至少一个图像分量包括以下中的至少一个：
线性亮度，
线性原色，
伽马压缩亮度，
伽马压缩原色，以及
以上两个或更多个的线性组合。
3.一种适于在视频帧序列中检测非期望的短暂亮度变化的设备，该设
备包括：
帧平均器，用于在固定时间间隔基于亮度评估变量，从而产生所述变量
的时间序列；
频率估计器，用于接收所述变量的时间序列，并且计算全局亮度的变化
频率的估计；以及
比较器，用于确定所述全局亮度的变化频率的估计是否与任何期望的变
化频率相差少于预定容差。
4.如权利要求3所述的设备，其中，所述频率估计器包括计数器，所
述计数器适于对所述变量的时间序列在每单位时间内对于参考水平的交叉
进行计数。
5.如权利要求4所述的设备，还包括全局平均器，其用于接收所述变
量的时间序列并且计算全局均值，其中所述参考水平是所述全局均值。
6.如权利要求4或5所述的设备，其中，如果所述变量的时间序列中
的任意值与所述参考水平相差少于预定的第二容差，那么所述计数器适于忽
略该值。
7.如权利要求3-6中任一项所述的设备，其中...

【专利技术属性】
技术研发人员：B沃尔克，WB克莱恩，
申请(专利权)人：谷歌股份有限公司，
类型：发明
国别省市：