对视频序列进行色调映射的方法技术

本发明专利技术一般涉及对视频序列进行色调映射的方法和设备，其中在要被进行色调映射的视频序列的每个帧上应用局部色调映射算子。该方法的特征在于，在要被进行色调映射的帧(F0)的经时间滤波的版本(LTF)上确定由所述局部色调映射算子使用的空间邻域。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及视频色调映射(tone-mapping)。具体地，本专利技术的
涉及视频序列的局部色调映射。
技术介绍
这部分旨在向读者介绍技术的各种方面，其可能涉及在下面描述和/或要求保护的本专利技术的各个方面。相信该论述有助于向读者提供背景信息以便于更好地理解本专利技术的各个方面的方面。因此，应当理解，这些陈述要从这个角度来阅读，而不是作为对现有技术的承认。高动态范围(HighDynamicRange，HDR)影像在计算机图形学和图像处理这些领域中正变得广泛已知，并且由于色调映射算子(ToneMappingOperator，TMO)，已经可以意识到使用HDR技术带来的益处。实际上，TMO在LDR显示器(低动态范围)上再现在HDR图像中可得到的宽范围的值。注意，LDR帧具有比HDR图像的动态范围更低的动态范围。存在两种主要类型的TMO：全局(global)算子和局部(local)算子。全局算子使用HDR帧的特性来针对整体图像计算单调递增的色调映射曲线。因此，这些算子确保空间亮度相干性(coherency)。然而，它们通常不能再现在HDR帧中包含的更精细的细节。相反地，局部算子基于其空间邻域对每个像素进行色调映射。这些技术增加局部空间对比度，从而提供更详细的帧。众所周知的局部TMO对每个像素的空间邻域进行滤波。经滤波的图像被用于对每个颜色通道进行缩放(scale)以获得LDR帧(ChiuK.，HerfM.，ShirleyP.，SwamyS.，WangC.，ZimmermanK.：SpatiallyNonuniformScalingFunctionsforHighContrastImagesf.Interface，5月(1993年))。更复杂的解决方案使用金字塔形方法，金字塔(pyramid)的每个级别与空间邻域的不同大小相对应，使用金字塔的每个级别对每个颜色通道进行压缩，并且混合所有级别的所有结果提供经色调映射的帧。(RahmanZ.，JobsonD.：Amultiscaleretinexforcolorrenditionanddynamicrangecompression，(1996年)SPIE国际研讨会)。一些其他的通常的解决方案使用频率子带分解以保留更精细的细节。子带被分开地处理，然后被组合以获得经色调映射的帧(TumblinJ.：LCIS：Aboundaryhierarchyfordetail-preservingcontrastreduction。(1999年)第26届年会的会议记录)。摄影色调再现(PTR)[RSSF02]算子依赖于拉普拉斯(Laplacian)金字塔分解(ReinhardE.，StarkM.，ShirleyP.，FerwerdaJ.：Photographictonereproductionfordigitalimages。ACMTrans.Graph.21，3(2002年7月)，267{276)。阈值允许选择最佳的邻域的大小以用于每个像素而不是混合。其他众所周知的解决方案是使用梯度域压缩(GradientDomainCompression，GDC)以便在梯度域中执行色调映射(FattalR.，LischinskiD.：Gradientdomainhighdynamicrangecompression。ACMTransactionsonGraphics(2002年))。根据高斯金字塔(gaussianpyramid)的每个级别的像素周围的空间邻域来计算出梯度。基于梯度的量级对每个像素确定缩放因子。以全分辨率组合所有梯度场，以获得经压缩的梯度场。因为该梯度场不总是可积分的(integrable)，所以使用接近的近似来计算经色调映射的帧。将TMO单独地应用于输入的视频序列的每个帧通常导致时间不相干性。存在两种主要类型的时间不相干性：闪烁伪像(flickeringartifact)和时间亮度不相干性(temporalbrightnessincoherency)。闪烁伪像是由于TMO或者场景。实际上，由于TMO的闪烁伪像由连续帧中的色调映射曲线的快速改变而引起。因此，类似的HDR辉度值被映射到不同的LDR值。由于场景的闪烁与照明条件的快速改变相对应。应用TMO而不考虑在时间上接近的帧导致映射到类似的LDR值的不同的HDR值。关于时间亮度不相干性，其在色调映射处理的过程期间没有保留相关的HDR帧的亮度时发生。因此，在HDR序列中被感知为最亮的帧未必在LDR序列中是最亮的。和闪烁伪像不同，亮度不相干性未必沿着连续帧而出现。总之，将全局的或局部的TMO单独地应用于HDR视频序列的每个帧导致时间不相干性。已经设计出基于色调映射曲线的时间滤波的解决方案(BoitardR.，ThoreauD.，BouatouchK.，CozotR.：TemporalCoherencyinVideoToneMapping,aSurvey。HDRi2013即FirstInternationalConferenceandSMEWorkshoponHDRimaging(2013年)，第1号，1-6页)。然而，这些技术仅对全局TMO起作用，因为局部TMO具有非线性的且在空间上变化的色调映射曲线。对于局部TMO，保留时间相干性在于防止色调映射在时间和空间上的大的变化。基于GDC算子的解决方案已经由Lee等人提出(LeeC.，KimC.-S.：GradientDomainToneMappingofHighDynamicRangeVideos。2007IEEEInternationalConferenceonImageProcessing(2007年)，第2号，IEEE，III-461-III464页。)。首先，该技术对连续的HDR帧的每个对执行逐像素(pixel-wise)的运动估计，然后将得到的运动场用作对应的LDR帧的时间相干性的约束。该约束确保通过运动矢量相关联的两个像素被进行相似的色调映射。尽管由该技术带来了可见的改进，但是仍然存在若干缺点。首先，该解决方案仅保留连续帧的对之间的时间相干性。第二，其取决于运动估计的稳健性。当该估计失败时，时间相干性约束被应用于属于不同对象的像素。该运动估计问题将被称作不相干的运动矢量。而且，该技术仅对一种局部TMO即GDC算子而设计，无法扩展到其他TMO。
技术实现思路
为了解决现有技术的上述缺点的至少一个，并且尤其为了使局部TMO的空间邻域的计算一直稳定，在要被本文档来自技高网...

【技术保护点】
一种对视频序列进行色调映射的方法，其中在要被进行色调映射的视频序列的每个帧上应用局部色调映射算子，其特征在于，在要被进行色调映射的帧(F0)的经时间滤波的版本(LTF)上确定由所述局部色调映射算子所使用的空间邻域。

【技术特征摘要】
【国外来华专利技术】2013.05.23 EP 13305668.91.一种对视频序列进行色调映射的方法，其中在要被进行色调映射的视
频序列的每个帧上应用局部色调映射算子，其特征在于，在要被进行色调映
射的帧(F0)的经时间滤波的版本(LTF)上确定由所述局部色调映射算子
所使用的空间邻域。
2.根据权利要求1所述的方法，其中该方法包括
-获得(100)要被进行色调映射的帧的每个像素的运动矢量；以及
-使用所估计的运动矢量对视频序列的一些帧进行运动补偿(200)，并
且对经运动补偿的帧进行时间滤波，以获得要被进行色调映射的帧(F0)的
经时间滤波的版本(LTF)。
3.根据权利要求2所述的方法，其中该方法还包括
-检测不相干的运动矢量，并且只有在所估计的运动矢量是相干的情况
下才使用该运动矢量对要被进行色调映射的帧的每个像素进行时间滤波。
4.根据权利要求3所述的方法，其中当要被进行色调映射的帧(F0)与
对应于该运动矢量的经运动补偿的帧之间的误差(εn(x，y)，εb，n(x，y)，εf，n(x，y))
大于阈值时，运动矢量被检测为不相干。
5.根据权利要求2至4中的一项所述的方法，其中获得时间滤波器的长
度N，借助于估计的运动矢量通过关于要被进行色调映射的帧(F0)的当前
帧...

【专利技术属性】
技术研发人员：R博伊塔德，D索罗，K布阿塔奇，R科佐特，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR