用于具有视觉效果的图像的逆色调映射的方法技术

公开了一种用于具有计算机生成的图像分量的LDR图像的逆色调映射的方法和装置，这样的分量也称作视觉效果。公开的方法包括步骤：访问第一LDR图像，所述第一LDR图像是从渲染并合成进LDR参考图像或背景板的至少一个计算机生成的图像分量获得的；响应于从第一LDR图像的一部分和通过将第一通道逆色调映射应用于所述第一LDR图像获得的第一中间HDR图像的相应部分提取的信息确定HDR光线指示；通过将第二通道逆色调映射应用于LDR参考图像获得第二中级HDR图像；从使用HDR光线指示渲染并合成进第二中间HDR图像的计算机生成的图像分量获得第一HDR图像。

【技术实现步骤摘要】
用于具有视觉效果的图像的逆色调映射的方法
本专利技术涉及高动态范围成像领域，并且显著地解决了包含视觉效果的低动态范围内容的逆色调映射的问题。
技术介绍
本部分旨在向读者介绍可能与以下描述和/或要求保护的本专利技术的各个方面有关的领域的各个方面。该讨论被认为有助于为读者提供背景信息以便更好地理解本专利技术的各个方面。相应地，应该理解的是应从这个角度来理解这些陈述，而不是作为现有技术的承认。显示技术的最新进展开始允许要显示的扩大范围的色彩、亮度(luminance)和对比度。允许扩大图像内容的亮度或明度(brightness)范围的技术被称为高动态范围成像，通常简称为HDR。HDR图像具有比传统的(以下将低动态范围称为LDR)图像更高的白光水平(whitelevel)、更高的对比度或更高的比特深度(bitdepth)中的一个。现今，大量的遗留的LDR内容是可用的，其需要扩展到HDR图像，例如，HDTV广播内容或为传统电影投影而分级的故事片电影色彩。为了准备用于HDR显示设备的LDR内容，采用反向(reverse)或逆色调映射算子(inversetonemappingoperator，iTMO)。这样的算法处理图像内容中的亮度水平、对比度、色调和色度，其目的是恢复或重建原始场景的外观(appearance)。典型地，iTMO以传统的(即LDR)图像作为输入，以全局方式扩大该图像的色彩的亮度范围，并且随后局部地处理暗或亮区域以增强图像中的色彩的HDR外观。通常，生成的HDR图像是可信的，然而，在重建HDR图像时，LDR图像中存在的噪声、裁切(clipping)和量化可能会被放大。这对于包含视觉效果的图像来说尤其成问题。不仅在现今的电影制作中，并且在游戏中，视觉效果(以下称为VFX)覆盖了操纵除了在现场拍摄镜头期间(以下称为自然图像)捕获图像的工作流和/或创建计算机生成的图像的过程。在非限制性的示例中，VFX包括人为创建的添加到自然图像以生成最终的预期图像(以下称为作为包含VFX的图像)的视觉元素，如动画对象和人物、光线效果、透明对象(如火，烟和雾)。一些视觉特效与光线效果相关，例如镜面反射和投射阴影，以及具体地在图像中引起暗部或亮部。VFX通常是从场景中的光发射、反射、透射和吸收的物理模型创建的。这些物理光模型是所谓的VFX素材(VFXasset)的一部分。VFX素材包含VFX生成所需的所有光线、形状、纹理和运动的相关信息。物理光模型使用高数值精度。从这些模型渲染图像。这是将高精度效果制作成通常精度有限(例如，由于每个颜色通道和像素量化成10或12位)的图像的步骤。根据与游戏相关的另一示例，根据MPEG-4第11部分，在视听流中使用用于场景的MPEG-4二进制格式(BIFS)将图像和合成对象发送到消费者设备。然后，消费者设备渲染合成对象并将它们插入到图像中。再一次地，这类人工图像示出最高为图像信号的量化的高精度的高亮度、饱和色彩和其他光线效果。由于与VFX有关的LDR图像的部分显示出明显的高亮度、暗影、饱和色彩和通常高视觉质量的光线效果，因此通过包含VFX的LDR图像的逆色调映射方法产生的HDR图像中的低质量的VFX是尤其麻烦的。值得注意的是，可以预期的是，这样的HDR图像的一部分遭受裁切、亮度压缩、细节缺乏、饱和度改变、噪声放大和色带。尽管存在几种iTMO解决方案，如取决于部分图像或迭代的ITMO过程的不同iTMO，但这些方法都没有具体处理用VFX生成的图像的特异性。
技术实现思路
鉴于前述内容，需要一种新颖的iTMO，其目的在于提高包括VFX的HDR图像的视觉质量。本原理的突出想法是使用第一通道(pass)的逆色调映射从LDR图像生成HDR图像，并且使用来自通过第一通道iTMO获得的HDR图像的信息来再生成VFX以用于没有VFX的HDR图像。根据本公开的一个方面，公开了一种用于将具有至少一个计算机生成的图像分量(或至少一个视觉效果或至少一个合分量量)的称作第一LDR图像(LDRwVFX)的低动态范围图像逆色调映射成具有所述至少一个计算机生成的图像分量(或视觉效果)的称作第一HDR图像(HDRwVFX)的高动态范围图像的方法。该方法包括访问第一LDR图像，其中第一LDR图像是从渲染并合成进LDR参考图像(LDRw/oVFX)的至少一个计算机生成的图像分量获得的；响应于从所述第一LDR图像的一部分和第一中间HDR图像的相应部分提取的信息，确定HDR光线指示(lightingindication)，通过将逆色调映射应用于第一LDR图像，或在一个变型中，应用于第一LDR图像的子部分获得第一中间HDR图像的相应部分；通过将所述逆色调映射应用于所述LDR参考图像获得第二中间HDR图像；从使用HDR光线指示渲染并合成进第二中间HDR图像的至少一个计算机生成的图像分量获得第一HDR图像。因此，避免了与VFX相关的LDR图像的部分中的裁切、亮度压缩、细节缺乏、饱和度修改、噪声放大和带化，这是因为VFX是在具有较高的白光水平、较高对比度或较高的比特深度中的至少一个的HDR图像内生成的。有益地，与VFX相关的HDR图像中的部分的图像质量大大增强，因为从用于那些部分的VFX素材中完全检索信息。因此，参考LDR图像对应于其中插入了视觉效果的自然图像，其中视觉效果是除捕获参考图像的工作流之外创建的计算机生成的图像分量。因此，用于获得第一高动态范围(HDRwVFX)图像的HDR光线信息是从经色调映射的第一低动态范围(LDRwVFX)图像的采样和通过对参考图像(换言之，对于用于合成的自然图像)应用逆色调映射计算的第一中间HDR图像的对应采样生成的。根据具体的实施例，方法还包括选择与至少一个透明对象相关的至少一个计算机生成的图像分量的子集；并且其中将至少一个计算机生成的图像分量的选择的子集包括在LDR参考图像中，并且使用HDR光线指示来渲染不在选择的子集中的计算机生成的图像分量。因此，只有部分在逆色调映射中引起问题的视觉效果或计算机生成的图像分量使用2通道iTMO方法处理。在该变型中，因此，参考LDR图像对应于进一步处理以包括一些计算机生成的图像分量的自然图像。根据另一具体的实施例，确定HDR光线指示还包括从第一LDR图像的一部分和第一中间HDR图像的相应部分之间的差确定因子，将所述因子应用于所述至少一个计算机生成的图像分量(VFX素材)的光源的幅度。根据另一具体的实施例，确定所述HDR光线指示还包括从第一LDR图像的一部分和第一中间HDR图像的相应部分之间的差确定亮度相关因子，亮度相关因子应用于关于渲染进LDR图像的至少一个计算机生成的图像分量的亮度的至少一个计算机生成的图像分量(VFX素材)的光源的幅度。根据另一具体的实施例，HDR光线指示还响应于至少一个计算机生成的图像分量。有益地，迭代地应用该方法，以通过改变HDR光线指示来使将最终HDRwVFX图像与第一中间HDR图像之间进行比较，最终HDRwVFX图像的差最小化。根据另一具体的实施例，使用MPEG-4视频编码标准对LDR参考图像进行编码，以及使用用于场景的MPEG-4二进制格式(BIFS)对光源或至少一个场景对象进行编码。有益地，该实施例有益地允许对LDR图像进行自动iTMO处理本文档来自技高网...

【技术保护点】
1.一种用于将低动态范围图像逆色调映射成高动态范围图像的方法，所述低动态范围图像具有至少一个计算机生成的图像分量被称作第一LDR图像(LDR w VFX),所述高动态范围图像具有所述至少一个计算机生成的图像分量被称作第一HDR图像(HDR w VFX)，所述方法包括：访问(S110)所述第一LDR图像，所述第一LDR图像是通过渲染并合成到LDR参考图像(LDR w/o VFX)中的至少一个计算机生成的图像分量获得的；所述方法的特征在于，其还包括：响应于从所述第一LDR图像的部分以及第一中间高动态范围HDR图像的相应部分提取的信息，确定(S130)HDR光线指示，第一中间高动态范围HDR图像是通过将逆色调映射应用到所述第一LDR图像获得的；通过将所述逆色调映射应用到所述LDR参考图像获得(S140)第二中间HDR图像；从使用所述HDR光线指示渲染并合成到所述第二中间HDR图像中的所述至少一个计算机生成的图像分量获得(S150)所述第一HDR图像。

【技术特征摘要】
2017.03.09 EP 17305256.41.一种用于将低动态范围图像逆色调映射成高动态范围图像的方法，所述低动态范围图像具有至少一个计算机生成的图像分量被称作第一LDR图像(LDRwVFX),所述高动态范围图像具有所述至少一个计算机生成的图像分量被称作第一HDR图像(HDRwVFX)，所述方法包括：访问(S110)所述第一LDR图像，所述第一LDR图像是通过渲染并合成到LDR参考图像(LDRw/oVFX)中的至少一个计算机生成的图像分量获得的；所述方法的特征在于，其还包括：响应于从所述第一LDR图像的部分以及第一中间高动态范围HDR图像的相应部分提取的信息，确定(S130)HDR光线指示，第一中间高动态范围HDR图像是通过将逆色调映射应用到所述第一LDR图像获得的；通过将所述逆色调映射应用到所述LDR参考图像获得(S140)第二中间HDR图像；从使用所述HDR光线指示渲染并合成到所述第二中间HDR图像中的所述至少一个计算机生成的图像分量获得(S150)所述第一HDR图像。2.如权利要求1所述的方法，其中所述方法还包括选择(S170)与至少一个透明对象相关的所述至少一个计算机生成的图像分量的子集；其中，将所述选择的至少一个计算机生成的图像分量的子集包括(S180)进所述LDR参考图像；以及其中，不在选择的子集中的所述计算机生成的图像分量使用HDR光线指示渲染，并合成到所述第二中间HDR图像中。3.如权利要求1所述的方法，其中确定所述HDR光线指示还包括从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定因子，将所述因子应用于所述至少一个计算机生成的图像分量的光源的幅度。4.如权利要求1所述的方法，其中确定所述HDR光线指示还包括从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定亮度相关因子，将所述亮度相关因子应用于关于渲染到LDR图像中的所述至少一个计算机生成的图像分量的亮度的所述至少一个计算机生成的图像分量的光源的幅度。5.如权利要求3或4所述的方法，其中所述HDR光线指示还响应于所述至少一个计算机生成的图像分量。6.如权利要求1所述的方法，其中使用MPEG-4视频编码标准对所述LDR参考图像进行编码，以及使用用于场景的MPEG-4二进制格式(BIFS)对光源或至少一个场景对象进行编码。7.一种用于...

【专利技术属性】
技术研发人员：E乔利，J斯陶德，H盖尔莫德，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR