编码、解码和表现高动态范围图像制造技术

提供用于通过为亮度比和颜色残差值的形式的HDR重构数据编码和解码包含色调映射（TM）图像的图像数据的技术。在示例性的实施例中，基于高动态范围（HDR）图像和衍生色调映射（TM）图像在单独像素基础上产生亮度比值和颜色空间的颜色通道中的残差值，该衍生色调映射（TM）图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变。具有从亮度比值和颜色通道残差值导出的HDR重构数据的TM图像可在图像文件中被输出到例如用于解码、呈现和/或存储的下游装置。图像文件可被解码以产生被恢复的没有颜色改变的HDR图像。

【技术实现步骤摘要】
【国外来华专利技术】编码、解码和表现高动态范围图像对相关申请的交叉引用本申请要求在2011年4月15日提交的美国临时专利申请No. 61/476174和在2011年10月28日提交的美国专利临时申请No. 61/552868的优先权，在这里通过引用并入它们的全部内容。
本专利技术总体上涉及图像处理，特别是涉及编码、解码和表现高动态范围图像。
技术介绍
由受让人以及其它人开发的显示器技术能够再现具有高动态范围（HDR)的图像。与常规的显示器相比，这种显示器可再现更忠实地表现真实世界场景的图像。为了支持向后兼容性以及新的HDR显示技术，可通过具有包含灰度级亮度比的附加元数据的色调映射图像表现HDR图像。另一方面，色调映射图像可被用于表现正常动态范围图像(例如，在传统显示器上)。另一方面，附加元数据可与色调映射图像一起使用以产生、恢复或表现HDR图像(例如，通过HDR显示器)。但是，色调映射图像可包含与操作图像的用户有关地或者与用于产生色调映射图像的特定色调映射操作器有关地出于各种原因而导致的一个或更多个颜色改变（coloralteration)。例如，为了产生更具美感的图像，用户可改变与图像中的像素中的一些或全部有关的色调信息。另外，色调映射操作器可在各种颜色通道中执行不同的黑或白裁剪（clipping)，并且可例如在图像的相对曝光不足或者曝光过度区域中引入颜色改变。在现有的技术中，当下游的解码器尝试从色调映射图像和伴随的灰度级亮度比重构HDR图像时，色调映射图像中的这些颜色改变是难以或者不能去除的。在本部分中描述的方法是可探究的方法，但未必是以前已构想或探究的方法。因此，除非另外指示，不应假定在本部分中描述的方法中的任一个由于被包含于本部分就是被当作现有技术。类似地，除非另外指示，参照一个或更多个方法认识到的问题不应基于本部分假定为已在任何现有技术中被认识到。【附图说明】在附图中，作为例子而不是限制示出本专利技术，并且在附图中，相似的附图标记指的是相似的要素，并且，图I示出根据本专利技术的一些可能的实施例的示例性HDR图像编码器；图2示出根据本专利技术的一些可能的实施例的示例性HDR图像解码器；图3A和图3B示出根据本专利技术的一些可能的实施例的示例性的处理流程；以及图4示出根据本专利技术的一些可能的实施例的在其上可实现这里描述的计算机或计算装置的示例性硬件平台。图5示出黑到白的梯度上的典型照相机中的不同的颜色传感器的变化的饱和度特性。图6A和图6B示出将图像数据从照相机传感器颜色空间转换成执行事后白平衡的监视器颜色空间的本系统的实施例。图7示出白平衡校正技术的实施例。【具体实施方式】在这里描述与图像处理技术有关的示例性的可能实施例。在以下的描述中，出于解释的目的，为了能够彻底地理解本专利技术，阐述大量的特定细节。但是，很明显，可以在没有这些特定的细节的情况下实现本专利技术。在其它的情况下，为了避免不必要地使本专利技术变得难解、模糊或者混乱，没有描述公知的结构和器件的详尽的细节。这里，根据以下的概述来描述示例性实施例：I.总体概述2. HDR图像编码器3.白平衡校正4. HDR图像解码器5.示例性处理流程6.实现机构一硬件概述7.等同、扩展、替代和混杂I.总体概述本概要给出本专利技术的可能的实施例的一些方面的基本描述。应当注意，本概要不是可能的实施例的各方面的广泛或详尽的概括。并且，应当注意，本概要不应被理解为标识可能的实施例的任何特别重要的方面或要素，也不是要特别地将可能的实施例的任何范围，也不是要一般地将本专利技术的任何范围划界。本概要仅以简洁的形式给出与示例性的可能的实施例有关的一些概念，并且应被理解为仅仅是以下给出的示例性的可能的实施例的更详细的描述的概念性的序言。为了在各种图像呈现装置上显示图像，色调映射操作器（TMO)将输入HDR图像处理成色调映射（TM)基本图像。TM基本图像可包含相对于输入图像的颜色改变(例如，色调变化，颜色裁剪（color clipping)、艺术风格等)。在一些技术中，TM基本图像连同亮度比一起被提供给下游的图像解码器，以重构等同于输入HDR图像的HDR图像。但是，下游的图像解码器不能根据TM基本图像和灰度级亮度比去除重构的HDR图像中的颜色改变。作为结果，颜色改变会在重构的HDR图像中保持明显。相反，基于输入HDR图像和TM基本图像，根据这里描述的技术的HDR图像编码器不仅产生亮度比，而且产生颜色残差值（color residual value)。亮度比和颜色残差值可统一表示为HDR重构数据。可选地和/或附加地，亮度比被转换至对数域中以支持相对宽范围的亮度值。可选地和/或附加地，得到的对数亮度比和颜色残差值被量化。可选地和/或附加地，量化后的对数比和颜色残差值被存储于残差图像中。量化后的对数比和颜色残差值或一些实施例中的残差图像与TM基本图像一起被提供给下游的图像解码器。可选地和/或附加地，与量化后的对数比和颜色残差值有关的参数(例如，范围限度等）也与TM基本图像一起被提供。这里的TMO可自由地对于具有低（黑）或高（白）亮度水平的各像素在颜色通道中执行颜色裁剪。并且，这里描述的TMO不需要保持在各像素处的色调。在这里描述的技术中，用户可自由地基于图像内容(例如，人像、室内图像、户外场景、夜景、黄昏等）或应用（例如，用于电影、海报、婚礼照片、杂志等中）选择ΤΜ0。可以有意且自由地使用颜色裁剪或修改以产生图像的艺术效果。这里的HDR图像编码器和解码器支持通过可引入宽范围的可能的颜色改变的不同类型的编辑软件和照相机制造商实现的ΤΜ0。在这里描述的技术中，HDR编码器向HDR解码器提供颜色残差值。HDR解码器又利用颜色残差值以防止在重构的HDR图像中存在颜色改变(或者使其最小化)。在这里描述的技术中，可以使用位流和/或图像文件以存储并向下游的图像观察器或解码器提供TM基本图像和它们的各自的HDR重构数据以用于解码和/或呈现。在这里描述的技术中的图像格式支持通过不同类型的编辑软件和照相机制造商实现的ΤΜ0。这里描述的图像格式的例子可包含但不限于标准JPEG图像格式(包含例如JPEG (HDR)等。在示例性实施例中，JPEG-HDR图像格式被用于支持存储具有亮度比和颜色残差值的TM基本图像。可选地和/或附加地，存储于图像文件中的TM基本图像和残差图像中的一个或两者被压缩。可通过使用JPEG标准或不同的方法执行这里描述的压缩。不支持这里描述的技术中的HDR图像处理的图像解码器或观察器简单地打开图像文件中的TM基本图像。另一方面，这里描述的技术中的HDR图像解码器被配置为将图像文件读取/解析为TM基本图像及其相应的亮度比和颜色残差值并且恢复/重构HDR图像。这里描述的重构的HDR图像没有在原输入HDR图像中不存在但通过TMO被引入到TM基本图像中的颜色改变。在一些可能的实施例中，这里描述的机构形成图像编码器的一部分，该图像编码器包括但不限于手持装置、游戏机、剧院系统、家庭娱乐系统、电视、膝上型计算机、笔记本计算机、蜂窝式无线电电话、电子书阅读器、销售终端、台式计算机、计算机工作站、计算机售货亭和各种其它类型的终端及处理单元。本领域技术人员将容易想到这里描述的优选实施例和总体原理和特征的各种修改。因此，本公开不是要局限于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.04.15 US 61/476,174;2011.10.28 US 61/552,8681.一种方法，包括： 接收高动态范围（HDR)图像； 接收基于所述HDR图像产生的色调映射（TM)图像，该TM图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变； 通过在单独像素的基础上用所述TM图像的亮度值除所述HDR图像的亮度值，在单独像素的基础上计算亮度比值； 将所述亮度比值应用于所述HDR图像以产生重新映射图像； 基于所述重新映射图像和所述TM图像，确定颜色空间的颜色通道中的残差值；以及 输出具有HDR重构数据的TM图像，该HDR重构数据是从所述亮度比值和所述残差值导出的。2.根据权利要求1的方法，还包括将所述重新映射图像和TM图像中的至少一个从不同的颜色空间转换成所述残差值的颜色空间。3.根据权利要求1的方法，其中，所述颜色空间是YCbCr颜色空间，并且其中，所述颜色空间的所述颜色通道包含Cb颜色通道和Cr颜色通道。4.根据权利要求3的方法，其中，所述颜色空间的所述颜色通道中的残差值被计算为所述颜色通道中的从所述重新映射图像导出的第一像素值与所述颜色通道中的从TM图像导出的第二像素值之间的差值。5.根据权利要求1的方法，其中，TM图像中的所述一个或更多个颜色改变中的至少一个是由在一个或更多个像素处的色调的箝位或修改中的一个导致的。6.根据权利要求1的方法，其中，所述HDR重构数据包含具有从所述亮度比值导出的量化值和所述颜色空间的所述颜色通道中的所述残差值的残差图像。7.根据权利要求6的方法，其中，所述HDR重构数据还包含规定所述量化值的范围的参数。8.根据权利要求1的方法，其中，所述HDR重构数据存储于所述图像文件的应用段中，其中所述TM图像为所述图像文件中的基本图像。9.根据权利要求1的方法，其中，所述图像文件是JPEG-HDR格式。10.根据权利要求1的方法，还包括对于所述HDR图像执行一个或更多个完整性检查。11.根据权利要求1的方法，还包括允许任何色调映射操作器的任何色调映射操作和/或TM图像中的任意数量的像素上的任何颜色改变。12.根据权利要求1的方法，还包括用零或比阈值小的值替代TM图像中的零个、一个或更多个颜色通道零值。13.根据权利要求1的方法，还包括向所述HDR图像、TM图像或重新映射图像中的至少一个应用颜色空间转换。14.根据权利要求1的方法，其中，TM图像与重新映射图像之间的亮度残差值均为零。15.根据权利要求1的方法，其中，HDR图像是定点图像或浮点图像中的一个。16.根据权利要求1的方法，还包括对HDR图像执行色调映射操作器所要求的预处理操作，其中，预处理操作是颜色空间转换、伽马编码、伽马解码、下采样或上采样中的一个。17.根据权利要求1的方法，还包括在确定颜色空间的颜色通道中的残差值之前，接收与在TM图像中执行的伽马编码有关的信息并对TM图像执行伽马编码的逆操作以产生中间TM图像。18.根据权利要求1的方法，其中，HDR图像以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一图像格式中的一种被编码。19.一种方法,包括： 解析包含色调映射（TM)基本图像和HDR重构数据的图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变； 提取与量化亮度比值和颜色空间的颜色通道中的量化残差值有关的量化参数； 至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值；以及 通过使用TM基本图像、亮度比值和颜色空间的颜色通道中的残差值重构HDR图像。20.根据权利要求19的方法，其中，图像文件通过基于标准的图像解码器被解析。21.根据权利要求19的方法，其中，量化亮度比和量化残差值存储于残差图像中，并且其中，残差图像和TM基本图像通过使用公共过程被解量化和解压缩。22.根据权利要求19的方法，其中，TM基本图像包含任何色调映射操作器的任何色调映射操作和/或任意数量的像素上的任何颜色改变的结果。23.根据权利要求19的方法，其中，HDR图像是定点图像或浮点图像中的一个。24.根据权利要求19的方法，还包括执行颜色空间转换、伽马编码、伽马解码、下采样或上采样的操作。25.根据权利要求19的方法，其中，图像文件是JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或其它图像格式中的一种。26.—种方法,包括： 将色调映射（TM)基本图像和HDR重构数据编码成图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。27.—种方法,包括： 传送包含色调映射（TM)图像和H...

【专利技术属性】
技术研发人员：贾文辉，A·尼南，A·顿，G·J·沃德，G·王，
申请(专利权)人：杜比实验室特许公司，
类型：
国别省市：