局部多等级色调映射运算器制造技术

本公开涉及局部多等级色调映射运算器。提供了将局部多等级色调映射应用于相对高动态范围的图像的技术。全局比率运算器可以被应用于从输入的高动态范围(HDR)图像导出的亮度值以生成包括亮度比率值的高分辨率灰度比率图像。包括至少两个不同灰度比率图像的加权组合的局部多等级灰度比率图像可以被生成。至少两个不同灰度比率图像中的每一个可以具有不同的空间分辨率级别。局部多等级灰度比率图像中的比率值可以与从输入的HDR图像导出的亮度值一起被用于生成色调映射灰度图像。

【技术实现步骤摘要】
本申请是申请号为201280011203.X、申请日为2012年3月1日、专利技术名称为“局部多等级色调映射运算器”的专利技术专利申请的分案申请。相关申请的交叉引用本申请主张2011年3月2提交的美国临时专利申请No.61/448,606的优先权，通过引用将其全部内容并入此。本申请涉及2008年1月7提交的美国专利申请号No.11/568,030，通过引用将其全部内容并入此。
本专利技术总体涉及图像处理，并且特别地涉及高动态范围图像处理。
技术介绍
人类视力可能够鉴别高达1：10,000或更大的对比率。最常规的数字图像格式(所谓的24比特格式)使用高达24比特来存储图像中的每个像素的颜色和亮度信息二者。这种格式可以称为“输出参考标准”，因为它们没有试图保存除了可由过去最常使用类型的遗留电子显示器再现的图像信息之外的图像信息。由受让人所开发的显示器技术等等能够再现具有高动态范围(HDR)的图像。这种显示器能够再现比传统显示器更忠实地代表真实世界场景的图像。为了支持向后兼容性以及新HDR显示器技术，HDR图像可以由具有附加元数据的色调映射图像来代表。一方面，色调映射图像被用来表示普通动态范围图像(例如在遗留显示器上)。另一方面，附加元数据可以与色调映射图像一起被用来生成、恢复或表示HDR图像(例如通过HDR显示器)。一些不同的色调映射运算器(TMO，tone mapping operator)可以被用来基于HDR图像创建色调映射图像。在这些TMO之中，Reinhard全局摄影运算器被用来相对高效地产生色调映射图像。然而，Reinhard运算器的缺点在于丢失了相对大量的图像细节，在明亮的区域中尤其如此。双边过滤器被用来产生相对高质量的色调映射图像。然而，双边过滤器的计算成本非常高，可能是例如Reinhard运算器的相对简单的TMO的六十倍。诸如直方图调整运算器或梯度域运算器的其他TMO被发现不如上文提到的那些TMO工作的好。美国专利第6285798号描述了一种用于具有大于期望的输出显示媒体的动态范围的数字图像的计算机处理的自动色调调整方法。在此章节中描述的方法是可以实行的方法，但不一定是之前已经构想或实行的方法。因此，除非特别指出，否则不应当假定此章节中描述的任何方法仅由于它们包含于此章节中而被看作是现有技术。类似地，除非特别指明，否则关于一个或多个方法而标识出的问题不应当基于此章节而假定已经在任何现有技术中被识别出。附图说明作为例子而并非作为限制在附图中示出本专利技术，在附图中相似的参考号码指代相似的元素，其中：图1A示出了根据本专利技术的一些可能实施例的示例性局部多等级色调映射系统；图1B是示出根据本专利技术一些可能实施例的示例性局部多等级比率运算器的框图；图2示出了说明根据本专利技术一些可能实施例的示例性局部多等级图像处理方法的框图；图3示出了说明根据本专利技术一些可能实施例的示例性局部多等级(比率)运算器的框图；图4A示出了根据本专利技术的可能实施例的示例性处理流程；图4B示出了根据本专利技术的可能实施例的示例性过程流程；和图5示出了根据本专利技术的可能实施例的示例性硬件平台，在该平台上可以实现如这里描述的计算机或计算设备。具体实施方式这里描述涉及局部多等级色调映射技术的示例性可能实施例。在下面的描述中，出于说明的目的，阐明了许多特定的细节以提供对本专利技术的透彻理解。然而，显而易见地，本专利技术可以在不具有这些特定细节的情况下被实施。在其他实例中，已知的结构和设备没有被详尽地描述以避免不必要地包括、模糊或混淆本专利技术。示例性实施例在这里按照以下大纲被描述：1.总体概览2.多等级局部色调映射系统3.多等级局部色调映射运算器4.局部多等级图像处理方法5.局部多等级运算器6.示例性流程7.实现机制－硬件概览8.等同物、扩展、替代物和杂项1.总体概览该概览给出了本专利技术的可能实施例的一些方面的基本描述。应当指出，该概览不是该可能实施例的各方面的扩展性的或详尽的总结。此外，应当指出，该概览不旨在被看成是标识了该可能实施例的任何特别重要的方面或元素，也不旨在被看成是描述了该可能实施例的任何范围，更不是描述了本专利技术总体。该概览仅以精简且简单的格式介绍了与示例性可能实施例有关的一些概念，并且仅应当被看成是以下给出的示例性可能实施例的更详细描述的概念性前序。在一些可能实施例中，图像格式可以被用来支持HDR图像呈现以及非HDR图像呈现。这里讨论的图像格式的例子可以是JPEG、MPEG、AVI、TIFF、BMP、GIF或其他适合的格式。这种图像的一个特定示例是JPEG-HDR，其代替JPEG而被用来同时支持新HDR显示设备上的HDR图像呈现和HDR或非HDR显示设备上的非HDR图像呈现。JPEG-HDR存储色调映射图像到如JPEG中定义的标准位置中(例如比特流中、光盘格式中等)并且将附加元数据存储到可被非HDR显示设备忽略的新位置中。附加元数据可以与色调映射图像一起被用来生成/重新存储原始HDR图像的HDR版本。在一些可能的实施例中，如这里描述的附加元数据是利用如这里描述的技术从原始HDR图像导出的局部多等级灰度比率图像。在一些可能实施例中，例如扩展YCC色域的色域可以在这里与图像格式一起使用以能够实现如从色调映射图像和局部多等级灰度比率图像生成/恢复的原始HDR图像的HDR版本中的每个像素处的完全恢复。在一些可能实施例中，如这里描述的技术将色调映射图像中的完全黑色的色调映射值的数目最小化到低于阈值(例如色调映射图像中的像素总数的0.01％、0.1％、1％、2％等)以能够实现原始HDR图像的HDR版本中的每个像素处的完全恢复。根据这里的技术，作为使用压缩全局对比度以适合期望的亮度值输出范围并且丢失对人类视觉感知重要的局部对比度的全局色调映射(TM)运算器的替代，可以使用局部多等级色调映射处理来生成改进了在全局TM运算器中已经被折中的局部对比度、同时原样保留总体映射的的色调映射图像。在一些可能的实施例中，局部多等级TM处理使用全局曲线(例如直方图调整TM曲线)来映射亮度值而不会丢失细节。在一些可能的实施例中，局部多等级TM处理被高效执行而不在过程中产生/引入新的伪像(例如光环)。在特定的实施例中，高效递归处理被实施从而以高计算效率执行如这里描述的局部多等级处理。在特定的可能实施例中，局部多等级处理仅花费了比由全局TM运算器进行的TM处理多30％的时间。在一些可能的实施例中，输入HDR图像被载入并且其亮度值被转换到对数域中。直方图调整TM曲线被计算并且被应用于亮度值从而确定全局比率灰度图像。如这里所使用的那样，比率图像通常是指包括色调映射前图像(例如输入HDR图像或其对数等同物)中的亮度值与色调映射后图像(例如色调映射图像或其对数等同物)中的亮度值之间的比率值的图像。在一些可能的实施例中，比率图像在逻辑上被表示为在非对数域中的每个像素位置处被色调映射后图像除的色调映射前图像，或者等同地表示为在对数域中的每个像素位置处减去色调映射后图像的色调映射前图像。在一些其他可能的实施例中，比率图像在逻辑上表示为在非对数域中的每个像素位置处被色调映射前图像除的色调映射后图像，或等同地表示为在对数域中的每个像素位置处减去色调映射前图像的色调映射后图像。在所有这些实施本文档来自技高网...

【技术保护点】
一种用于局部色调映射的方法，所述方法包括：接收输入高动态范围图像(204)；将输入高动态范围图像中的亮度值转换至对数域中以生成对数输入图像(212)；将全局色调映射运算器(216)应用于所述对数输入图像以生成对数全局色调映射图像；基于所述对数全局色调映射图像和所述输入高动态范围图像的亮度值生成高分辨率比率图像(228)；基于高分辨率比率图像生成至少两个不同等级比率图像(220)，所述至少两个不同等级比率图像中的每个图像具有不同的空间分辨率级别；合并所述至少两个不同等级比率图像以生成包括所述至少两个不同等级比率图像的加权组合的局部多等级比率图像，其中，所述局部多等级比率图像是利用递归处理而获得的；将所述局部多等级比率图像与所述对数输入图像相加(222)以生成对数域中的亮度输出色调映射图像(232)。

【技术特征摘要】
2011.03.02 US 61/448,6061.一种用于局部色调映射的方法，所述方法包括：接收输入高动态范围图像(204)；将输入高动态范围图像中的亮度值转换至对数域中以生成对数输入图像(212)；将全局色调映射运算器(216)应用于所述对数输入图像以生成对数全局色调映射图像；基于所述对数全局色调映射图像和所述输入高动态范围图像的亮度值生成高分辨率比率图像(228)；基于高分辨率比率图像生成至少两个不同等级比率图像(220)，所述至少两个不同等级比率图像中的每个图像具有不同的空间分辨率级别；合并所述至少两个不同等级比率图像以生成包括所述至少两个不同等级比率图像的加权组合的局部多等级比率图像，其中，所述局部多等级比率图像是利用递归处理而获得的；将所述局部多等级比率图像与所述对数输入图像相加(222)以生成对数域中的亮度输出色调映射图像(232)。2.根据权利要求1所述的方法，进一步包括：将所述亮度输出色调映射图像的像素值从对数域转换(226)到线性域中，并且组合转换得到的线性亮度输出色调映射值与输入高动态范围图像的色度值以生成彩色输出色调映射图像(236)。3.根据权利要求1所述的方法，进一步包括：基于所述亮度输出色调映射图像的像素值计算(224)参考最大亮度值(234)；从所述亮度输出色调映射图像的像素值中减去(226)所述参考最大亮度值以生成色域校正亮度色调映射图像；将色域校正亮度色调映射图像的亮度值从对数域转换(226)到线性域中；以及组合转换得到的线性色域校正亮度色调映射值与所述输入高动态范围图像的色度值以生成彩色输出色调映射图像。4.根据权利要求1所述的方法，其中，所述全局色调映射运算器基于全局亮度直方图(214)被计算。5.根据权利要求1所述的方法，其中，所述至少两个不同等级比率图像包括所述高分辨率比率图像。6.根据权利要求1所述的方法，其中，所述高分辨率比率图像是具有...

【专利技术属性】
技术研发人员：G·J·沃德，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US