具有连续性约束和可逆性约束的HDR成像整形函数制造技术

提供了用于生成前向整形函数和后向整形函数的集合以对高动态范围(HDR)图像进行高效编码的方法和系统。给定前向整形函数的初始集合，通过以下方式构造输出前向整形函数：a)使用前向整形函数来生成对应的后向整形函数的第一集合，b)使用具有一组公共枢轴点的多段多项式表示来生成后向整形函数的第二集合，c)通过优化后向整形函数的第二集合的多项式表示以最小化连续段之间的差距值，生成后向整形函数的输出集合，以及d)使用后向整形函数的输出集合，通过最小化原始输入HDR码字与重构的HDR码字之间的距离来生成前向整形函数的输出集合。合。

【技术实现步骤摘要】
【国外来华专利技术】具有连续性约束和可逆性约束的HDR成像整形函数
[0001]相关申请的交叉引用
[0002]本申请要求均于2020年4月21日提交的美国临时申请第63/013,063号和欧洲专利申请第20170567.0号的优先权，这两个申请中的每一个都通过引用以其全文并入本文。


[0003]本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及生成用于HDR成像的满足连续性约束和可逆性约束两者的一系列整形函数。

技术介绍

[0004]如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene
‑
referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display
‑
referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为术语可以在任一意义上例如可互换地使用。
[0005]如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。
[0006]实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性或伽马光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强或高动态范围的图像。还可以使用高精度(例如，16位)浮点格式来存储和分布HDR图像，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
[0007]大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费类HDTV的范围从300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了与HDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM
‑
4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。
[0008]在传统图像流水线中，使用非线性光电函数(OETF)来量化所捕获的图像，该非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。然后，信号在被显示在显示器上之前在接收器上通过电光传递函数(EOTF)来处理，该电光传递函数将视频信号值转化成输出屏幕颜色值。这样的非线性函数包括在ITU
‑
R Rec.BT.709和BT.2020中记录的传统“伽马”曲线、在SMPTE ST 2084中描述的“PQ”(感知量化)曲线以及在Rec.ITU
‑
R BT.2100中描述的“混合对数型伽马(HybridLog
‑
gamma)”或“HLG”曲线。
[0009]如本文所使用的，术语“整形(reshaping)”或“重新映射”表示数字图像从其原始位深度和原始码字分布或表示(例如，伽马、PQ或HLG等)到相同或不同位深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将前向整形应用于10位或12位PQ编码的HDR视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号进行解压缩(可能会或可能不会进行整形)之后，接收器可以应用逆向(或后向)整形函数，以将信号恢复为其原始码字分布和/或实现更高的动态范围。
[0010]整形可以是静态的或动态的。在静态整形中，生成单个整形函数并将其用于单个流或跨多个流使用。在动态整形中，可以基于输入视频流特性来定制整形函数，这些特性可以在流级、场景级甚至帧级改变。动态整形是优选的；然而，某些设备可能没有足够的计算能力来支持它。如本专利技术人在此所理解的，期望用于在显示视频内容(尤其是HDR内容)时进行高效的图像整形的改进技术。
[0011]在本节中描述的方法是可以追寻的方法，但不一定是先前已经设想到或追寻的方法。因此，除非另有指明，否则不应该认为本节中所描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
[0012]在附图中以举例而非限制的方式来图示本专利技术的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：
[0013]图1A描绘了根据现有技术的使用整形函数的用于HDR数据的示例单层编码器；
[0014]图1B描绘了根据现有技术的与图1A的编码器相对应的示例HDR解码器；
[0015]图2描绘了根据本专利技术的实施例的用于设计整形函数的示例过程；
[0016]图3描绘了根据本专利技术实施例的用于减小后向整形函数的多段表示中的两个二阶多项式段之间的差距的示例过程；以及
[0017]图4描绘了根据实施例的使用整形函数的示例编码器。
具体实施方式
[0018]本文描述了用于图像的高效编码的图像整形技术。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本专利技术，没有详尽地描述众所周知的结构和设备。
[0019]概述
[0020]本文描述的示例实施例涉及图像整形。在实施例中，在包括一个或多个处理器的装置中，处理器接收HDR和SDR中的参考图像的输入对。给定使用参考HDR和SDR图像来生成的前向整形函数的初始集合，通过以下方式构造输出前向整形函数和输出后向整形函数的集合：a)使用前向整形函数的初始集合来生成对应的后向整形函数的第一集合，b)生成后向整形函数的第二集合，其中每个后向整形函数是使用具有枢轴点的公共集合的多段多项式表示来表示的，c)通过优化后向整形函数的第二集合的多项式表示以最小化连续段之间
的差距输出值，来生成后向整形函数的输出集合，以及d)使用后向整形函数的输出集合，通过最小化参考HDR值与重构的HDR值之间的距离来生成前向整形函数的输出集合。
[0021]在生成其中段之间的差距值被最小化的输出后向整形函数的实施例中，处理器接收第一动态范围(例如，SDR)中的输入图像的第一集合和第二动态范围(例如，HDR)中的输入图像的第二集合，其中，输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用处理器生成整形函数的方法，所述方法包括：访问第一动态范围中的输入图像的第一集合和第二动态范围中的输入图像的第二集合，其中，所述输入图像的第一集合与所述输入图像的第二集合之间的对应对表示相同的场景；访问基于所述输入图像的第一集合和所述输入图像的第二集合生成的后向整形函数的第一集合，其中，所述后向整形函数的第一集合中的每个后向整形函数将像素码字从所述第一动态范围中的第一码字表示映射到所述第二动态范围中的第二码字表示，并且每个后向整形函数由具有一组公共枢轴的后向整形函数的基于段的表示的整形索引参数和段参数来表征；以及调整所述后向整形函数的第一集合中的所述段参数，以生成具有与所述后向整形函数的第一集合相同的一组公共枢轴但具有经调整的基于段的多项式表示的后向整形函数的输出集合，其中，调整后向整形函数中的段参数以生成更新的多项式系数包括：针对第一枢轴与第二枢轴之间的后向整形函数的段，其中所述段在原始多项式表示中由三个原始多项式系数表示：i.访问所述段的所述三个原始多项式系数；ii.将失真参数初始化为第一失真值；以及iii.针对所述段的第一个更新的多项式系数的一个或多个新值：a.基于所述第一枢轴和所述第二枢轴、所述第一个更新的多项式系数的新值、以及根据所述段的所述原始多项式表示的所述第一枢轴和所述第二枢轴的对应输出，求解所述段的第二个更新的多项式系数和第三个更新的多项式系数；以及b.在满足失真标准时，用所述更新的多项式系数来更新所述段的多项式系数的最优集合。2.如权利要求1所述的方法，其中，求解所述段的第二个更新的多项式系数和第三个更新的多项式系数包括：针对所述段的第二个更新的多项式系数和第三个更新的多项式系数，求解基于所述第一枢轴和所述第二枢轴、所述第一个更新的多项式系数的新值、以及根据所述段的所述原始多项式表示的所述第一枢轴和所述第二枢轴的对应输出的方程组。3.如权利要求1或2所述的方法，其中，满足所述失真标准包括：在求解所述更新的多项式系数之后，根据所述更新的多项式系数和所述原始多项式系数，计算新的失真参数值；将所述第一失真值与所述新的失真参数值进行比较，以及如果所述新的失真参数值小于所述第一失真值，则满足所述失真标准，并且用所述新的失真参数值更新所述第一失真值。4.如权利要求3所述的方法，其中，计算所述新的失真参数值包括：针对所述段内的所有码字，计算使用所述原始多项式表示和所述更新的多项式表示来生成的输出之间的累积误差。5.如权利要求1至4中任一项所述的方法，进一步包括基于所述输出后向整形函数的集合生成输出前向整形函数的集合，其中，前向整形函数将像素码字从所述第二动态范围中的第二码字表示映射到所述第一动态范围中的所述第一码字表示。
6.如权利要求5所述的方法，其中，生成与输出后向整形函数相对应的输出前向整形函数包括：针对所述第二动态范围中的每个输入码字，识别所述输出后向整形函数的使由所述后向整形函数生成的码字与所述输入码字之间的差最小化的码字索引。7.如权利要求1至6中任一项所述的方法，其中，所述整形索引参数包括所述第二动态范围中的输入图像中的平均光亮度的测量。8.如权利要求1至7中任一项所述的方法，其中，所述第一动态范围包括...

【专利技术属性】
技术研发人员：苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：