后向整形映射表最初作为前向整形映射表的逆生成。后向整形映射表通过利用前向整形的亮度码字替换内容映射的亮度码字来更新，前向整形的亮度码字通过对采样的亮度码字应用亮度前向映射来生成。亮度前向映射从前向整形映射表构造。后向整形映射表和亮度前向映射被用于生成后向整形映射以从前向整形的图像创建重构的图像。前向整形的图像与指定后向整形映射的图像元数据一起被编码在视频信号中。视频信号的接收方设备对前向整形的图像应用后向整形映射以创建第二动态范围的重构的图像。整形映射以创建第二动态范围的重构的图像。整形映射以创建第二动态范围的重构的图像。
【技术实现步骤摘要】
【国外来华专利技术】视频编解码器中的质量与计算复杂度之间的可调整的折衷
[0001]相关申请的交叉引用
[0002]本申请要求2019年10月17日提交的美国临时专利申请No.62/916,579和2019年10月17日提交的欧洲专利申请No.19203773.7的优先权，这些专利申请中的每一个特此通过引用整体并入。
[0003]本公开总体上涉及图像。更特别地，本公开的实施例涉及视频编解码器中的质量与计算复杂度之间的可调整的折衷。
技术介绍
[0004]如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，亮度)的范围(例如从最暗的黑(暗)到最明亮的白(高亮))的能力。在这个意义上，DR涉及“参考场景的”强度。DR还可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这个意义上，DR涉及“参考显示的”强度。除非在本文的描述中的任何点明确地指定特定的意义具有特定的重要性，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。
[0005]如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14
‑
15或更多个数量级的DR宽度。在实践中，人类可以同时感知强度范围中的广泛宽度的DR相对于HDR可能稍微被截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及包括眼睛运动的人类视觉系统(HVS)在场景或图像内可感知的DR，这允许场景或图像上的一些光适应变化。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然相对于真实的参考场景的HDR可能稍微变窄，但是EDR仍然表示宽的DR宽度并且也可以被称为HDR。
[0006]在实践中，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位(例如，n＝8)的精度表示。使用非线性亮度编码(例如，伽玛编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。
[0007]对于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过引用整体并入本文的ITU Rec.ITU
‑
R BT.1886，“Reference electro
‑
optical transfer function for flat panel displays used in HDTV studio production”(2011年3月)定义了对于平板显示器的参考EOTF。给定视频流，关于其EOTF的信息可以作为(图像)元数据嵌入在位流中。本文中的术语“元数据”涉及作为编码的位流的一部分传送的任何辅助信息并且帮助解码器渲染解码的图像。这样的元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示参数和辅助信号参数。
[0008]如本文所使用的术语“PQ”是指感知亮度幅度量化。人类视觉系统以非常非线性的
方式响应增加的光级别。人类看见刺激的能力受那个刺激的亮度、刺激的大小、构成刺激的空间频率和眼睛在查看刺激的特定时刻已适应的亮度级别影响。在一些实施例中，感知量化器函数将线性输入灰度级别映射到更好地匹配人类视觉系统中的对比灵敏度阈值的输出灰度级别。示例PQ映射函数在通过引用整体并入本文的SMPTE ST 2084:2014“High Dynamic Range EOTF of Mastering Reference Displays”(下文中称为“SMPTE”)中被描述，其中给定固定的刺激大小，对于每个亮度级别(例如，刺激级别等)，根据最灵敏的适应级别和最灵敏的空间频率(根据HVS模型)选择在那个亮度级别下的最小可见对比度步长。
[0009]支持200至1,000cd/m2或尼特的亮度的显示器代表相对于EDR(或HDR)的较低动态范围(LDR)，也称为标准动态范围(SDR)。EDR内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更多)的EDR显示器上。这样的显示器可以使用支持高亮度能力(例如，0至10,000或更多尼特)的替代EOTF来定义。这样的EOTF的示例在SMPTE 2084和Rec.ITU
‑
R BT.2100，“Image parameter values for high dynamic range television for use in production and international programme exchange，”(06/2017)中定义。如专利技术人在此意识到的，期望用于合成可以被用于支持各种各样的SDR和HDR显示设备的显示能力的视频内容数据的改进技术。
[0010]本节中描述的方法是可以追寻的方法，但不一定是以前已被构想或追寻的方法。因此，除非另外指示，否则不应当仅仅由于它们包括在本节中而认为本节中描述的方法中的任何一个有资格作为现有技术。类似地，不应当基于本节而认为针对一个或多个方法识别的问题已在任何现有技术中被认识到，除非另外指示。
附图说明
[0011]在附图的图中通过示例的方式而非通过限制的方式图示了本专利技术的实施例，并且在这些附图中同样的附图标记是指类似的元素，并且其中：
[0012]图1A描绘了视频递送流水线的示例处理；图1B图示了重构的图像的质量与生成映射以创建重构的图像的计算复杂度之间的示例折衷；
[0013]图2A至图2C图示了示例编解码器；
[0014]图3A图示了示例预测误差；图3B图示了生成不同的颜色等级的示例多组图像处理操作；图3C图示了可应用到不同的颜色等级的示例颜色校正；图3D图示了结合映射表更新操作执行的示例颜色校正；图3E图示了具有亮度更新、备用查找表修改和颜色校正的示例后向整形映射生成；
[0015]图4A至图4C图示了示例处理流程；以及
[0016]图5图示了可以在其上实现如本文描述的计算机或计算设备的示例硬件平台的简化框图。
[0017]示例实施例的描述
[0018]在以下描述中，出于解释的目的，阐述了众多的具体细节以便提供对本公开的透彻理解。然而，将清楚的是，本公开可以在没有这些具体细节的情况下实践。在其它情况下，没有详尽地描述众所周知的结构和设备，以便避免不必要地遮挡、模糊或混淆本公开。
[0019]概述
[0020]相对窄的动态范围的(例如，相对低的位深度，8位、10位等的)基础层(BL)图像数
据可以与用于从BL图像数据生成/重构HDR图像数据的图像元数据一起被编码在编码的位流中。BL图像数据和图像元数据可以提供给接收方解码和回放设备，该接收方解码和回放设备可以在相对低的动态范围显示器(例如，SDR显示器等)上直接渲染解码之后的BL图像数据(例如，SDR图像数据等)或者本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：生成最初作为前向整形映射表的逆的后向整形映射表，其中所述前向整形映射表被用于生成前向整形映射以从第二动态范围的源图像生成第一动态范围的前向整形的图像，其中所述第一动态范围低于所述第二动态范围，其中所述前向整形映射表对于多个样本点包括所述第二动态范围的亮度码字、所述第二动态范围的色度码字、与所述第二动态范围的亮度码字对应的所述第一动态范围的亮度码字、以及与所述第二动态范围的色度码字对应的所述第一动态范围的色度码字，其中样本点的数量与所述源图像中的像素的数量相比减少；通过利用前向整形的亮度码字替换所述第一动态范围的亮度码字来更新所述后向整形映射表，其中所述前向整形的亮度码字通过对所述第二动态范围的亮度码字应用亮度前向映射来生成，其中所述亮度前向映射从所述前向整形映射表构造；使用所述后向整形映射表和所述亮度前向映射生成后向整形映射以用于从所述第一动态范围的前向整形的图像创建所述第二动态范围的重构的图像；将所述前向整形的图像与指定所述后向整形映射的图像元数据一起编码在视频信号中。2.如权利要求1所述的方法，其中所述亮度前向映射利用CDF匹配构造。3.如权利要求1或2所述的方法，还包括：确定端到端视频递送流水线中可用的计算资源；使用所述可用的计算资源以确定解码器侧所述第二动态范围的重构的图像的质量与编码器侧生成所述后向整形映射的计算复杂度之间的特定的一组折衷选项；根据所述特定的一组折衷选项执行特定的一组图像处理操作以生成所述后向整形映射。4.如权利要求1
‑
3中的任一项所述的方法，还包括：使显示图像从所述重构的图像导出并且利用所述视频信号的接收方设备渲染。5.如权利要求1
‑
4中的任一项所述的方法，还包括：通过利用前向整形的色度码字替换所述第一动态范围的色度码字来更新所述后向整形映射表，其中所述前向整形的色度码字通过对所述第二动态范围的亮度和色度码字应用多变量多元回归(MMR)色度前向映射来生成，其中所述MMR色度前向映射从所述前向整形映射表构造。6.如权利要求1
‑
5中的任一项所述的方法，还包括：通过利用去饱和的色度码字替换所述第二动态范围的色度码字来更新所述后向整形映射表。7.如权利要求6所述的方法，其中所述去饱和的色度码字通过对所述第二动态范围的色度码字应用去饱和函数来生成，并且其中所述去饱和函数被构造为经修改的亮度后向整形映射与原始的亮度后向整形映射之间的比率。8.如权利要求1
‑
7中的任一项所述的方法，还包括：使后向查找表修改被应用以减少所述重构的图像中的条带伪影。9.如权利要求1
...
【专利技术属性】
技术研发人员：宋青，A，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。