编码和解码可逆制作质量单层视频信号制造技术

生成将高动态范围的输入图像映射到相对窄的动态范围的参考色调映射图像的色调映射函数。基于第一位深度和第二位深度，导出亮度前向整形函数，用于将所述输入图像的亮度码字前向整形为近似于所述参考色调映射图像的前向整形图像的前向整形亮度码字。导出色度前向整形映射以预测所述前向整形图像的色度码字。将待由接收方装置用于生成亮度后向整形函数和色度后向整形映射的后向整形元数据与所述前向整形图像一起发送到所述接收方装置。还提出了用于联合导出前向亮度和色度整形函数的技术。

Coding and Decoding Reversible Production of Quality Single Layer Video Signals

A tone mapping function is generated to map the input image with high dynamic range to the reference tone mapping image with relatively narrow dynamic range. Based on the first and second depth, a brightness forward shaping function is derived for forward shaping the brightness codeword of the input image into a forward shaping brightness codeword similar to that of the reference tone mapping image. A chroma forward shaping map is derived to predict the chroma codeword of the forward shaping image. The backward shaping metadata to be used by the receiver device to generate brightness back shaping function and chroma back shaping mapping is transmitted to the receiver device together with the forward shaping image. A technique for joint derivation of forward brightness and chroma shaping functions is also proposed.

【技术实现步骤摘要】
【国外来华专利技术】编码和解码可逆制作质量单层视频信号相关申请的交叉引用本申请要求于2016年3月23日提交的第62/312,450号美国专利申请和2016年11月29日提交的第62/427,532号美国专利申请的优先权，所述专利申请通过引用整体并入本文。
本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及编码和解码可逆生产质量单层视频信号。
技术介绍
如本文所使用的，术语“动态范围”(DR)可以与人类视觉系统(HVS)感知图像中的强度(例如，光亮度、亮度)范围(例如，从最暗的黑色(黑暗)到最亮的白色(高亮))的能力有关。在这个意义上，DR与“场景参考”强度有关。DR还可以与显示装置充分或近似地呈现特定宽度的强度范围的能力有关。在这个意义上，DR与“显示器参考”强度有关。除非在本文的描述中的任何点明确地规定特定意义具有特定含义，否则应推断所述术语可以在任何意义上(例如，可互换地)使用。如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个或更多个数量级的DR宽度。在实践中，相对于HDR，人可以在其上同时感知强度范围的广泛宽度的DR可能在某种程度上被截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及通过包括眼睛运动的人类视觉系统(HVS)在场景或图像内可感知的DR，从而允许整个场景或图像中的一些光适应变化。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然相对于真实场景参考HDR可能稍微窄一些，但是EDR仍然表示宽DR宽度并且也可以被称为HDR。在实践中，图像包括一或多个颜色分量(例如，亮度Y和色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。通过使用线性亮度编码，n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(例如由工业光魔公司(IndustrialLightandMagic)开发的OpenEXR文件格式)存储和分发。用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，ITURec.ITU-RBT.1886《用于HDTV演播室制作的平板显示器的参考电光传输函数(Referenceelectro-opticaltransferfunctionforflatpaneldisplaysusedinHDTVstudioproduction)》(2011年3月)(其通过引用整体并入本文)基于阴极射线管(CRT)的测量特性定义了用于平板显示器的参考EOTF。给定视频流，关于其EOTF的信息通常作为元数据嵌入位流中。如本文所使用的，术语“元数据”涉及作为编码位流的一部分而发送并且帮助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数以及辅助信号参数，如本文所述的那些。大多数消费者桌面显示器当前支持200至300cd/m2或尼特的亮度。大多数消费者HDTV的范围为300至500尼特，新型号达到1000尼特(cd/m2)。因此，这种显示器代表相对于HDR或EDR的较低动态范围(LDR)，也称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，来自杜比实验室(DolbyLaboratories)的PRM-4200专业参考监视器)的进步而增长，HDR内容可以被颜色分级并显示在支持更高动态范围(例如，1,000尼特至5,000尼特或更多)的HDR显示器上。可以使用支持高亮度能力(例如，0至10,000尼特)的替代EOTF来定义这样的显示器。在SMPTEST2084：2014《掌握参考显示器的高动态范围EOTF(HighDynamicRangeEOTFofMasteringReferenceDisplays)》中定义了这种EOTF的示例，其通过引用整体并入本文。如本专利技术人所理解的，期望用于编码和解码可用于支持各种显示装置的可逆制作质量单层视频信号的改进技术。本节中描述的方法是可以追求的方法，但不一定是先前已经构思或追求的方法。因此，除非另有说明，否则不应认为本节中描述的任何方法仅仅因为它们包含在本节中而有资格作为现有技术。类似地，除非另有说明，否则关于一或多种方法确定的问题不应认为在本节的基础上在任何现有技术中被认识到。附图说明本专利技术的实施例通过示例而非限制的方式在附图中示出，并且其中相同的附图标记指代类似的元件，并且其中：图1A描绘了视频传送途径的示例过程；图1B描绘了使用内容自适应量化或整形的视频数据压缩的示例过程；图1C和图1D描绘了示例视频编码器和解码器；图2描绘了用于生成亮度前向整形功能的示例过程；图3示出了示例亮度前向整形功能；图4A和图4B示出了示例过程流程；图5示出了可以在其上实现如本文所述的计算机或计算装置的示例硬件平台的简化框图；图6示出了根据本专利技术实施例的用于联合开发亮度和色度整形功能的示例过程；图7示出了根据本专利技术实施例的用于生成精细亮度和色度整形映射的示例过程；以及图8示出了根据本专利技术实施例的用于快速生成前向亮度整形映射的示例过程。具体实施方式本文描述了对可逆制作质量单层视频信号进行编码和解码。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情况下，没有详尽描述公知的结构和装置，以避免不必要地遮挡、模糊或混淆本专利技术。概述本文描述的示例实施例涉及编码可逆制作质量单层视频信号。确定将一或多个高动态范围的输入图像映射到一或多个相对窄的动态范围的参考色调映射图像的色调映射函数。基于多个第一位深度和多个第二位深度，导出亮度前向整形函数，用于将一或多个输入图像的前向整形亮度码字转换为一或多个相对窄的动态范围的前向整形图像的前向整形亮度码字。导出色度前向整形映射以预测一或多个前向整形图像的色度码字。色度前向整形映射使用一或多个输入图像的色度码字和亮度码字作为输入，并使用一或多个参考色调映射图像的色度码字作为预测目标。一或多个前向整形图像近似于一或多个参考色调映射图像。更具体地，一或多个前向整形图像的前向整形亮度码字近似于一或多个参考色调映射图像的亮度码字；一或多个前向整形图像的前向整形色度码字近似于一或多个参考色调映射图像的色度码字。生成将由一或多个接收方装置使用以生成亮度后向整形函数和色度后向整形映射的后向整形元数据。具有后向整形元数据的一或多个前向整形图像被发送到一或多个接收方装置。本文描述的示例实施例涉及解码可逆制作质量单层视频信号。基于利用一或多个相对窄的动态范围的前向整形图像接收的后向整形元数据来构造亮度后向整形函数和色度后向整形映射。亮度后向整形函数被应用于一或多个前向整形图像的前向整形亮度码字，以生成一或多个高动态范围的重建图像的后向整形亮度码字。应用色度后向整形映射以将一或多个前向整形图像的前向整形色度码字和前向整形亮度码字映射到一或多个重建图像的后向整形色度码字。一或多本文档来自技高网...

【技术保护点】
1.一种方法，其包括：确定将高动态范围的一或多个输入图像映射到相对窄的动态范围的一或多个参考色调映射图像的色调映射函数；基于多个第一位深度和多个第二位深度，导出用于将所述一或多个输入图像的亮度码字前向整形为所述相对窄的动态范围的一或多个前向整形图像的前向整形亮度码字的亮度前向整形函数，所述一或多个前向整形图像近似于所述一或多个参考色调映射图像；导出用于预测所述一或多个前向整形图像的色度码字的色度前向整形映射，所述色度前向整形映射使用所述一或多个输入图像的色度码字和所述亮度码字作为输入，所述色度前向整形映射使用所述一或多个参考色调映射图像的所述色度码字作为预测目标；生成后向整形元数据，所述后向整形元数据将由一或多个接收方装置使用以生成亮度后向整形函数和色度后向整形映射；将所述一或多个前向整形图像及所述后向整形元数据发送到所述一或多个接收方装置。

【技术特征摘要】
【国外来华专利技术】2016.03.23 US 62/312,450;2016.11.29 US 62/427,5321.一种方法，其包括：确定将高动态范围的一或多个输入图像映射到相对窄的动态范围的一或多个参考色调映射图像的色调映射函数；基于多个第一位深度和多个第二位深度，导出用于将所述一或多个输入图像的亮度码字前向整形为所述相对窄的动态范围的一或多个前向整形图像的前向整形亮度码字的亮度前向整形函数，所述一或多个前向整形图像近似于所述一或多个参考色调映射图像；导出用于预测所述一或多个前向整形图像的色度码字的色度前向整形映射，所述色度前向整形映射使用所述一或多个输入图像的色度码字和所述亮度码字作为输入，所述色度前向整形映射使用所述一或多个参考色调映射图像的所述色度码字作为预测目标；生成后向整形元数据，所述后向整形元数据将由一或多个接收方装置使用以生成亮度后向整形函数和色度后向整形映射；将所述一或多个前向整形图像及所述后向整形元数据发送到所述一或多个接收方装置。2.根据权利要求1所述的方法，其中，在后期制作编辑中生成所述一或多个输入图像或所述一或多个参考色调映射图像中的一者或两者。3.根据权利要求1所述的方法，其中，基于噪声水平在多个码字区间中确定所述多个第一位深度，所述噪声水平在所述多个码字区间中基于所述一或多个输入图像的所述亮度码字确定，并且其中，所述多个码字区间覆盖所述高动态范围。4.根据权利要求1所述的方法，其中，基于所述色调映射函数在多个码字区间中确定所述多个第二位深度，并且其中，所述多个码字区间覆盖所述高动态范围。5.根据权利要求1所述的方法，其中，通过优化成本函数来导出所述色度前向整形映射，所述成本函数构造所述一或多个输入图像的所述色度码字和所述亮度码字作为所述输入，并将所述一或多个参考色调映射图像的所述色度码字作为所述预测目标。6.根据权利要求1所述的方法，其中，所述一或多个前向整形图像被编码在所述相对窄的动态范围的视频信号中，并且其中，所述后向整形元数据作为与所述一或多个前向整形图像分离的元数据被携带在所述视频信号中。7.根据权利要求6所述的方法，其中，所述视频信号排除所述一或多个输入图像或所述一或多个参考色调映射图像中的一者或两者。8.根据权利要求1所述的方法，其还包括：在将所述一或多个输入图像的所述亮度码字用作用于导出所述色度前向整形映射的所述输入的一部分之前，对所述一或多个输入图像的所述亮度码字进行下采样。9.根据权利要求1所述的方法，其中，所述一或多个输入图像在与所述一或多个参考色调映射图像被表示的颜色空间不同的颜色空间中表示。10.根据权利要求1所述的方法，其中，所述一或多个输入图像以与所述一或多个参考色调映射图像被格式化的采样格式不同的采样格式被格式化。11.根据权利要求1所述的方法，其中，所述一或多个输入图像或所述一或多个参考色调映射图像中的至少一个在以下之一中表示：IPTPQ(ICtCp)颜色空间、YCbCr颜色空间、RGB颜色空间、Rec.2020颜色空间、Rec.709颜色空间、扩展动态范围EDR颜色空间、伽玛/HLG/PQ颜色空间，或标准动态范围SDR颜色空间。12.根据权利要求1所述的方法，其中，所述一或多个前向整形图像表示在整形域中，其中所述整形域的位深度是8、9、10或11+位中的一个。13.根据权利要求1所述的方法，其中，所述一或多个输入图像表示在预整形域中，其中，所述预整形域的位深度是10、11、12、13、14或15+位中的一个。14.根据权利要求1所述的方法，其中，基于多个第三位深度构造所述亮度前向整形函数；其中，基于所述多个第一位深度和所述多个第二位深度导出所述多个第三位深度；其中，所述多个第三位深度中的每一个第三位深度对应于所述多个第一位深度中相应的第一位深度和所述多个第二位深度中相应的第二位深度；并且其中，所述多个第三位深度中的每一个第三位深度不小于所述多个第一位深度中相应的第一位深度并且不大于所述多个第二位深度中相应的第二位深度。15.根据权利要求1所述的方法，其中，基于所述一或多个输入图像的所述亮度码字和所述一或多个前向整形图像的所述亮度码字来构造所述亮度后向整形函数。16.根据权利要求1所述的方法，其中，生成所述色度后向整形映射，用于预测近似于所述一或多个输入图像的一或多个后向整形图像的色度码字，所述色度后向整形映射使用所述一或多个前向整形图像的所述色度码字和所述亮度码字作为输入，所述色度后向整形映射使用所述一或多个输入图像的所述色度码字作为预测目标。17.根据权利要求1所述的方法，其还包括：将用于控制颜色饱和度的缩放因子应用于所述一或多个参考色调映射图像的所述色度码字；在已经应用所述缩放因子之后，至少部分地基于所述一或多个参考色调映射图像的所述色度码字生成所述色度前向整形函数。18.根据权利要求1所述的方法，其还包括：确定色度前向整形成本函数和色度后向整形成本函数，两者都取决于缩放因子，所述色度前向整形成本函数用于生成所述色度前向整形映射，所述色度后向整形成本函数用于生成所述色度后向整形映射；搜索所述缩放因子的最优值，所述最优值使得至少部分地基于所述色度后向整形映射而生成的一或多个重建图像和所述一或多个输入图像之间的失真最小化。19.一种方法，其包括：基于利用相对窄的动态范围的一或多个前向整形图像接收的后向整形元数据构建亮度后向整形函数和色度后向整形映射；将所述亮度后向整形函数应用于所述一或多个前向整形图像的前向整形亮度码字，以生成近似于高动态范围的一或多个输入图像的所述高动态范围的一或多个重建图像的后向整形亮度码字；应用所述色度后向整形映射以将所述一或多个前向整形图像的前向整形色度码字和所述前向整形亮度码字映射到所述一或多个重建图像的后向整形色度码字。20.根据权利要求19所述的方法，其中，从所述相对窄的动态范围的视频信号中解码所述一或多个前向整形图像，并且其中，所述后向整形元数据作为与所述一或多个前向整形图像分离的元数据携带在所述视频信号中。21.根据权利要求20所述的方法，其中，所述视频信号排除近似于所述一或多个前向整形图像的所述一或多个输入图像或者一或多个参考色调映射图像中的一者或两者。22.根据权利要求19所述的方法，其还包括：在将所述色度后向整形映射应用于所述一或多个前向整形图像的所述前向整形色度码字和所述前向整形亮度码字之前，对所述一或多个前向整形图像的所述前向整形亮度码字进行下采样。23.根据权利要求19所述的方法，其中，所述一或多个重建图像在与所述一或多个前向整形图像被表示的颜色空间不同的颜色空间中表示。24.根据权利要...

【专利技术属性】
技术研发人员：苏冠铭，J·S·米勒，W·J·胡萨克，李怡瑾，H·加杜，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US