使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统制造方法及图纸

编码器接收要在分层表示中使用多个编码格式来存储和传输的输入增强动态范围(EDR)图像。层分解器根据EDR图像生成较低动态范围(LDR)图像。一个或更多个基本层(BL)编码器对LDR图像进行编码以生成主编码BL流和一个或更多个次级编码BL流，其中每个次级BL流以与主编码BL流不同的编码格式来编码。使用主编码BL流、LDR图像以及输入EDR图像来生成单个增强层(EL)编码流和相关的元数据。输出编码流包括：编码EL流、元数据以及主编码BL流或者多个次级编码BL流中的一个次级编码BL流。还描述了用于EDR图像的计算可伸缩解码和显示管理处理。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2013年3月11日提交的美国临时专利申请第61/776,610号以及2013年10月22日提交的美国临时专利申请第61/894,198号的优先权，通过引用将其全部内容并入本文。
本专利技术一般涉及视频图像。更具体地，本专利技术的实施方式涉及使用分层编码对具有高动态范围或增强动态范围的多格式视频图像进行分布。
技术介绍
如本文所用，术语“动态范围”(DR)可以涉及人类心理视觉系统(HVS)感知图像中的强度(例如，照度、亮度)的范围(例如从最暗暗色(黑色)到最亮亮色(白色))的能力。在这个意义上，DR涉及“场景相关”强度。DR也可以涉及显示设备充分或大约呈现特定宽度的强度范围的能力。在这个意义上，DR涉及“显示相关”强度。除非明确指定特定意义在本文描述中的任何点处具有特别重要性，可以推断的是，该术语可以在任一意义上例如可以互换来使用。如本文所用，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的14至15个数量级的DR宽度。例如，(例如，在统计、生物特征或眼科意义中的一个或更多个中)基本正常的良好适应的人具有跨越大约15个数量级的强度范围。适应的人可以感知如一小撮光那么少的暗淡光源。另外，相同的这些人可以感知在沙漠、海或雪中的正午太阳的接近痛苦的耀眼强度(或者甚至瞥过太阳，但简短地以防止受伤)。然而，这个跨度可用于“适应的”人，例如其HVS具有用于复位和调整的时间段的人。r>与此相反，人可以同时感知强度范围中的广泛宽度的DR可以相对于HDR被截短。如本文所用，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及能够由HVS同时感知的DR。如本文所用，EDR可以涉及跨越5至6个数量级的DR。因此，虽然也许EDR相对于真实场景相关HDR较窄，但是EDR表示广泛的DR宽度。在实践中，图像包括一个或更多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n比特的精度来表示(例如，n＝8)。使用线性编码的图像(其中n≤8，(例如，彩色24比特JPEG图像))被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。也可以使用高精度(例如，16比特)浮点数格式(例如由工业光魔研发的OpenEXR文件格式)来存储和分布EDR图像和HDR图像。大多数用户的台式显示器支持200至300cd/m2或nit的照度。大多数用户的HDTV的范围为从300至1000cd/m2。因此，这种传统的显示器相对于HDR或EDR使低动态范围(LDR)典型化，LDR也被称为标准的动态范围(SDR)。随着EDR内容的可用性由于捕获装备(如摄像机)和EDR显示器(例如来自杜比实验室的PRM-4200专业基准监测器)的进步而增加，EDR内容可以为渐变色并且可以显示在支持较高动态范围(例如，从1000nit到5000nit或更大)的EDR显示器上。可以通过多个参数来表征视频信号，所述多个参数例如比特深度、颜色空间、色域以及分辨率。现代电视机和视频重放设备(如蓝光播放器)支持多种分辨率，包括标准清晰度(例如，720×480i)和高清晰度(HD)(例如，1920×1080p)。超高清晰度(UHD)是具有至少3,840×2,160分辨率(简称为4KUHD)和用于进行高达7,680×4320(简称为8KUHD)的选项的下一代分辨率格式。超高清晰度也可以称为超HD、UHDTV或超高视。如本文所用，UHD表示高于HD分辨率的任何分辨率。为了向后支持与传统重放设备的兼容性以及新的HDR或UHD显示技术，多个比特流层可以用于将UHD和HDR(或EDR)视频数据从上游设备传送至下游设备。鉴于这样的多层流，传统解码器可以使用一组层来重构内容的HDEDR版本。高级解码器可以使用第二组层来重构内容的UHDEDR版本，以将其呈现在功能更强的显示器上。如专利技术人所理解的，用于编码的改进技术和多格式EDR视频的分布是理想的。在本部分中描述的方法是可以实行的方法，但不一定是先前已经构思或实行的方法。因此，除非另有说明，否则不应当假定在本部分描述的方法中的任何方法仅仅由于其包含在本部分中而有资格作为现有技术。类似地，除非另有说明，相对于一个或更多个方法而确定的问题不应该认为是基于本部分而在任何现有技术中已被认识。附图说明在附图中通过示例并且以非限制的方式示出了本专利技术的实施方式，在附图中相似的附图标记指代相似的元件，并且在附图中：图1A、图1C和图1G描绘了根据本专利技术的实施方式的针对用于EDR图像的分层的多格式编码系统的示例数据流；图1B、图1D、图1E、图1F以及图1H描绘了根据本专利技术的实施方式的针对用于EDR图像的分层的多格式解码系统的示例数据流；图2描绘了根据本专利技术的实施方式的针对用于EDR图像的计算可伸缩或分辨率可伸缩显示管理处理的示例；图3描绘了根据本专利技术的实施方式的示例可再配置解码器系统；以及图4A和图4B描绘了根据本专利技术的实施方式的用于配置可再配置解码器系统中的基本层伸缩器和增强层伸缩器的两个示例决策处理。具体实施方式本文描述了对具有增强动态范围(EDR)的多格式视频图像的高效分布和计算可伸缩解码。在以下的描述中，出于说明的目的，阐述了许多具体细节以提供对本专利技术的彻底理解。然而，明显的是可以在没有这些具体细节的情况下实施本专利技术。在其他实例中，没有详细描述公知的结构和设备以避免对本专利技术的不必要的封闭、模糊或混淆。概述本文描述的示例实施方式涉及对具有高动态范围或增强动态范围的多格式视频图像的分布。编码器接收输入增强动态范围(EDR)图像序列，该图像要在分层表示中使用多个编码格式来存储或传输。层分解处理使用输入EDR图像来生成较低动态范围(LDR)图像。编码器使用一个或更多个基本层(BL)编码器来编码LDR图像以生成主编码BL流和一个或更多个次级编码BL流，其中，以与主编码BL流不同的编码格式来编码每个次级BL流。使用主编码BL流、LDR图像以及输入EDR图像来生成单个增强层(EL)编码流和相关的元数据。输出编码EDR流包括编码EL流、元数据、以及主编码BL流或者多个次级编码BL流中的一个次级编码BL流。在一些实施方式中，以与主编码BL流不同的分辨率来编码次级编码BL流。在一些实施方式中，以与主编码BL流不同的比特率来编码次级BL流。在一些实施方式中，使用与主编码BL流不同的编码标准来编码次级BL流。在一些实施方式中，生成单个BL编码流、主EL编码流本文档来自技高网...

【技术保护点】
一种用于使用多个编码格式来对增强动态范围(EDR)图像进行编码的方法，所述方法包括：接收具有第一空间分辨率的输入EDR图像(102)；使用层分解器(110)来分解所述输入EDR图像，以生成较低动态范围(LDR)图像(112)；使用第一基本层(BL)编码器(120)来对所述LDR图像进行编码，以生成第一编码BL流(122)；使用第二BL编码器(120B)来对所述LDR图像进行编码，以生成第二编码BL流(122B)，其中，所述第二编码BL流(122B)包括与所述第一编码BL流(122)的编码格式参数不同的至少一个编码格式参数；将预测函数(140)应用至所述第一编码BL流(122，135)，以生成预测EDR图像(142)；计算残差图像(152)，所述残差图像(152)表示所述预测EDR图像(142)的像素值与所述输入EDR图像(102)的像素值之间的差；将裁剪掩模(155)应用至所述残差图像以生成裁剪掩模图像，其中，应用裁剪掩模包括：如果所述LDR图像(112)的对应的像素值低于预定的增强层(EL)阈值，则将所述残差图像的像素值设置成预定的固定值；将EL量化器(160)应用至所述裁剪掩模图像，以生成EL图像；使用EL编码器(170)来对所述EL图像进行编码，以生成编码EL流(172)；以及对表示所述编码EL流(172)、所述预测函数(142)、以及所述第一编码BL流(122)或者所述第二编码BL流(122B)的数据进行编码以及存储或传输。...

【技术特征摘要】
【国外来华专利技术】2013.03.11 US 61/776,610;2013.10.22 US 61/894,1981.一种用于使用多个编码格式来对增强动态范围(EDR)图像进行编码的方法，所述方
法包括：
接收具有第一空间分辨率的输入EDR图像(102)；
使用层分解器(110)来分解所述输入EDR图像，以生成较低动态范围(LDR)图像(112)；
使用第一基本层(BL)编码器(120)来对所述LDR图像进行编码，以生成第一编码BL流
(122)；
使用第二BL编码器(120B)来对所述LDR图像进行编码，以生成第二编码BL流(122B)，其
中，所述第二编码BL流(122B)包括与所述第一编码BL流(122)的编码格式参数不同的至少
一个编码格式参数；
将预测函数(140)应用至所述第一编码BL流(122，135)，以生成预测EDR图像(142)；
计算残差图像(152)，所述残差图像(152)表示所述预测EDR图像(142)的像素值与所述
输入EDR图像(102)的像素值之间的差；
将裁剪掩模(155)应用至所述残差图像以生成裁剪掩模图像，其中，应用裁剪掩模包
括：如果所述LDR图像(112)的对应的像素值低于预定的增强层(EL)阈值，则将所述残差图
像的像素值设置成预定的固定值；
将EL量化器(160)应用至所述裁剪掩模图像，以生成EL图像；
使用EL编码器(170)来对所述EL图像进行编码，以生成编码EL流(172)；以及
对表示所述编码EL流(172)、所述预测函数(142)、以及所述第一编码BL流(122)或者所
述第二编码BL流(122B)的数据进行编码以及存储或传输。
2.根据权利要求1所述的方法，还包括：将所述裁剪掩模图像下采样(165)至低于所述
第一空间分辨率的第二空间分辨率，以生成下采样EL图像，其中，在应用所述EL量化器
(160)之前或之后执行所述下采样，以及编码EDR流是基于所述下采样EL图像。
3.根据权利要求1所述的方法，其中，所述编码格式参数包括编码算法、编码比特率或
编码比特流的空间分辨率。
4.根据权利要求1所述的方法，其中，以与所述第一编码BL流(122)不同的比特率来对
所述第二编码BL流(122B，122C)进行编码。
5.根据权利要求1所述的方法，其中，以与所述第一编码BL流(122)不同的空间分辨率
来对所述第二编码BL流(122C)进行编码。
6.根据权利要求1所述的方法，其中，所述第一BL编码器遵从第一编码算法，以及所述
第二BL编码器遵从与所述第一编码算法不同的第二编码算法。
7.根据权利要求1所述的方法，其中，所述第一BL编码器包括HEVC兼容编码器，以及所
述EL编码器包括H.264兼容编码器；
8.根据权利要求1所述的方法，其中，使用8比特的比特深度来对所述第一编码BL流和
所述编码EL流进行编码，所述预定的EL阈值为250，以及所述预定的固定值为0。
9.一种用于减小显示管理期间的计算负荷的方法，所述方法包括：
接收具有第一空间分辨率的输入增强动态范围(EDR)图像(202)；
下采样(205)所述输入EDR图像(202)，以生成具有低于所述第一空间分辨率的第二空
间分辨率的第一下采样EDR图像(207)；
上采样(210)所述第一下采样EDR图像(207)，以生成具有所述第一空间分辨率的第二
EDR图像；
生成残差图像(232)，所述残差图像表示所述输入EDR图像(202)的像素与所述第二EDR
图像的像素之间的差；
对所述第一下采样EDR图像(207)进行显示管理处理(215)，以生成低分辨率DM图像
(217)；
上采样(220)所述低分辨率DM图像(217)，以生成具有所述第一空间分辨率的中间DM信
号(222)；以及
将所述残差图像(232)添加(225)至所述中间DM信号(222)，以生成输出DM信号(227)。
10.根据权利要求9所述的方法，其中，所述第一空间分辨率为UHD4K分辨率，以及所述
第二空间分辨率为HD分辨率。
11.一种用于减小在对高分辨率增强动态范围(EDR)信号进行解码期间的计算负荷的
方法，所述方法包括：
接收编码流，所述编码流包括：具有第一空间分辨率和低于目标增强动态范围(EDR)的
较低动态范围(LDR)的编码基本层(BL)流、具有第二空间分辨率和低于所述目标EDR的较低
动态范围(LDR)的编码增强层流以及用于预测函数的参数，其中，所述第一空间分辨率高于
所述第二空间分辨率；
使用BL解码器(180)来对所述编码BL流进行解码，以生成解码BL图像；
使用EL解码器(175)来对所述编码EL流进行解码，以生成解码EL图像；
下采样所述解码BL图像，以生成具有所述第二空间分辨率的第二BL图像；
通过将所述预测函数应用至所述第二BL图像来生成预测EDR图像；
使用所述预测EDR图像和所述解码EL图像来合成(195)第一EDR图像(197)；以及
上采样(198)所述第一EDR图像(197)以生成具有所述第一空间分辨率的输出EDR图像
(199)；
12.根据权利要求11所述的方法，其中，...

【专利技术属性】
技术研发人员：苏冠铭，萨米尔·N·胡利亚尔卡尔，陈涛，曲晟，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US