用于高动态范围视频编码的分段线性层间预测器制造技术

在使用增强层来增加高动态范围(HDR)信号的动态范围的方法中，应用了分段线性层间预测器和残差掩蔽运算。分段线性层间预测函数的生成基于所计算的场景重要度直方图，该场景重要度直方图基于指示最可能出现编码伪像的像素值的帧重要度直方图的平均。对于预测函数中的每个段，其斜率与在场景重要度直方图下段中的能量测量成反比。在确定分段线性预测函数时也将增强层的比特率约束考虑在内。

Piecewise linear interlayer predictor for high dynamic range video coding

In the method of increasing the dynamic range of high dynamic range (HDR) signals by using enhancement layers, piecewise linear interlayer predictors and residual masking operations are applied. The generation of a piecewise linear interlayer prediction function is based on the calculated histogram of the importance of the scene, which is based on the average of the frame importance histogram that indicates the pixel values of the most likely pixel values that are most likely to be encoded. For each segment in the prediction function, its slope is inversely proportional to the energy measurement in the lower segment of the scene importance histogram. When determining piecewise linear predictive functions, the bit rate constraint of the enhancement layer is also taken into account.

【技术实现步骤摘要】
【国外来华专利技术】用于高动态范围视频编码的分段线性层间预测器相关申请的交叉引用本申请要求于2015年11月2日提交的美国临时专利申请No.62/249,779以及于2015年12月4日提交的欧洲专利申请No.15198037.2的优先权，它们中的每一个通过引用以其全部内容并入本文中。
本专利技术一般涉及图像。更具体地，本专利技术的实施方式涉及用于对具有高动态范围的图像和视频序列进行编码的分段线性层间预测器。
技术介绍
如本文使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，亮度、明度)范围(例如，从最暗的黑色(黑暗)到最亮的白色(明亮))的能力。在这个意义上，DR涉及“参考场景”强度。DR还可以涉及显示装置充分地或近似地呈现特定幅度的强度范围的能力。在这个意义上，DR涉及“参考显示”强度。除非在本文的描述中特定场景被明确地指定在任何时刻具有特定含义，否则应该推断该术语可以例如可交换地用于任一意义。如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR幅度。实际上，与HDR相比，人类可以同时感知强度范围上的宽广的幅度的DR可能在一定程度上被截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可交换地涉及由包括允许跨越场景或图像的特定光适应改变的眼睛运动的人类视觉系统(HVS)在场景或图像内可感知的DR。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然与真实场景参考HDR相比可能略窄，但是EDR表示宽的DR幅度并且也可以被称为HDR。实际上，图像包括一个或更多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量以每像素n位的精度表示(例如，n＝8)。使用线性亮度编码，n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(如由工业光魔公司(IndustrialLightandMagic)开发的OpenEXR文件格式)存储和分发。如本文所使用的，术语“元数据”涉及作为编码比特流的一部分被发送并且帮助解码器呈现解码图像的任何辅助信息。如本文描述的那些，这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数及辅助信号参数。大多数消费台式显示器目前支持200至300cd/m2或尼特的亮度。大多数消费HDTV的范围从300尼特到500尼特，其中新型号达到1000尼特(cd/m2)。因此，与HDR或EDR相比，这样的传统显示器代表较低的动态范围(LDR)，也被称为标准动态范围(SDR)。因为HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)两者的进步而增长，HDR内容可以被色彩分级并且在支持高动态范围(例如，从700尼特到5000尼特或更大)的HDR显示器上显示。正如专利技术人在此认识到的，期望用于高动态范围图像的编码和递送的改进技术。本部分中描述的方法是可以探究的方法，但不一定是先前已经构思或探究的方法。因此，除非另有说明，否则不应该假定本部分中描述的任何方法仅仅由于其包括在本部分中而被认为是现有技术。类似地，除非另有说明，否则关于一个或更多个方法所确定的问题不应被假定为基于本部分在任何现有技术中被认知。附图说明本专利技术的实施方式在附图中以示例的方式而非以限制的方式示出，并且在附图中相同的附图标记指代相似的元件，并且在附图中：图1描绘了用于使用基础层和增强层的HDR视频的视频递送的示例过程；图2描绘了根据本专利技术的实施方式的用于HDR视频的编码和视频递送的示例过程；图3描绘了根据本专利技术的实施方式的使用分段线性层间预测器对HDR图像序列进行编码的示例过程；图4描绘了根据本专利技术的实施方式的层间预测器的示例场景重要度直方图函数和相关联的枢轴点；以及图5描绘了根据本专利技术的实施方式的示例分段线性预测函数。具体实施方式本文中描述了高动态范围(HDR)图像的视频编码和递送。在以下描述中，出于说明目的，阐述了许多具体细节以提供对本专利技术的透彻理解。然而，将明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情况下，没有详细描述公知的结构和装置以避免不必要地妨碍、模糊或混淆本专利技术。概述本文描述的示例实施方式涉及一种生成用于高动态范围图像的视频编码和递送的分段线性层间预测器的方法。在实施方式中，处理器访问具有第一位深度的第一组图像和具有第二位深度的对应的第二组图像，其中，第二位深度低于第一位深度，并且第一组图像和第二组图像表示同一场景。针对第二组中的至少一个图像，计算帧重要度像素图以识别由于减小的位深度而可能呈现编码伪像的像素。针对每个帧重要度像素图计算帧重要度直方图。给定计算的帧重要度直方图，针对整个第二组画面来计算场景重要度直方图。然后使用场景重要度直方图来生成分段线性预测函数，其中，预测函数中的每个段的斜率与场景重要度直方图下的段中的能量测量成反比。在实施方式中，使用分段线性预测函数的斜率来确定掩蔽函数，该掩蔽函数用于对使用第一组图像中的图像生成的增强层的残差图像以及使用预测函数和第二组图像预测的图像的像素值进行掩蔽。在实施方式中，还可以根据增强层中的比特率约束来调整分段线性预测函数的每个段的斜率。在实施方式中，基于直方图的选择峰值来计算预测函数中每个段的枢轴点。高动态范围(HDR)视频的视频递送根据由蓝光光盘协会发布的题为“AudioVisualApplicationFormatSpecificationsforBD-ROMVersion3.0”的新白皮书、蓝光光盘协会在2015年7月发布的蓝光光盘只读格式(超高清蓝光)白皮书，其通过引用以其全部内容并入本文中，所提出的超高清蓝光标准支持强制的单层(10位，YCbCr4:2:0)蓝光光盘电影(BDMV)EDR格式(也被称为HDR10格式)和可选的杜比视界(DolbyVision)双层HDR格式。杜比视界HDR流由基础层(BL)BDMVEDR视频流以及具有相关联的元数据的杜比视界增强层(EL)视频流构成。普通的蓝光解码器只能播放HDR10基础层；然而，启用杜比视界的播放器将能够将基础层和增强层结合，以生成具有比默认HDR10流的动态范围更好的动态范围的12位HDR视频输出。杜比视界流的特征如下：亮度不恒定的BT.2020原色基于SMPTE2084的EOTF(电光转换功能)12位的组合的BL/EL位深度图1描绘了根据示例实施方式的分层HDR编码器架构(100)。在实施方式中，可以在YCbCr4:2:0颜色空间中执行基础编码层和增强编码层中的所有视频编码。HDR图像编码器(100)可以由一个或更多个计算装置实现。HDR图像编码器(100)被配置成接收高分辨率(例如，UHD)输入HDR图像(102)。如本文所使用的，“输入HDR图像”是指可以用于得到输入图像的HDR版本的增强或高动态范围图像数据(例如，由高端图像获取装置等捕获的原始图像数据)。输入HDR图像(102)可以在支持高动态范围色域的任何颜色空间中。在实施方式中，输入HDR图像是最初在RGB空间中本文档来自技高网...

【技术保护点】
1.一种生成用于高动态范围视频数据的位深度可缩放编码的分段线性层间预测函数的方法，所述方法包括：使用处理器访问具有第一位深度的第一组图像(102)；使用所述处理器访问具有第二位深度的对应的第二组图像(135)，其中，所述第二位深度低于所述第一位深度，并且所述第一组图像和所述第二组图像表示同一场景；针对所述第二组中的至少一个图像：对所述第二组中的图像进行滤波以生成第一滤波图像；对所述第一组中的对应图像进行滤波以生成第二滤波图像；基于所述第一滤波图像和所述第二滤波图像计算(310)帧重要度像素图，其中，基于乘以所述第一组中的对应图像中的对应像素的亮度值的所述第一滤波图像和所述第二滤波图像中的对应的像素值之间的绝对差来计算所述第二组中的图像中的像素的帧重要度像素图值；以及基于所述帧重要度像素图来计算(315)帧重要度直方图；基于所述第二组中的图像的一个或更多个计算的帧重要度直方图来生成场景重要度直方图(320)；以及基于所述场景重要度直方图来确定分段线性层间预测函数的段的斜率，其中，所述分段线性层间预测函数中的段的斜率与在所述场景重要度直方图下所述段中的能量测量成反比，其中基于所述段中的场景重要度直方图值的总和来计算所述能量测量。...

【技术特征摘要】
【国外来华专利技术】2015.12.04 EP 15198037.2;2015.11.02 US 62/249,7791.一种生成用于高动态范围视频数据的位深度可缩放编码的分段线性层间预测函数的方法，所述方法包括：使用处理器访问具有第一位深度的第一组图像(102)；使用所述处理器访问具有第二位深度的对应的第二组图像(135)，其中，所述第二位深度低于所述第一位深度，并且所述第一组图像和所述第二组图像表示同一场景；针对所述第二组中的至少一个图像：对所述第二组中的图像进行滤波以生成第一滤波图像；对所述第一组中的对应图像进行滤波以生成第二滤波图像；基于所述第一滤波图像和所述第二滤波图像计算(310)帧重要度像素图，其中，基于乘以所述第一组中的对应图像中的对应像素的亮度值的所述第一滤波图像和所述第二滤波图像中的对应的像素值之间的绝对差来计算所述第二组中的图像中的像素的帧重要度像素图值；以及基于所述帧重要度像素图来计算(315)帧重要度直方图；基于所述第二组中的图像的一个或更多个计算的帧重要度直方图来生成场景重要度直方图(320)；以及基于所述场景重要度直方图来确定分段线性层间预测函数的段的斜率，其中，所述分段线性层间预测函数中的段的斜率与在所述场景重要度直方图下所述段中的能量测量成反比，其中基于所述段中的场景重要度直方图值的总和来计算所述能量测量。2.根据权利要求1所述的方法，其中，所述第一位深度是12位或更高，并且/或者所述第二位深度是10位。3.根据权利要求2所述的方法，其中，在给定所述第一组图像中的图像的情况下，通过选择所述第一组中的所述图像的每个像素分量中的10个最高有效位来生成所述第二组图像中的对应图像。4.根据前述权利要求中任一项所述的方法，其中，使用熵滤波器来计算所述第一滤波图像和所述第二滤波图像。5.根据前述权利要求中任一项所述的方法，其中，所述场景重要度直方图被计算成针对所述第二组中的一个或更多个图像计算的帧重要度直方图的平均。6.根据前述权利要求中任一项所述的方法，包括：基于所述场景重要度直方图的明亮阈值和峰值位置来确定所述分段线性层间预测函数的枢轴点。7.根据权利要求6所述的方法，其中，确定所述分段线性层间预测函数的所述枢轴点包括：基于所述场景重要度直方图来确定两个或更多个选择的峰值位置；以及将枢轴点选择为两个连续的选择的峰值位置之间的中点。8.根据权利要求...

【专利技术属性】
技术研发人员：纳瓦尼蒂·坎巴卢尔科塔伊尔，苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US