端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码制造技术

生成第一动态范围的第一图像和与所述第一动态范围不同的第二动态范围的第二图像的3D映射统计信息。多变量多元回归(MMR)系数是在没有黑边约束的情况下通过求解使用利用所述3D映射统计信息构建的MMR矩阵制定的优化问题而生成，并且用于生成用于预测所述第二图像的色度码字值的色度映射。确定在图像中是否存在黑边。如果是，则确定所述色度映射是否准确地预测所述第二图像中的色度码字值。由接收方设备通过对所述图像之一进行后向整形而生成的重构图像由与所述接收方设备一起操作的显示设备来渲染。

【技术实现步骤摘要】
【国外来华专利技术】端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码相关申请的交叉引用本专利申请要求于2018年5月11日提交的美国临时专利申请号62/670,086；于2018年5月11日提交的欧洲专利申请号18171795.0以及于2018年8月21号提交的美国临时专利申请号62/720,375的优先权的权益，每个专利申请通过引用以其全文并入本文。
本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及(多个)端对端单层后向兼容编码流水线中的高保真全参考和高效部分参考编码(high-efficiencyreducedreferenceencoding)。
技术介绍
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定宽度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR宽度。在实践中，相对于HDR，人类可以同时感知强度范围广泛宽度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这种DR相关，所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR可能稍微窄一些，但EDR可以表示宽DR宽度并且也可以被称为HDR。实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可以被视为增强动态范围的图像。给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-RBT.1886年，“Referenceelectro-opticaltransferfunctionforflatpaneldisplaysusedinHDTVstudioproduction(HDTV工作室制作中使用的平板显示器的参考电光传递函数)”(2011年3月)限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息可以作为元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTEST2084:2014“HighDynamicRangeEOTFofMasteringReferenceDisplays(主参考显示器的高动态范围EOTF)”(下文称为“SMPTE”)中描述了示例PQ映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。支持200至1,000cd/m2或尼特的光亮度的显示器代表了与EDR(或HDR)相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。EDR内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的EDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000尼特)的替代EOTF来限定。SMPTE中定义了这种EOTF的示例。如本专利技术人在此理解的，期望可以用于支持各种各样的SDR和HDR显示设备的显示能力的用于对视频数据进行编码和解码的改进技术。在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应认为本节所描述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。附图说明在附图中以举例而非限制的方式来图示本专利技术的实施例，并且其中相似的附图标记指代相似的元素，并且在附图中：图1描绘了视频传输流水线的示例过程；图2A图示了示例端对端单层后向兼容(SLBC)编码流水线的整体视图；图2B图示了在高保真全参考模式下操作的示例端对端SLBC编码流水线；图2C图示了在高效部分参考模式下操作的示例端对端SLBC编码流水线；图2D图示了SLBC解码器侧编解码器架构的示例；图3A图示了包含黑边(letterbox)的示例源HDR图像和其中出现黑边问题的示例重构HDR图像；图3B图示了在黑色背景上包含白色块的示例源HDR图像以及其中黑色背景上的白色块消失并且变为全灰色的示例重构HDR图像；图3C图示了表示在没有抑制的情况下由前向整形查找表(FLUT)构造的第一后向查找表(BLUT)的示例曲线图；图3D图示了表示在有抑制的情况下由同一FLUT构造的第二BLUT的示例曲线图；图4A图示了用于高保真全参考SLBC色度前向整形的示例过程流程；图4B图示了用于高保真全参考SLBC色度后向整形的示例过程流程；图4C图示了用于高效部分参考SLBC色度前向和后向整形的示例过程流程；图4D至图4G图示了示例过程流程；以及图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。具体实施方式本文描述了(多个)端对端单层后向兼容编码流水线中的高保真全参考(HFFR)和高效部分参考(HERR)编码。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本专利技术，没有详尽地描述众所周知的结构和设备。概述本文描述的示例实施例涉及编码图像数据。生成第一动态范围的第一图像和与第一图像相对应的本文档来自技高网...

【技术保护点】
1.一种用于对图像数据进行编码的方法，所述方法包括：/n生成第一动态范围的第一图像和与所述第一图像相对应的第二图像的由具有多个仓分区的直方图表示的三维(3D)映射统计信息，其中，所述第二图像具有与所述第一动态范围不同的第二动态范围；/n在没有黑边约束的情况下通过求解使用至少部分地利用所述3D映射统计信息构建的多变量多元回归(MMR)矩阵制定的无约束最小二乘问题来生成MMR系数，其中，所述MMR系数用于生成用于预测所述第二图像的色度码字值的色度映射；/n确定所述第一图像或所述第二图像中的至少一个中是否存在黑边；/n响应于确定所述第一图像或所述第二图像中的至少一个中存在黑边，基于一个或多个准确度阈值确定通过求解所述无约束最小二乘问题生成的所述色度映射是否准确地预测所述第二图像中的色度码字值；/n响应于确定所述第一图像或所述第二图像中的至少一个中不存在黑边，使用通过求解所述无约束优化问题生成的所述色度映射生成所述第二图像中的色度码字值；/n将所述第一图像或与所述第二图像近似的第三图像中的一个图像提供给接收方设备，以使要由所述接收方设备至少通过对所述第一图像或与所述第二图像近似的第三图像中的所述一个图像进行后向整形而生成的重构图像由显示设备渲染。/n...

【技术特征摘要】
【国外来华专利技术】20180511 EP 18171795.0;20180511 US 62/670,086;20181.一种用于对图像数据进行编码的方法，所述方法包括：
生成第一动态范围的第一图像和与所述第一图像相对应的第二图像的由具有多个仓分区的直方图表示的三维(3D)映射统计信息，其中，所述第二图像具有与所述第一动态范围不同的第二动态范围；
在没有黑边约束的情况下通过求解使用至少部分地利用所述3D映射统计信息构建的多变量多元回归(MMR)矩阵制定的无约束最小二乘问题来生成MMR系数，其中，所述MMR系数用于生成用于预测所述第二图像的色度码字值的色度映射；
确定所述第一图像或所述第二图像中的至少一个中是否存在黑边；
响应于确定所述第一图像或所述第二图像中的至少一个中存在黑边，基于一个或多个准确度阈值确定通过求解所述无约束最小二乘问题生成的所述色度映射是否准确地预测所述第二图像中的色度码字值；
响应于确定所述第一图像或所述第二图像中的至少一个中不存在黑边，使用通过求解所述无约束优化问题生成的所述色度映射生成所述第二图像中的色度码字值；
将所述第一图像或与所述第二图像近似的第三图像中的一个图像提供给接收方设备，以使要由所述接收方设备至少通过对所述第一图像或与所述第二图像近似的第三图像中的所述一个图像进行后向整形而生成的重构图像由显示设备渲染。


2.如权利要求1所述的方法，其中，所述第三图像是经前向整形的标准动态范围(SDR)图像，其中，所述第一图像表示源高动态范围(HDR)图像，并且其中，所述第二图像表示通过内容映射由所述源HDR图像生成的参考SDR图像。


3.如权利要求1所述的方法，其中，所述第二图像表示源高动态范围(HDR)图像，其中，所述第一图像表示由所述源HDR图像生成的经前向整形的标准动态范围(SDR)图像，其中，所述第三图像表示与所述源HDR图像近似的重构HDR图像，并且其中，所述重构HDR图像是通过基于以比特流的形式提供给所述接收方设备的后向整形图像元数据的后向整形由所述经前向整形的SDR图像生成的。


4.如权利要求1至3中任一项所述的方法，进一步包括：
响应于确定通过求解所述无约束最小二乘问题生成的所述色度映射准确地预测所述第二图像中的色度码字值，使用所述色度映射来生成所述第三图像中的色度码字。


5.如权利要求1至4中任一项所述的方法，进一步包括：
响应于确定通过求解所述无约束最小二乘问题生成的所述色度映射未准确地预测所述第二图像中的色度码字值，执行以下操作：
由通过求解约束最小二乘问题生成的新的MMR系数重新生成所述色度映射，以获得一组MMR系数，其中，所述约束最小二乘问题是利用以下各项制定的：(a)无约束MMR矩阵和(b)将所述第一动态范围的特定黑边色度码字值与所述第二动态范围的特定黑边色度码字值相关联的特定黑边约束；
使用由所述新的MMR系数重新生成的所述色度映射生成所述第三图像中的色度码字值。


6.如权利要求1至5中任一项所述的方法，其中，使用以下各项的各个像素值在每像素级别生成所述3D映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像和(b)所述第二动态范围的参考图像；
其中，所述第二动态范围的所述参考图像是从所述第一动态范围的所述源图像映射的内容；所述方法进一步包括：
确定所述第二动态范围的所述参考图像中是否存在剪裁；
响应于确定所述第二动态范围的所述参考图像中存在剪裁，通过将所述3D映射统计信息与经训练的3D映射统计信息合并来修改所述3D映射统计信息。


7.如权利要求6所述的方法，其中，由包括多对所述第一动态范围的第一训练图像和所述第二动态范围的第二训练图像的训练数据集生成所述经训练的3D映射统计信息。


8.如权利要求1至5中任一项所述的方法，其中，使用以下各项在采样点级别生成所述3D映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像的采样点像素值和(b)所述第二动态范围的对应采样点像素值；其中，所述第二动态范围的所述对应采样点像素值是从所述第一动态范围的所述源图像的采样点像素值映射的内容。


9.如权利要求8所述的方法，其中，所述采样点像素值是使用3D网格或密度分布中的一个或多个选择的样本点的像素值。


10.如权利要求1至9中任一项所述的方法，其中，所述第一图像位于所述第一动态范围的表示场景的多个图像当中；其中，所述MMR矩阵是利用由所述第一动态范围的表示所述场景的所述多个图像的多组帧特定的3D映射统计信息生成的场景特定的3D映射统计信息构建的。


11.如权利要求1至10中任一项所述的方法，其中，所述MMR矩阵是利用来自所述第一动态范围的多个图像的多组帧特定的3D映射统计信息的一个或多个滑动窗口构建的。


12.如权利要求1至11中任一项所述的方法，其中，所述多个仓分区是根据其中表示所述第一图像和所述第二图像之一或两者的颜色空间的每个颜色通道中的最小码字值和最大码字值动态地创建的。


13.如权利要求1至12中任一项所述的方法，其中，所述方法进一步包括基于属于所述多个仓分区中的每个仓分区的码字来计算一组质心。


14.如权利要求3所述的方法，进一步包括：将后向整形图像元数据与所述经前向整形的SDR图像一起以编码比特流的形式提供给与所述显示设备一起操作的视频解码器，其中，所述后向整形图像元数据包括由所述视频解码器用来生成所述色度映射以将所述经前向整形的SDR图像中的色度码字值后向整形为所述重构HDR图像中的重构码字值的图像元数据。


15.如权利要求8或9所述的方法，其中，所述第一图像表示源高动态范围(HDR)图像，并且其中，所述第三图像表示通过前向整形由所述源HDR图像生成的经前向整形的标准动态范围(SDR)图像；其中，所述色度映射表示色度前向整形映射；所述方法进一步包括：
在没有黑边约束的情况下通过求解使用至少部分地利用所述3D映射统计信息构建的第二M...

【专利技术属性】
技术研发人员：宋青，H·卡杜，苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US