用于处理多种HDR视频格式的系统技术方案

因为目前可能出现了并不必需的不同HDR视频编码方法，所以预期到，实际传送的HDR视频可能在若干未来情景中由以不同方式编码的HDR视频分段的复杂混合组成，其可能难以解码，除非具有我们现在给出的：视频解码器(341)，其被布置为对由时间上连续的图像组成的高动态范围视频进行解码，其中，所述视频由连续的时间分段(S1、S2)构成，所述连续的时间分段由具有像素颜色的多幅时间上连续的图像(I1、I2)组成，在不同时间分段中的所述像素颜色是通过根据不同的电光传递函数(EOTF)而使亮度与像素明亮度相对应来定义的，其中，在所述分段中的一些分段中的所述图像是根据可动态改变的电光传递函数来定义的，所述可动态改变的电光传递函数是作为针对每幅时间上连续的图像的单独函数来发送的，并且其中，其他分段中的所述图像具有由固定的电光传递函数定义的亮度，所述固定的电光传递函数的信息是在数据分组(DRAM)中被一起传送的，所述数据分组与图像重复率相比是较不频繁地被发送的，并且其中，所述数据分组(DRAM)中的表征在第一分段与第二分段之间的改变时刻(t1)之后的图像像素亮度的所述电光传递函数的至少一个数据分组是在所述改变时刻(t1)之前被发送的；以及类似地，对应的编码器，其组成所分段的视频流，确保描述根据其来编码稍后的视频分段的亮度的EOTF的至少一个正确的分组(DRAM)是由接收器在改变为不同的HDR编码方法分段之前接收的。

【技术实现步骤摘要】
【国外来华专利技术】用于处理多种HDR视频格式的系统
本专利技术涉及用于处理并且特别是解码视频图像的动态范围或高动态范围(HDR)编码方法的编码的时间上的改变的方法和装置。
技术介绍
直到几年前，所有视频(例如，蓝光光盘上的电视节目或电影、或者其他用途的视频(例如，可视电话))和大多数静态图像都是根据所谓的低动态范围(LDR)理念(也被称为标准动态范围(SDR))来编码的。这意味着存在利用Rec.709OETF(其定义了用于传输的YCbCr图像像素颜色的8或10比特亮度(luma)码)来创建图像的单一方式，并且视频的编码峰值明度(brightness)(PB_C)(即可以被编码的最亮白色像素的明亮度(luminance))是始终标准的100尼特，而最暗的可编码明亮度为0.1尼特。在最终消费者所在地的所有实际的显示器以及在内容创建站点处的预览监视器都具有对应的最白白色(PB_D＝100尼特)和最暗黑色，使得视频制作和进一步沿着技术链的处理相对简单，因为制作方将在其相同的制作监视器上看到最终消费者将看到的内容。最近的过去几年里，已经出现了具有相当不同的PB_D的新显示器，例如，2000尼特PB_D的显示器，其比SDR显示器明亮不低于20倍，并且这可能意味着图像将看起来烦人地明亮(当例如在以被映射到显示PB_D的编码白色的相对明亮度显示的约束下将SDR图像直接映射到HDR显示器上时)，或者反之亦然，当HDR图像(假定是针对HDR电视机而制作的)直接在HDR电视机上被渲染时(即，在电视机不对图像进行一些(非标准)优化以使得其更好可视的情况下)，其将看起来极其暗。由于最近4年对多种不同的HDR图像编码和处理系统的引入，使事情复杂化。为了方便起见，借助图1向读者介绍了HDR编码和动态范围适应的基本方面中的一些方面，该图示出了许多可能的HDR场景的几个典型的说明性示例。将来的HDR系统(例如，连接到1000尼特PB_D的显示器)可能需要能够正确地处理，即通过为图像中的所有对象/像素渲染适当的明亮度。HDR图像可能具有正常明亮度的许多正常颜色(即，其也可以在SDR中进行编码，比如光线充足的人脸)，但是它们通常可能具有超暗和超亮像素区域中的至少一者。例如，ImSCN1是来自西部电影的阳光充足的室外图像(其大部分具有明亮的区域(风景)，这些区域在理想情况下应当被渲染得比在100尼特的显示器上稍微明亮，以提供比下雨天外观更加阳光充足的外观)，而ImSCN2是夜间图像(大部分具有暗像素，但在是同一图像内也具有非常明亮的像素(例如，路灯的灯像素))。使HDR图像渲染与其在仅几年前结束的仅SDR时代中一如既往的方式不同的原因在于，SDR具有如此有限的动态范围(PB_C＝100尼特，并且可显示的黑色水平大约为0.1到1尼特)，使得在SDR中主要仅显示对象的固有反射率(其落在针对良好白色的90％与针对良好黑色的1％之间)。这对于在统一的技术控制的照明下识别对象(具有来自其反射的一定的明度量以及当然具有其色度)将是良好的，但是在自然场景中可能在照明本身方面并不具有那么完美的变化，而且可能对观看者具有影响。在HDR中，至少可以定义要被显示的明亮度，其可以例如落在1/10000与10,000尼特之间。那么，感兴趣的次要问题是，如在所接收的图像中定义的这种明亮度(即它们在理想情况下应当被显示的明亮度)如何必须被显示在具有较低的显示峰值明度(与用于如创建侧在理想情况下对太阳所预期的那样来渲染太阳所需要的例如5000尼特相比)PB_D的任何显示器上(并且优选地，在例如750尼特PB_D的显示器上针对太阳的对应较低的显示明亮度应当被如此确定使得：尽管图像的外观并不是完美的图像，但是750尼特PB_C的图像至少在被显示时至少利用正确的像素色度来尽可能多地传达原始的主5000尼特PB_C的HDR图像)。除了主HDR图像以外，若干种HDR编解码器定义了对应的SDR图像(即具有最佳定义的外观，这意味着图像像素颜色在视觉上如更加受限的SDR色域所允许地与HDR图像像素颜色类似)；并且一些编解码器还定义了一种方式来推导最佳外观(所谓的中等动态范围)图像以提供给具有在主HDR图像的PB_D(例如，5000或10,000尼特)与SDR的100尼特PB_C之间的PB_D的显示器(或者推导针对甚至高于主图像的PB_C的PB_D的图像)。这通常是通过以下方式来进行的：在元数据中被一起传送至少明亮度映射函数(图2，F_L；以及可能地，还有用于例如改变从相同空间位置处的对应HDR像素颜色所推导出的SDR像素颜色的饱和度的颜色映射规范F_C)，规定HDR图像中的像素明亮度应当如何被变换为一些对应的SDR像素明亮度(或者在一些编解码器中，变换到一些MDR像素明亮度，不一定存在到SDR的映射)。在左侧，我们看到针对5000尼特PB_C的主HDR图像编码的明亮度轴(以及对应的动态范围DR_h，其可以被定义为最亮明亮度除以最暗明亮度，但是读者应当意识到，良好的动态范围成像不仅与这两个端点有关，而且与针对每种HDR场景类型对用于各种HDR场景对象的所有中间像素明亮度的最佳确定有关)。在右侧，我们看到沿着SDR明亮度动态范围DR_s针对典型的图像对象的对应像素明亮度。可以看到的是，有时明亮度映射规则是“保持明亮度是相同的”，而有时HDR明亮度需要变暗，以便将较大的HDR明亮度范围压缩到较小的SDR明亮度范围中。并且类似地，一种机制可以推导次级明亮度映射函数，以将例如接收到的SDR图像或接收到的HDR图像映射到例如750或1500尼特的MDR图像(也被称为显示适配)。如下文将详细描述的，HDR图像处理不仅是复杂的(因为存在具有不同种类的PB_D的许多不同种类的显示器，而期望每个观看者在其特定显示器上获得对原始HDR艺术创作视频的最佳或至少合理的呈现，并且存在可能构造的许多不同种类的HDR场景，它们具有不同的HDR效果和明亮度分布，这些效果和明亮度分布在显示之前需要不同的优化)，而且现在已经开发了用于HDR视频的不同的技术编码方式，这些编码方式具有不同的EOTF并且需要被正确地解码和协调(尤其是在临时穿插时)。图2示意性地示出了具体地根据申请人的HDR范例的HDR图像编码和解码链的高层面概述。所有这样的HDR视频编码器都具有如下属性(鉴于从SDR时代开始大量已经部署的视频处理技术，该属性被认为是对于实现快速的市场采用而言要满足的必要要求)：HDR图像实际上可以被传送为“好像其是正常的SDR图像”，即例如经由HEVC或类似的视频压缩。“好像”当然是可能变得有问题的复杂情况，并且下面的专利技术以及其实施例也是非常烦人的问题的示例，该问题在实践中突然出现(在并非100％从开始重新部署的、而是基于现有限制来构建的这种系统中)。最简单的编解码器是HDR10编解码器。其通过使用新光电传递函数(OETF)来生成像素颜色的亮度Y，该新OETF比Rec.709OETF陡峭得多，并且因此能够对较大的输入图像明亮度范围进行编码。但是对于视频压缩器203来说，这些仅是其不在乎的亮度本文档来自技高网...

【技术保护点】
1.一种视频解码器(341)，其被布置为对由时间上连续的图像组成的高动态范围视频进行解码，其中，所述视频由连续的时间分段(S1、S2)构成，所述连续的时间分段由具有像素颜色的多幅时间上连续的图像(I1、I2)组成，在不同时间分段中的所述像素颜色是通过根据不同的电光传递函数而使亮度与像素明亮度相对应来定义的，其中，在所述分段中的一些分段中的所述图像是根据可动态改变的电光传递函数来定义的，所述可动态改变的电光传递函数是作为针对每幅时间上连续的图像的单独函数来发送的，并且其中，其他分段中的所述图像具有由固定的电光传递函数定义的亮度，所述固定的电光传递函数的信息是在数据分组(DRAM)中被一起传送的，所述数据分组与图像重复率相比是较不频繁地被发送的，并且其中，所述数据分组(DRAM)中的表征在第一分段与第二分段之间的改变时刻(t1)之后的图像像素亮度的所述电光传递函数的至少一个数据分组是在所述改变时刻(t1)之前被发送的，并且其中，所述视频解码器(341)具有存储器(343)并且被布置为将所述数据分组中的在比所述改变时刻(t1)早一数量(N)的图片重复次数的时刻处接收的数据分组(DRAM)存储在所述存储器中。/n...

【技术特征摘要】
【国外来华专利技术】20180213 EP 18156435.21.一种视频解码器(341)，其被布置为对由时间上连续的图像组成的高动态范围视频进行解码，其中，所述视频由连续的时间分段(S1、S2)构成，所述连续的时间分段由具有像素颜色的多幅时间上连续的图像(I1、I2)组成，在不同时间分段中的所述像素颜色是通过根据不同的电光传递函数而使亮度与像素明亮度相对应来定义的，其中，在所述分段中的一些分段中的所述图像是根据可动态改变的电光传递函数来定义的，所述可动态改变的电光传递函数是作为针对每幅时间上连续的图像的单独函数来发送的，并且其中，其他分段中的所述图像具有由固定的电光传递函数定义的亮度，所述固定的电光传递函数的信息是在数据分组(DRAM)中被一起传送的，所述数据分组与图像重复率相比是较不频繁地被发送的，并且其中，所述数据分组(DRAM)中的表征在第一分段与第二分段之间的改变时刻(t1)之后的图像像素亮度的所述电光传递函数的至少一个数据分组是在所述改变时刻(t1)之前被发送的，并且其中，所述视频解码器(341)具有存储器(343)并且被布置为将所述数据分组中的在比所述改变时刻(t1)早一数量(N)的图片重复次数的时刻处接收的数据分组(DRAM)存储在所述存储器中。


2.根据权利要求1所述的视频解码器(341)，其被布置为将在所述改变时刻(t1)之前接收的最后的数据分组(DRAM)存储在所述存储器中。


3.根据上述权利要求中的一项所述的视频解码器(341)，其包括视频改变检测器(346)，所述视频改变检测器被布置为通过每幅图像的可动态改变的电光传递函数的存在性或不可用性来检测分段的改变。


4.根据上述权利要求中的一项所述的视频解码器(341)，其包括视频改变检测器(346)，所述视频改变检测器被布置为检测编解码器改变指示分组在元数据中的存在性，所述元数据是与利用改变的HDR视频编码方法来编码的第一幅图像同步地被接收的。


5.根据上述权利要求中的一项所述的视频解码器(341)，其特征在于，要被显示的与在所述第二分段的连续的传入图像中接收的亮度相对应的像素明亮度的计算结果是由处理器(344)来计算的，所述处理器被布置为通过使用由最后接收的数据分组(DRAM)中的信息定义的电光传递函数来将所述亮度解码为明亮度。


6.根据上述权利要求中的一项所述的视频解码器(341)，其包括视频输入部(342)，所述视频输入部被布置为接收在HDMI或显示端口线缆上传送的视频。


7.一种视频编码器(3010)，其被布置为对由时间上连续的图像组成的高动态范围视频进行编码，其中，所述视频由连续的时间分段(S1、S2)构成，所述连续的时间分段由具有像素颜色的多幅时间上连续的图像...

【专利技术属性】
技术研发人员：J·C·塔尔斯特拉，N·B·谢泼德，L·M·范德克尔克霍夫，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL