对HDR视频进行编码和解码制造技术

一种视频编码器和解码器系统包括视频解码器(220)，所述视频解码器通过在亮度和子采样色度域中直接应用动态范围转换增益来将以亮度和色度表示的输入HDR图像转换为以亮度和子采样色度表示的SDR图像。视频编码器可以执行相反操作并通过在亮度和子采样色度域中直接应用动态范围转换增益来从SDR转换为HDR。

【技术实现步骤摘要】
【国外来华专利技术】对HDR视频进行编码和解码
本专利技术涉及用于分别对时间上连续的高动态范围图像的集合(本文被称为HDR视频)进行编码和解码的方法和装置。
技术介绍
直到几年前，所有视频都是根据所谓的低动态范围(LDR)原理(也称为标准动态范围(SDR))编码的。这意味着，无论捕获到的场景是什么，代码的最大值(通常8位亮度Y’＝255；或者用于模拟显示器驱动的100％电压)应当通过标准化定义对应于具有根据标准协议为100nit的峰值亮度PB(即它能够渲染的最亮的白色)的显示器(即，被渲染在其上)。如果人们购买了稍暗或更亮的实际显示器，则假设观看者的视觉系统将调整，使得图像将仍然看起来合适，并且甚至与参考100nit显示器上相同，而不是例如令人不快地太亮(假如有例如恐怖电影中的夜景，则其应当具有暗的外观)。当然，对于实际的节目制作来说，这通常意味着保持对场景照明设置的严格控制，因为即使在完美地均匀的照明中，各种对象的漫反射百分比已经能够给出100：1的对比度。这样的SDR显示器的黑色在良好的情况下通常为0.1nit，在最差的情况下为1nit甚至几nit，所以SDR显示器的动态范围(最亮的白色除以最暗的可视黑色)最好是1000：1，或者更差，这很好地对应于这样的均匀照明场景，并且使所有需要的具有大约2.0的伽马或者编码反伽马0.5.Rec.709的像素灰度值或亮度值被渲染的8位编码是通常使用的SDR视频编码。通常，相机也具有同时捕获非常亮的区域和相当暗的区域的问题，即在窗户或车窗外看到的场景通常会被剪成白色(给定红色、绿色和蓝色加性颜色分量R＝G＝B＝最大值，对应于它们的平方根编码值R’＝G’＝B’＝255)。注意，如果在此应用中动态范围仅以峰值亮度(即最亮渲染亮度或可渲染的亮度)被首先指定，则我们假设最低亮度值实际上为零(而实际上它可能取决于观看条件，诸如显示器前板或影院屏幕光反射，例如0.1nit)，并且那些进一步的细节与具体解释无关。还要注意，有几种方法来定义动态范围，并且在下面的解释中通常使用的最自然的方法是显示器渲染的亮度动态范围，即最亮颜色对比最暗颜色的亮度。还要注意，在HDR研究期间已经变得更清楚并且在这里提到以确保每个人都能理解的内容是，代码系统本身不具有动态范围，除非将参考显示器与它相关联，也就是说，例如R’＝G’＝B’＝Y’＝255应当与100nit或备选地1000nit的PB等相对应。特别地，与通常预先假设的内容相反，用于像素的颜色分量的位数(如它们的亮度)不是动态范围的良好指示器，因为例如10位编码系统可以编码HDR视频或SDR视频，其根据编码类型而确定，特别是与编码相关联的参考显示器的电光转换函数EOTF，即定义亮度代码[0,1023]与像素的对应亮度之间的关系，因为它们需要被渲染在显示器上。在本文中，假设当提到HDR图像或视频时，其具有针对最高亮度代码的对应峰值亮度或最大亮度(或者在RGB编码(例如而不是YCbCr编码)的情况下等效地具有最高R’、G’、B’值)，其高于100nit的SDR值，通常至少高4倍，即，要使HDR图像看起来最佳的要渲染的最大显示亮度可以是例如1000nit、5000nit或10000nit(注意，这不应当与将在下面详细说明的表面复杂的概念相混淆，即人们能够将这种HDR图像或视频编码为SDR图像或视频，在这种情况下图像可渲染在100nit显示器上，但重要的是，还包含当具有编码用于恢复HDR图像的颜色变换的对应的相关联的元数据时用于创建具有例如1000nit的PB的HDR图像的所有信息！)。因此，高动态范围图像的高动态范围编码能够利用要被渲染的例如高达1000nit的亮度对图像进行编码，以便能够显示渲染高质量的HDR，例如与周围渲染场景相比的明亮爆炸，或闪闪发光的金属表面等。实际上，世界上有很多场景能够具有很高的动态范围(例如，室内捕获的对象暗至1nit，同时透过窗户看到外面阳光照射的对象，亮度在10000nit之上，给出10000：1的动态范围，其比1000：1的DR大10倍，甚至比100：1的动态范围大100倍，并且例如在某些典型情况下(例如白天观看)，电视观看可能具有小于30：1的DR)。因为显示器变得更好(比100nit亮几倍的PB，目前出现1000nit，并且设想数千nitPB)，目标是能够漂亮地渲染这些图像，并且尽管由于如不同观看条件之类的因素而与原始图像不完全相同，但至少很自然，或者至少是令人愉悦的。并且这需要SDR视频编码时代所缺少的东西：良好的实际HDR视频编码技术。读者还应当理解，因为观看者通常在不同情况下观看内容(例如，晚上坐在光线昏暗的客厅，或者在暗的家中或电影院里，而不是实际站在被捕获的明亮非洲景观中)，所以场景中的亮度与最终在电视(或其他显示器)上渲染的亮度之间没有同一性。这能够尤其通过让人类颜色分级器手动决定(即相关联的参考显示器上的)可用编码DR上的最佳颜色来处理，例如通过规定场景中的太阳应当在图像中以5000nit(而不是其实际值10亿nit)渲染。备选地，自动算法可以进行从例如原始相机捕获到本文中(通常)称为(主)HDR分级的内容的这样的转换。这意味着人们能够在5000nitPBHDR显示器上的可用的位置处渲染此主分级。然而，与此同时，未来几年将有一大群人拥有100nitPB的传统SDR显示器，或者不能做出5000nit白色的某些显示器，例如因为它是便携式的，而且这些人也需要能够看HDR电影。因此，需要有一些机制将5000nitHDR转换为同一场景的100nitSDR外观图像。图1示出了未来的HDR系统(例如，连接到1000nitPB显示器)可能需要能够即通过为图像中的所有对象/像素渲染合适的亮度来正确处理的许多可能的HDR场景的几个说明性示例。例如，ImSCN1是来自西方电影的阳光户外图像，而ImSCN2是夜间图像。使HDR图像渲染与其仅在几年前结束的LDR时代如何不同之处在于，LDR具有如此有限的动态范围(大约PB＝100nit，且黑色水平为+-0.1到1nit)，大多数情况下，只能示出对象的反射率(其将落在针对好的白色的90％与针对好的黑色的1％之间)。所以人们必须示出独立于其照明的对象，并且不能同时如实地示出可能发生的场景的所有有时高度对比的照明。实际上，这意味着高亮度的阳光场景必须以与阴暗的雨天场景大致相同的显示亮度(0-100nit)被渲染。并且即使夜间场景不能被渲染得太暗，或者观看者不能很好地鉴别图像中最暗的部分，这些夜间亮度也会再次跨度0与100nit的范围被渲染。因此人们不得不按照惯例将夜晚场景涂成蓝色，使得观看者将明白他不是在看白天场景。当然，在现实生活中，人类视觉也会适应可用的光量，但不会适应那么多(现实生活中的大多数人认识到它在变暗)。因此，人们想要使用能够在其中进行艺术设计的所有壮观的局部照明效果来渲染图像，以获得更加逼真的渲染图像，至少在有可用的HDR显示器时。因此，在图1的左侧轴上是对象亮度，因为人们想要在针对5000nitPB显示器的5000nitPB主HDR分级中看到它们。如果人们想要传达的不仅仅是幻觉，而是牛仔处于明亮阳光照射的环境中的真实感觉，则必须将那些像素亮度指定并渲染得足够明亮(尽本文档来自技高网...

【技术保护点】
1.一种视频解码器(220)，其被布置为从编码的输入图像中解码并输出时间上连续的高动态范围图像(Im_RHDR)的集合，所述编码的输入图像是编码的低动态范围图像(Im_COD)的集合，所述编码的低动态范围图像是以其中像素颜色由亮度值(Y’4L)和色度值(C’b0L，C’r0L)表示的格式的，所述色度值(C’b0L，C’r0L)与所述亮度值(Y’4L)相比在空间上被子采样，所述视频解码器包括：‑视频解码器(207)，其被布置为将所述编码的低动态范围图像解码为未编码的低动态范围图像(Im_RLDR)；‑第一空间尺度升高器(501)和第二空间尺度升高器(502)，其被布置为将所述低动态范围图像(Im_RLDR)的色度值尺度升高到所述亮度值的分辨率；‑颜色转换器(503)，其被布置为针对所述低动态范围图像(Im_RLDR)的每个像素将所述亮度值和色度值转换为包括三个非线性R’G’B’颜色值的非线性R’G’B’表示(R’4，G’4，B’4)；‑最大值计算单元(504)，其被布置为针对每个像素输出所述三个非线性R’G’B’颜色值的最大值(m)；‑亮度映射单元(505)，其被布置为接收亮度映射函数(TM)，所述亮度映射函数(TM)定义正被处理的所述低动态范围输入图像(Im_RLDR)中的一幅的亮度与要被获得的对应的高动态范围输出图像(Im_RHDR)的亮度之间的关系，并且所述亮度映射单元被布置为针对每个像素将所述亮度映射函数应用于所述最大值(m)，从而得到输出最大值(m*)；‑增益因子计算器(506)，其被布置为针对每个像素通过将所述输出最大值(m*)除以所述最大值(m)来获得增益值(g)；‑第一空间尺度降低器(507)和第二空间尺度降低器(508)，其被布置为将所述增益值在空间上尺度降低到所述低动态范围图像的所述色度值的分辨率；以及‑乘法器(509、510、511)，其被布置为针对每个像素将正被处理的所述低动态范围输入图像(Im_RLDR)的所述亮度值和色度值(C’b0L，C’r0L)与所确定的相应增益值(g)相乘，针对所述色度值的相应增益值是尺度降低的增益值，其中，所述空间尺度升高器(501)和所述第二空间尺度升高器(502)被协调为与在视频编码器中使用的空间尺度升高器和第二空间尺度升高器相同，所述视频编码器将所述高动态范围图像编码为编码的低动态范围图像(Im_COD)的集合。...

【技术特征摘要】
【国外来华专利技术】2016.01.28 EP 16153061.31.一种视频解码器(220)，其被布置为从编码的输入图像中解码并输出时间上连续的高动态范围图像(Im_RHDR)的集合，所述编码的输入图像是编码的低动态范围图像(Im_COD)的集合，所述编码的低动态范围图像是以其中像素颜色由亮度值(Y’4L)和色度值(C’b0L，C’r0L)表示的格式的，所述色度值(C’b0L，C’r0L)与所述亮度值(Y’4L)相比在空间上被子采样，所述视频解码器包括：-视频解码器(207)，其被布置为将所述编码的低动态范围图像解码为未编码的低动态范围图像(Im_RLDR)；-第一空间尺度升高器(501)和第二空间尺度升高器(502)，其被布置为将所述低动态范围图像(Im_RLDR)的色度值尺度升高到所述亮度值的分辨率；-颜色转换器(503)，其被布置为针对所述低动态范围图像(Im_RLDR)的每个像素将所述亮度值和色度值转换为包括三个非线性R’G’B’颜色值的非线性R’G’B’表示(R’4，G’4，B’4)；-最大值计算单元(504)，其被布置为针对每个像素输出所述三个非线性R’G’B’颜色值的最大值(m)；-亮度映射单元(505)，其被布置为接收亮度映射函数(TM)，所述亮度映射函数(TM)定义正被处理的所述低动态范围输入图像(Im_RLDR)中的一幅的亮度与要被获得的对应的高动态范围输出图像(Im_RHDR)的亮度之间的关系，并且所述亮度映射单元被布置为针对每个像素将所述亮度映射函数应用于所述最大值(m)，从而得到输出最大值(m*)；-增益因子计算器(506)，其被布置为针对每个像素通过将所述输出最大值(m*)除以所述最大值(m)来获得增益值(g)；-第一空间尺度降低器(507)和第二空间尺度降低器(508)，其被布置为将所述增益值在空间上尺度降低到所述低动态范围图像的所述色度值的分辨率；以及-乘法器(509、510、511)，其被布置为针对每个像素将正被处理的所述低动态范围输入图像(Im_RLDR)的所述亮度值和色度值(C’b0L，C’r0L)与所确定的相应增益值(g)相乘，针对所述色度值的相应增益值是尺度降低的增益值，其中，所述空间尺度升高器(501)和所述第二空间尺度升高器(502)被协调为与在视频编码器中使用的空间尺度升高器和第二空间尺度升高器相同，所述视频编码器将所述高动态范围图像编码为编码的低动态范围图像(Im_COD)的集合。2.根据权利要求1所述的视频解码器(220)，其中，所述空间尺度升高器(501)和所述第二空间尺度升高器(502)是可编程的以应用至少两种不同的尺度升高算法，并且被布置为接收要使用的所述尺度升高算法(INTSTR1)以用于对当前输入的编码的低动态范围图像的集合进行解码。3.根据上述权利要求中的一项所述的视频解码器(220)，包括颜色转换器(512)，所述颜色转换器被布置为将输出的高动态范围图像(Im_RHDR)的集合从用0.5的反伽马定义的Y’CbCr表示转换为高动态范围RGB颜色表示。4.根据权利要求3所述的视频解码器(220)，其中，所述高动态范围RGB颜色表示的红色分量、绿色分量和蓝色分量(R”，G”，B”)用在SMPTEST2084中定义的光电转换函数定义。5.一种视频解码的方法，其被布置为从编码的输入图像中解码并输出时间上连续的高动态范围图像(Im_RHDR)的集合，所述编码的输入图像是编码的低动态范围图像(Im_COD)的集合，所述编码的低动态范围图像是以其中像素颜色由亮度值(Y’4L)和色度值(C’b0L，C’r0L)表示的格式的，所述色度值(C’b0L，C’r0L)与所述亮度值(Y’4L)相比在空间上被子采样，所述方法包括：-将所述编码的低动态范围图像解码为未编码的低动态范围图像(Im_RLDR)；-将所述低动态范围图像(Im_RLDR)的所述色度值尺度升高到所述亮度值的分辨率；-针对所述低动态范围图像(Im_RLDR)的每个像素将所述亮度值和色度值转换为包括三个非线性R’G’B’颜色值的非线性R’G’B’表示(R’4，G’4，B’4)；-针对每个像素计算所述三个非线性R’G’B’颜色值的最大值(m)；-接收亮度映射函数(TM)，所述亮度映射函数(TM)定义正被处理的所述低动态范围输入图像(Im_RLDR)中的一幅的亮度与要被获得的对应的高动态范围输出图像(Im_RHDR)的亮度之间的关系，并且针对每个像素将所述亮度映射函数应用于所述最大值(m)，从而得到输出最大值(m*)；-针对每个像素通过将所述输出最大值(m*)除以所述最大值(m)来计算增益值(g)；-将所述增益值在空间上尺度降低到所述低动态范围图像的所述色度系数值的分辨率；并且-针对每个像素将正被处理的所述未编码的低动态范围输入图像(Im_RLDR)的所述亮度值和色度值(C’b0L，C’r0L)与所确定的相应增益值(g)相乘，针对所述色度值的相应增益值是尺度降低的增益值；其中，所述色度系数的所述尺度升高被协调为与在视频编码器中使用的尺度升高相同，所述视频编码器将所述高动态范围图像编码为编码的低动态范围图像(Im_COD)的集合。6.根据权利要求5所述的视频解码的方法，其中，所述尺度升高是可编程的并且能够应用至少两种不同的尺度升高算法，并且应用接收到的要使用的...

【专利技术属性】
技术研发人员：R·J·范德弗洛坦恩，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL