对HDR视频进行编码和解码制造技术

为了具有HDR视频编码和解码的更好的可用实用方式，本发明专利技术人发明专利技术了一种高动态范围视频解码器(500)，其被布置为接收高动态范围视频的编码(Im_COD)并解码和输出时间上连续的图像(Im_RHDR)的集合，所述高动态范围视频解码器包括：输入部(502)，其用于接收三个权重值(kRY,kGY,kBY)；视频解码器(501)，其被布置为将所述编码(Im_COD)解码为用Y'CbCr颜色表示的中间图像(Im_RLDR)；亮度指数计算单元(503)，其被布置为计算针对所述中间图像(Im_RLDR)的每个像素的亮度指数(J')，所述亮度指数被定义为J'＝Y'+MAX{kRY*(R'‑Y'),kGY*(G'‑Y'),kBY*(B'‑Y')}；亮度映射器(505)，其被布置为接收至少一个一维函数F_ct的详细说明并利用所述亮度指数(J')作为输入而应用所述至少一个一维函数F_ct，以获得输出亮度指数(J*)；乘法因子计算单元(506)，其被布置为计算乘法因子(g)，所述乘法因子等于所述输出亮度指数(J*)除以所述亮度指数(J')；三个乘法器(509、510、511)，其用于将所述中间图像(Im_RLDR)的每个像素的各个颜色分量(Y,Cr,Cb)乘以所述乘法因子(g)，以获得针对所述时间上连续的图像的集合中的当前正被解码的输出动态范围图像(Im_RHDR)中的所述像素的输出颜色(Y'H,Cb'H,Cr'H)。

【技术实现步骤摘要】
【国外来华专利技术】对HDR视频进行编码和解码
本专利技术涉及用于分别对时间上连续的高动态范围图像的集合(本文被称为HDR视频)进行编码和解码的方法和装置。
技术介绍
直到几年前，所有视频都是根据所谓的低动态范围(LDR)原理(也称为标准动态范围(SDR))编码的。这意味着，无论捕获到的场景是什么，代码的最大值(通常8位亮度Y’＝255；或者用于模拟显示器驱动的100％电压)应当通过标准化定义对应于具有根据标准协议为100nit的峰值亮度PB(即它能够渲染的最亮的白色)的显示器(即，被渲染在其上)。如果人们购买了稍暗或更亮的实际显示器，则假设观看者的视觉系统将调整，使得图像将仍然看起来合适，并且甚至与参考100nit显示器上相同，而不是例如令人不快地太亮(假如有例如恐怖电影中的夜景，则其应当具有暗的外观)。当然，对于实际的节目制作来说，这通常意味着保持对场景照明设置的严格控制，因为即使在完美地均匀的照明中，各种对象的漫反射百分比已经能够给出100：1的对比度。这样的SDR显示器的黑色在良好的情况下通常为0.1nit，在最差的情况下为1nit甚至几nit，所以SDR显示器的动态范围(最亮的白色除以最暗的可视黑色)最好是1000：1，或者更差，这很好地对应于这样的均匀照明场景，并且使所有需要的具有大约2.0的伽马或者编码反伽马0.5.Rec.709的像素灰度值或亮度值被渲染的8位编码是通常使用的SDR视频编码。通常，相机也具有同时捕获非常亮的区域和相当暗的区域的问题，即在窗户或车窗外看到的场景通常会被剪成白色(给定红色、绿色和蓝色加性颜色分量R＝G＝B＝最大值，对应于它们的平方根编码值R’＝G’＝B’＝255)。注意，如果在此应用中动态范围仅以峰值亮度(即最亮渲染亮度或可渲染的亮度)被首先指定，则我们假设最低亮度值实际上为零(而实际上它可能取决于观看条件，诸如显示器前板或影院屏幕光反射，例如0.1nit)，并且那些进一步的细节与具体解释无关。还要注意，有几种方法来定义动态范围，并且在下面的解释中通常使用的最自然的方法是显示器渲染的亮度动态范围，即最亮颜色对比最暗颜色的亮度。还要注意，在HDR研究期间已经变得更清楚并且在这里提到以确保每个人都能理解的内容是，代码系统本身不具有动态范围，除非将参考显示器与它相关联，也就是说，例如R’＝G’＝B’＝Y’＝255应当与100nit或备选地1000nit的PB等相对应。特别地，与通常预先假设的内容相反，用于像素的颜色分量的位数(如它们的亮度)不是动态范围的良好指示器，因为例如10位编码系统可以编码HDR视频或SDR视频，其根据编码类型而确定，特别是与编码相关联的参考显示器的电光转换函数EOTF，即定义亮度代码[0,1023]与像素的对应亮度之间的关系，因为它们需要被渲染在显示器上。在本文中，假设当提到HDR图像或视频时，其具有针对最高亮度代码的对应峰值亮度或最大亮度(或者在RGB编码(例如而不是YCbCr编码)的情况下等效地具有最高R’、G’、B’值)，其高于100nit的SDR值，通常至少高4倍，即，要使HDR图像看起来最佳的要渲染的最大显示亮度可以是例如1000nit、5000nit或10000nit(注意，这不应当与将在下面详细说明的表面复杂的概念相混淆，即人们能够将这种HDR图像或视频编码为SDR图像或视频，在这种情况下图像可渲染在100nit显示器上，但重要的是，还包含当具有编码用于恢复HDR图像的颜色变换的对应的相关联的元数据时用于创建具有例如1000nit的PB的HDR图像的所有信息！)。因此，高动态范围图像的高动态范围编码能够利用要被渲染的例如高达1000nit的亮度对图像进行编码，以便能够显示渲染高质量的HDR，例如与周围渲染场景相比的明亮爆炸，或闪闪发光的金属表面等。并且同时地可以编码相对暗像素颜色或者其亮度(即使未渲染在显示器上)。因此，为了避免怀疑，当本文讨论高动态范围(创建的原始)图像时或者那些图像的编码时，我们意指该编码能够至少处理比基于标准rec.709的SDR编码能够处理的亮度范围更大的亮度范围，即无论什么最亮代码实际上被映射到显示器上作为渲染亮度，该编码都将能够编码至少大于1000:1的亮度范围，并且优选地更大以使得能够利用甚至更高的亮度对比度来编码场景。实际上，世界上有很多场景能够具有很高的动态范围(例如，室内捕获的对象暗至1nit，同时透过窗户看到外面阳光照射的对象，亮度在10000nit之上，给出10000：1的动态范围，其比1000：1的DR大10倍，甚至比100：1的动态范围大100倍，并且例如传统TV查看可以在一些典型的情况下(例如，白天观看)具有小于30:1的DR)。当人们想要能够至少在理论上渲染对于人类而言最真实的图像时，人们能够争论人类想要与在显示器上的对比的像素亮度同时地看到什么，或者他能够很好地看到什么的更简单的问题。在这两个方面上已经存在争论，也许在某种程度上想要证明特定点，并且有时据说10,000:1亮度对比率应当是足够的，但是如果人在黑暗的大街上行走，则他看见远低于一nit的暗像素以及能够是若干1000或10,000nit的明亮光，并且这不必是不能看到的。因此，虽然可以存在关于什么亮度应当或者能够容易地被渲染的实用选择，但是在用于阐述构思的本文中，我们不想要在用于任何HDR场景的动态范围的上限将必需总是需要是什么上将我们自己限制太多。因为显示器变得更好(比100nit亮几倍的PB，目前出现1000nit，并且设想数千nitPB)，目标是能够漂亮地渲染这些图像，并且尽管由于如不同观看条件之类的因素而与原始图像不完全相同，但至少很自然，或者至少是令人愉悦的。并且这需要SDR视频编码时代所缺少的东西：良好的实用HDR视频编码技术以及这样的视频的良好使用(例如，当将其最佳地渲染时)。读者还应当理解，因为观看者通常在不同情况下观看内容(例如，晚上坐在光线昏暗的客厅，或者在暗的家中或电影院里，而不是实际站在被捕获的明亮非洲景观中)，所以场景中的亮度与最终在电视(或其他显示器)上渲染的亮度之间没有同一性。这能够尤其通过让人类颜色分级者手动决定(即相关联的参考显示器上的)可用编码DR上的最佳颜色来处理，例如通过规定场景中的太阳应当在图像中以5000nit(而不是其实际值10亿nit)渲染。备选地，自动算法可以进行从例如原始相机捕获到本文中(通常)称为(主)HDR分级的内容的这样的转换。这意味着人们能够在5000nitPBHDR显示器上的可用的位置处渲染此主分级。即使我们说用于编码(PB_C)的峰值亮度的实用的良好版本可以通常是例如5000nit，其也不意味着人们不能编码任何所选的编码规范中的任何更高的动态范围场景，并且然后在人们已经可获得无论什么显示峰值亮度(PB_D)的情况下将其最佳地渲染在无论什么显示器上，后者是(一幅或多幅)HDR图像的最佳显示的问题。即，不会特别地需要以完全显示引用的方式编码任何图像，更不用提最终将任何内容的创建固定到任何特定显示器(例如，5000nit或者甚至更糟1000nitPB_D显示器)。这指示人们可以如何编码任何主HDR图像(本身)，然而，与此同时，未来几年将有一大群人拥有100nitPB的传本文档来自技高网...

【技术保护点】
1.一种高动态范围视频解码器(500)，其被布置为接收高动态范围视频的编码(Im_COD)并解码和输出时间上连续的图像(Im_RHDR)的集合，所述高动态范围视频解码器包括：‑输入部(502)，其接收三个权重值(kRY,kGY,kBY)；‑视频解码器(501)，其被布置为将所述编码(Im_COD)解码为用Y’CbCr颜色表示的中间图像(Im_RLDR)；‑亮度指数计算单元(503)，其被布置为计算针对所述中间图像(Im_RLDR)的每个像素的亮度指数(J’)，所述亮度指数被定义为J’＝Y’+MAX{kRY*(R’‑Y’),kGY*(G’‑Y’),kBY*(B’‑Y’)}，其中，kRY、kGY、kBY表示所述三个权重值，Y’是所述Y’CbCr颜色表示的亮度值，并且R’、G’和B’是能根据所述Y’CbCr颜色表示的Y’、Cb和Cr值导出的非线性颜色分量值；‑亮度映射器(505)，其被布置为接收至少一个一维函数F_ct的详细说明并利用所述亮度指数(J’)作为输入而应用所述至少一个一维函数F_ct，以获得输出亮度指数(J*)；‑颜色处理单元，其被布置为确定针对所述时间上连续的图像的集合中的当前正被解码的输出动态范围图像(Im_RHDR)中的每个像素的输出颜色(Y’H,Cb’H,Cr’H)，所述颜色处理单元被布置为确定输出亮度Y’与为所述每个像素的颜色的输入亮度乘以因子的输出亮度相对应，所述因子根据所述输出亮度指数(J*)除以所述亮度指数(J’)的比率而被确定。...

【技术特征摘要】
【国外来华专利技术】2016.03.07 EP 16158941.11.一种高动态范围视频解码器(500)，其被布置为接收高动态范围视频的编码(Im_COD)并解码和输出时间上连续的图像(Im_RHDR)的集合，所述高动态范围视频解码器包括：-输入部(502)，其接收三个权重值(kRY,kGY,kBY)；-视频解码器(501)，其被布置为将所述编码(Im_COD)解码为用Y’CbCr颜色表示的中间图像(Im_RLDR)；-亮度指数计算单元(503)，其被布置为计算针对所述中间图像(Im_RLDR)的每个像素的亮度指数(J’)，所述亮度指数被定义为J’＝Y’+MAX{kRY*(R’-Y’),kGY*(G’-Y’),kBY*(B’-Y’)}，其中，kRY、kGY、kBY表示所述三个权重值，Y’是所述Y’CbCr颜色表示的亮度值，并且R’、G’和B’是能根据所述Y’CbCr颜色表示的Y’、Cb和Cr值导出的非线性颜色分量值；-亮度映射器(505)，其被布置为接收至少一个一维函数F_ct的详细说明并利用所述亮度指数(J’)作为输入而应用所述至少一个一维函数F_ct，以获得输出亮度指数(J*)；-颜色处理单元，其被布置为确定针对所述时间上连续的图像的集合中的当前正被解码的输出动态范围图像(Im_RHDR)中的每个像素的输出颜色(Y’H,Cb’H,Cr’H)，所述颜色处理单元被布置为确定输出亮度Y’与为所述每个像素的颜色的输入亮度乘以因子的输出亮度相对应，所述因子根据所述输出亮度指数(J*)除以所述亮度指数(J’)的比率而被确定。2.根据权利要求1所述的高动态范围视频解码器(500)，其中，被布置为确定输出颜色的所述颜色处理单元包括：-乘法因子计算单元(506)，其被布置为计算乘法因子(g)，所述乘法因子等于所述输出亮度指数(J*)除以所述亮度指数(J’)；以及-三个乘法器(509、510、511)，其用于将所述中间图像(Im_RLDR)的每个像素的各个颜色分量(Y,Cr,Cb)乘以所述乘法因子(g)，以获得针对所述时间上连续的图像的集合中的当前正被解码的所述输出动态范围图像(Im_RHDR)中的所述像素的输出颜色(Y’H,Cb’H,Cr’H)。3.根据权利要求1或2所述的高动态范围视频解码器(500)，还被布置为接收三个权重值的第二集合(kRY2,kGY2,kBY2)，并且包括像素条件测试器(601)，所述像素条件测试器被布置为测试以下项中的至少一个：正被处理的所述像素的所述图像中的空间位置(x,y)；或者所述像素的颜色是否在指定颜色(u1,v1)的特定范围内。4.一种用于获得时间上连续的高动态范围图像(Im_RHDR)的集合的高动态范围视频解码的方法，包括：-接收高动态范围视频的编码(Im_COD)；-接收三个权重值(kRY,kGY,kBY)；-将所述编码(Im_COD)解码为用Y’CbCr颜色表示的中间图像(Im_RLDR)；-计算针对所述中间图像(Im_RLDR)的每个像素的亮度指数(J’)，所述亮度指数被定义为J’＝Y’+MAX{kRY*(R’-Y’),kGY*(G’-Y’),kBY*(B’-Y’)}，其中，kRY、kGY、kBY表示所述三个权重值，Y’是所述Y’CbCr颜色表示的亮度值，并且R’、G’和B’是能根据所述Y’CbCr颜色表示的Y’、Cb和Cr值导出的非线性颜色分量值；-接收至少一个一维函数F_ct的详细说明；-利用所述亮度指数(J’)作为输入而应用所述至少一个一维函数F_ct，以获得输出亮度指数(J*)；-计...

【专利技术属性】
技术研发人员：J·H·C·J·斯特森，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL