针对特定显示器优化高动态范围图像制造技术

一种实现针对可能需要示出HDR图像的各种显示器的一系列良好外观的HDR分级的实用和快速的生成，我们描述了一种计算输出图像(IM_MDR)的像素的所得的色彩(R2，G2，B2)的色彩变换装置(201)，所述输出图像针对具有显示峰值亮度(PB_D)的显示器从输入图像(Im_in)的像素的输入色彩(R，G，B)开始，所述输入图像具有对应于与所述显示峰值亮度不同的第一图像峰值亮度(PB_IM1)的最大亮度代码，其特征在于：所述色彩变换装置包括：‑色彩变换确定单元(102；2501)，其被布置成确定如在经由元数据输入部(116)接收的包括至少一个色调映射函数(CC)的色彩处理规范数据(MET_1)中定义的色彩变换(TMF；g)，所述色彩变换指定如何将所述输入图像的像素的辉度转换成针对第二图像(Im_RHDR)的那些像素的辉度，所述第二图像具有对应于其最大亮度代码的第二图像峰值亮度(PB_IM2)，所述第二图像峰值亮度不同于所述显示峰值亮度(PB_D)和所述第一图像峰值亮度(PB_IM1)，并且其中，所述第一图像峰值亮度除以所述第二图像峰值亮度大于2或小于1/2；‑缩放因子确定单元(200；2603)，其被布置成确定所得的公共乘法因子(gt；Ls)，所述单元被布置成沿着方向(DIR)来应用确定，沿着度量确定对应于显示峰值亮度(PB_D)的位置M_PB_U；并且被布置成基于所述位置来确定所得的公共乘法因子(gt；Ls)；并且其中，所述色彩变换装置(201)还包括‑缩放乘法器(114)，其被布置成将所述输入色彩的RGB色彩表示的三个色彩分量中的每个色彩分量与所得的公共乘法因子(gt)相乘。

【技术实现步骤摘要】
【国外来华专利技术】针对特定显示器优化高动态范围图像
本专利技术涉及用于在高动态范围场景(HDR)图像、特别是在包括若干相继HDR图像的视频的输入编码中优化像素的色彩、并且特别是优化其辉度(luminance)的方法和装置，用于获得由生成图像内容的色彩分级者(grader)所期望的、针对具有特定显示峰值亮度的显示器的正确艺术外观，当在峰值亮度不等于与对HDR图像的分级相对应的参考显示器的峰值亮度的任何实际显示器(PB_D)上绘制经优化的图像时，该外观对应于针对参考显示器、例如高峰值亮度(PB)主显示器而分级的HDR图像的参考HDR外观。读者将理解，对应的外观未必意指对于查看者而言完全相同的外观，因为较低峰值亮度(或动态范围)的显示器不能够始终实际绘制在较高峰值亮度的显示器上能绘制的所有图像外观，而是在至少一些对象像素的色彩中将存在一些折损，以下技术允许分级者做出这样的色彩调节。但是经编码的预期图像与实际绘制的图像将看起来充分相似。描述了指定这样外观的编码侧方法和装置两者，以及被布置成计算并绘制经优化的外观的接收侧装置，诸如，例如显示器或电视机，以及传输被用于控制通过色彩变换进行优化的信息的方法和技术。
技术介绍
近来，数家公司已开始研究并发布了(参见WO2007082562[MaxPlanck]，具有残余层的双图像方法，以及WO2005104035[DolbyLaboratories]，教导了有些相似的方法，其中，能够形成比例图像(ratioimage)，用于提升对HDR场景的低动态范围(LDR)重新分级)其能够如何对至少一幅静止图片或者若干时间上相继的所谓高动态范围图像的视频进行编码，该HDR图像的特征在于：其通常编码或者能够编码至少1000nit的至少一些对象辉度，但是同样还有例如低于0.1nit的暗辉度，并且具有充分高质量以在所谓的HDR显示器上进行绘制，所述HDR显示器的峰值亮度(显示白色的辉度，即，最亮的能绘制的色彩)通常高于800nit，或者甚至高于1000nit，并且潜在地例如为2000nit或5000nit或者甚至10000nit。当然，例如影像的这些图像可以并且也必须能在峰值亮度通常为100nit左右的LDR显示器上显示，例如，当查看者希望继续在其便携式显示器上观看影像时，并且通常，在LDR与HDR图像编码中需要通常有些不同的对象辉度和/或色彩(例如，在HDR分级中的对象的[0，1]范围上的相对辉度可能需要在LDR分级的图像中低得多，因为其将以亮得多的背景被显示)。毋庸赘言，同样地，与静止图像编码相比，视频编码可能具有额外的要求，例如，以允许便宜、实时的处理等。因此，通常，内容生成器制作HDR图像版本或外观，这通常是主分级(开始点，从开始点能够生成进一步的分级，其是当需要在具有不同峰值亮度能力的显示器上绘制时的相同场景的外观，并且其通常是通过在直接来自相机美观艺术色彩的图像中给出各种对象来完成的，以传达例如某种氛围)。即，利用“分级”，我们指示图像已经被人类色彩分级者定制，使得对于给定的期望绘制情形而言，对象的色彩对于分级者而言是艺术上正确的(例如，他可能做出暗的底层，其中，在阴影中的对象几乎不可见，而在天花板上还有发出亮光的单个灯，并且那些各种被绘制的辉度可能需要被智能地协调，从而为查看者赋予最优体验)，并且下文给定我们对HDR编码限制，我们将教导用于实现这样的分级过程的技术部件，获得也被称为分级的经分级的图像。并且然后，分级者通常还生成旧版LDR图像(也被称为标准SDR图像)，其能够被用于服务旧版LDR显示器，这可能仍然在很远的将来才能实现的领域中。备选地，能够将这些作为单独的图像通信例如在如因特网的视频通信网络或DVB-T信道上传输。或者，WO2007082562和WO2005104035教导了能缩放的编码方法，其中，能在接收侧根据LDR图像来重建HDR图像，在其上进行一些色调映射，并且残余HDR图像变得充分接近原始HDR(但是仅有具有那些特定像素色彩和对象辉度的HDR图像能根据基础层LDR图像来重建)。然后，可以将这样的能缩放的编码共同存储在存储器产品上，所述存储器产品如是例如固态存储棒，并且然后，接收侧装置，例如电视机或机顶盒(STB)，能够确定哪个是针对其连接的电视机的最适当的版本。即，在存储器的一个扇区中存储基本LDR图像，并且在另一扇区中存储HDR图像，或者校正图像，诸如辉度提升图像，根据所述辉度提升图像能够从对应的HDR图像开始在相同时刻计算HDR图像。例如，对于高达700nit的电视机而言，计算要在电视机上绘制的最终图像的任何单元都可以使用LDR分级的图像，并且在700nit之上，其可以使用HDR图像(例如，通过轮询连接哪个PB的哪个显示器，或者获知显示器是否自身做出最佳图像选择)。尽管这允许针对两种具体绘制情形、例如5000nit电视机和LDR电视机(标准具有100nit的PB)进行对HDR场景的两种艺术完美的参考分级，但是关于能够如何处理峰值亮度为与两种艺术分级图像相对应的峰值亮度之间的中间电视机，做出和发布的研究很少，所述艺术分级图像能够在图像数据接收侧被检索或确定(编码的对应峰值亮度被定义为在输入最大代码、例如针对10比特的1023时要在参考显示器上绘制的辉度，例如，针对5000nit的分级的外观为5000nit)，无疑这也将很快在例如1800nit电视的市场上应用。例如，内容生成器可能花费相当多的时间来制作其影像的1000nit主HDR分级，因为，例如1000nit可能是针对其使用的该特定HDR视频编码标准的协议内容峰值亮度PB_C(即，能够定义的最亮像素色彩，其将是白色消色差色彩)，并且其将在导出对应的LDR图像组时花费更多或更少的时间(或者也被称为自从最近的标准动态范围SDR，因为其是例如根据rec.709制作LDR旧版视频的通常方式)，具有各自的对比度外观的相关亮度。但是，这意味着仅在查看者具有恰好具体为1000nit的PB_DHDR显示器或旧版SDR显示器的情况下，才有看起来好的视频。但是既没有预期所有人都将具有相同显示峰值亮度PB_D的完全相同种类的显示器，也没有预期将来所有视频都将利用完全相同的内容或编码峰值亮度PB_C来编码(即，在市场向着PB_C＝5000nit的基于因特网的传输发展时，购买针对BD内容的最优显示器的一些人可能仍然具有次优的显示器)，并且然后，仍然有查看环境的影响，特别是其平均亮度和照度。因此，尽管对HDR编码的所有尝试都基本集中于通过通信手段来获得内容，并且能够在接收侧在所有HDR图像处进行解码，但是申请人想到了，任何实用HDR处理系统都需要具有更多能力。申请人已经做过试验，试验表明，为了使任何中间或甚至范围外的显示器具有真实良好、有说服力的艺术外观(例如，获得50nit的外观，这低于通常为100nit的最低分级)，对于该中间峰值亮度显示器而言，HDR和LDR图像都不是实际良好的(下文我们将称为中间动态范围(MDR)显示器)。具有什么种类的MDR显示器甚至取决于被接收或请求的HDR图像的PB_C。同样地，可能消费者在客厅中有实际的电视机或其他显示器，其比作为针对所接收的HDR图像分级的最优期望显示器的参考显示器的峰值亮度更亮，本文档来自技高网...

【技术保护点】
1.一种计算输出图像(IM_MDR)的像素的所得的色彩(R2，G2，B2)的色彩变换装置(201)，所述输出图像针对具有显示峰值亮度(PB_D)的显示器从输入图像(Im_in)的像素的输入色彩(R，G，B)开始被调谐，所述输入图像具有对应于与所述显示峰值亮度(PB_D)不同的第一图像峰值亮度(PB_IM1)的最大亮度代码，其特征在于所述色彩变换装置包括：‑色彩变换确定单元(4201，102；2501)，其被布置成根据经由元数据输入部(116)接收到的包括至少一个辉度映射函数(CC)的色彩处理规范数据(MET_1)来确定色彩变换(TMF)，所述色彩处理规范数据指定如何将所述输入图像(Im_in)的像素的辉度转换成针对第二图像(Im_RHDR)的那些像素的辉度，所述第二图像具有对应于其最大亮度代码的第二图像峰值亮度(PB_IM2)，所述第二图像峰值亮度不同于所述显示峰值亮度(PB_D)和所述第一图像峰值亮度(PB_IM1)，并且其中，所述第一图像峰值亮度除以所述第二图像峰值亮度大于2或小于1/2；‑缩放因子确定单元(4205，200；1310)，其被布置成确定所得的公共乘法因子(gt；Ls)，所述单元被布置成通过以下操作来确定该所得的公共乘法因子：首先沿着预定方向(DIR)建立预建立的度量(1850，METR)，所述预定方向从与跨输入图像辉度的方向正交的垂直方向具有非零逆时针角度，所述预建立的度量用于在所述度量上定位显示峰值亮度以及与所述显示峰值亮度(PB_D)的值相对应的位置(M_PB_D)，所述度量在表示身份变换函数的对角线的位置处开始；并且其次：建立第二色彩变换(1803；F_M)，用于确定所述输出图像(IM_MDR)的像素的所得的色彩(R2，G2，B2)的至少辉度，所述第二色彩变换基于所述色彩变换(TMF)和所述位置(M_PB_D)；并且再次：基于所述第二色彩变换(1803；F_M)来确定所得的公共乘法因子(gt；Ls)；并且其中，所述色彩变换装置(201)还包括：‑缩放乘法器(114)，其被布置成将所述输入色彩的色彩表示的三个色彩分量中的每个色彩分量与所得的公共乘法因子(gt)相乘，以获得所得的色彩(R2，G2，B2)。...

【技术特征摘要】
【国外来华专利技术】2015.12.21 EP 15201561.6;2016.04.28 EP 16167548.3;1.一种计算输出图像(IM_MDR)的像素的所得的色彩(R2，G2，B2)的色彩变换装置(201)，所述输出图像针对具有显示峰值亮度(PB_D)的显示器从输入图像(Im_in)的像素的输入色彩(R，G，B)开始被调谐，所述输入图像具有对应于与所述显示峰值亮度(PB_D)不同的第一图像峰值亮度(PB_IM1)的最大亮度代码，其特征在于所述色彩变换装置包括：-色彩变换确定单元(4201，102；2501)，其被布置成根据经由元数据输入部(116)接收到的包括至少一个辉度映射函数(CC)的色彩处理规范数据(MET_1)来确定色彩变换(TMF)，所述色彩处理规范数据指定如何将所述输入图像(Im_in)的像素的辉度转换成针对第二图像(Im_RHDR)的那些像素的辉度，所述第二图像具有对应于其最大亮度代码的第二图像峰值亮度(PB_IM2)，所述第二图像峰值亮度不同于所述显示峰值亮度(PB_D)和所述第一图像峰值亮度(PB_IM1)，并且其中，所述第一图像峰值亮度除以所述第二图像峰值亮度大于2或小于1/2；-缩放因子确定单元(4205，200；1310)，其被布置成确定所得的公共乘法因子(gt；Ls)，所述单元被布置成通过以下操作来确定该所得的公共乘法因子：首先沿着预定方向(DIR)建立预建立的度量(1850，METR)，所述预定方向从与跨输入图像辉度的方向正交的垂直方向具有非零逆时针角度，所述预建立的度量用于在所述度量上定位显示峰值亮度以及与所述显示峰值亮度(PB_D)的值相对应的位置(M_PB_D)，所述度量在表示身份变换函数的对角线的位置处开始；并且其次：建立第二色彩变换(1803；F_M)，用于确定所述输出图像(IM_MDR)的像素的所得的色彩(R2，G2，B2)的至少辉度，所述第二色彩变换基于所述色彩变换(TMF)和所述位置(M_PB_D)；并且再次：基于所述第二色彩变换(1803；F_M)来确定所得的公共乘法因子(gt；Ls)；并且其中，所述色彩变换装置(201)还包括：-缩放乘法器(114)，其被布置成将所述输入色彩的色彩表示的三个色彩分量中的每个色彩分量与所得的公共乘法因子(gt)相乘，以获得所得的色彩(R2，G2，B2)。2.根据权利要求1所述的色彩变换装置(201)，其中，所述方向(DIR)是从所述垂直方向逆时针45度。3.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述度量的两个外点(PBEH，PBE)分别对应于接收到的输入图像(im_in)的峰值亮度(PB_H)、由色彩变换函数共同编码的图像的另一峰值亮度(PB_L)，能通过向所述输入图像应用在元数据中接收到的包括至少一个色调映射函数(CC)的色彩变换函数而根据所述输入图像重建所述共同编码的图像，并且其中，所述装置针对显示峰值亮度(PB_D)落在峰值亮度的范围(PB_L至PB_H)之内的显示器计算输出图像(IM_MDR)。4.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述度量基于所述显示峰值亮度的对数表示。5.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述度量是在感知均匀的色彩表示中定义的，所述感知均匀的色彩表示诸如是亮度表示，所述亮度表示能够通过应用函数Y＝log10(1+(rho(PB)-1)*power(L；1/2.4))/log10(rho(PB)来获得，其中，Y是感知均匀的亮度值，L是辉度，PB是峰值亮度常数，并且rho是由方程rho(PB)＝1+32*power(PB/10000；1/(2.4))而确定的曲线成形参数。6.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述缩放因子确定单元(200)还被布置成根据先前在生成所述输入图像(Im_in)时确定的第二色彩处理规范数据(MET_2)来获得调谐参数(gpr；gpm)，并且被布置成计算与所述度量上针对所述显示峰值亮度(PB_D)的位置之外的不同的位置相对应的所得的公共乘法因子(gtu)，所述不同的位置基于所述调谐参数的值。7.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述缩放因子确定单元(200)被布置成通过应用单调函数来确定所述不同的位置，所述单调函数根据至少一个输入参数(gpr)给出所述度量上的归一化的位置作为输出，所述单调函数能够由所述色彩变换装置自主地确定，或者基于规范元数据来确定，所述规范元数据规定要使用先前在生成所述输入图像(Im_in)时确定的哪种函数形状。8.根据前述权利要求中的一项所述的色彩变换装置(201)，其中，所述缩放乘法器(114)对三个非线性色彩分量做乘法，所述三个非线性色彩分量被定义为其各自的线性色彩分量的幂函数，例如Y’CbCr色彩分量的幂函数。9.根据前述权利要求中的一项所述的色彩变换装置(201)，包括图像分析单元(1110)，所述图像分析单元被布置成分析所述输入图像(Im_in)中的对象的色彩，并且根据所述色彩来确定针对控制所述输出图像(I...

【专利技术属性】
技术研发人员：M·J·W·默滕斯，R·尼吉兰德，J·G·R·范穆里科，J·Y·齐克拉尔，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL