用于图像的改进的编码的设备和方法技术

为了允许在任何显示器上对视频进行质量更好的渲染，提出了一种除了对视频数据（VID）还对附加数据（DD）进行编码的方法，其中该附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），并且所述特征辉度概括了视频数据的图像中的像素辉度集合，该方法包括：－基于视频数据（VID）来产生关于视频的特征辉度变化的描述性数据（DED），所述描述性数据包括至少一个改变时刻（TMA_1），以及－将所述描述性数据（DED）作为附加数据（DD）进行编码并输出。

【技术实现步骤摘要】
【国外来华专利技术】用于图像的改进的编码的设备和方法
本专利技术涉及用于图像的改进的编码的设备、方法以及如同数据存储产品之类的最终产品，特别是用于允许利用显示器更佳处理编码的图像。
技术介绍
近来，涉及图像/视频的编码的新的发展（无论是捕获场景还是计算机绘图）已出现，换句话说，所希望更佳地捕获自然出现的整个范围的辉度和颜色，其被称为HDR（高动态范围）编码。由于相机和显示器都正获取越来越大的原生范围（nativerange），因此需要在其之间发送图像信息的更佳标准。另一方面，较大数量的较低范围设备（例如旧显示器、打印机等等）仍然存在，并且这些设备也存在于一些成像系统链中。通常，如同低质量相机之类的低动态范围（LDR）设备以在中间范围之外的颜色为代价在8比特数据字（像素）中编码中间范围的关注值（例如，明亮的脸颜色）[注意：在不牺牲理解的情况下，即使在颜色编码三元组中颜色的辉度对于目前讨论是最重要的因素，我们也可以使用术语“颜色”]。如果人查看图像，具有许多影响质量的因素。首先，具有能够被再现的最白的白色的亮度。其次，具有仍然能够被再现并且可能例如利用极小的噪声或其他干扰来适度再现的最暗的黑色。白色和黑色确定设备的动态范围。但是，对于真实图像来说，那些并不是影响外观的唯一参数。也具有一些确定中间灰色理想地应位于何处的参数。第一参数是对比度，其是与图像中的不同对象的明度相关的量度。如果在非常白与非常黑之间至少具有不同的可能灰度的一些对象，则该图像被称为整体上具有好的对比度。但是，局部对比度例如在一个对象与其周围环境之间可能是重要的。甚至如同锐度之类的非常局部的辉度变化也影响感知的对比度。例如，正是通过查看真实场景，观看者明白它实际上具有令人印象深刻的对比度（例如，与邻近6比特投影图像相对比）。但其次，对象/区域在黑-白轴上的位置尤其对逼真度（或艺术外观）也将具有影响。例如，假设（明亮）面部具有与白色相比的特定百分比的光反射。太白的面部可能似乎奇怪地发光，或者观看者可能误解该图像，即他认为面部利用某种附加光来照明。第三，所分配的颜色的精度可能是重要的，在复杂纹理方面不是如此重要，但是例如在面部梯度方面是重要的。相对于其他方面而言，许多观看者似乎更喜欢与亮度相关的质量改进（包括相关的颜色饱和度），并且这个申请将主要专注于辉度相关的问题。显示器的用途是向观看者显示质量渲染（rendering）。理想地，这将是精确（逼真）的表示，但是由于这仍然是遥遥无期的，所以能够使用其他的质量标准，例如，如同图像的可辨认性、近似自然（例如，没有赝像）或视觉效果/影响等等。当前涌现的流行HDR显示器是具有LED背光的二维模式的LCD，其允许二维调光。这样的显示器的动态范围受若干因素影响。首先，LCD由于改进的背光而正变得越来越明亮。如果几年前200尼特（nit）白色是典型的，则现在500尼特是典型的，未来几年1000尼特将是典型的，并且以后甚至会2000尼特或以上将是典型的。然而，这对电视或监视器造成严重的技术限制，诸如成本和能源使用。其次，对于黑色，LCD具有漏光问题（尤其在某些如同大角度观看之类的条件下），这意味着LCD可能具有100:1的固有对比度（LCD单元打开/闭合），尽管研究正使得LCD更佳。对于此的解决方案是改变来自后方的通过LCD阀的光量。2D调光显示器以这种方式理论上能够实现非常高的对比度，这是因为如果在LCD单元后面的光具有零辉度的话，除了泄漏之外，零辉度将局部出自显示器的那个区域。已报告超过10000:1乃至100000:1的动态范围。然而，在实践中，限制显示器黑色渲染的主要因素是来自周围环境的在显示器的前玻璃上反射的光。对明亮的周围环境而言，这可能将动态范围减至更现实的100:1乃至低于20:1。然而，在黑暗观看环境中光也可能由于各种各样的原因例如在前玻璃上从较亮区域到较暗区域的相互反射而泄漏。最后，当然人眼也是重要的，且主要地其适应状态以及在脑中发生的复杂图像分析是重要的。眼睛适应一方面房间辉度与另一方面显示器亮度（实际上，所显示的图像）的组合。对于在正常客厅观看下例如500尼特电视而言，这两个因素可能是相对一致的（intune），但是在其他渲染情景中也可能是相距甚远的。不仅所看到的黑色的细节而且明亮区域的外观也将受到影响。例如，观看舒适度将受到特定显示设置，即眼睛的疲劳，乃至喜欢或不喜欢图像渲染的心理效应的影响。视网膜是非常复杂的，但是也能够简单地被概述如下。其视锥细胞具有始终试图使眼睛的敏感度（借助于大量的光敏分子）对于任何给定场景是最佳的生化过程。这起作用，这是因为无论什么辉度（其可能在满月0.11x、至阴天或不太明亮房间1001x、至阳光直射1000001x之间改变，即涉及超过百万差异因素），对象反射范围通常在1-100%，并且正是在黑暗灌木中的黑色美洲豹，人类视觉才最佳地需要局部区分。眼睛需要处理更大场景动态范围，考虑如同阴影或人工照明之类的照明效应，其通常能够是10000:1。如同神经节细胞之类的其他视网膜细胞更聪明地使用所有这些主要信号的组合，并且这样做例如依赖于其周围环境等等的辉度来改变局部响应的等级。最后，在通过分析这个预处理的原始图像字段进行转换中，非常重要的因素是视觉皮质。例如，一旦认识到黄斑不是单独对象而是另一个黄色对象的一部分，则将重新确定这个黄斑的颜色，或者，一旦明白重叠那个局部区域的有色反射，则重新着色在玻璃窗后面看到的草地。这生成我们可以称为最终颜色“外观”，并且这是理论上显示器制造商和内容创建者二者最终感兴趣的这个因素。因此，任何的更符合人类视觉所需的技术是可取的（特别在考虑其他技术限制时）。虽然对于编码HDR图像（尤其对于视频）还没有一般公认的标准，但是编码（通过例如使用多次曝光并希望镜头不会对这种尝试产生过多妨碍来延伸相机系统的限制而捕获的）图像的第一次尝试通过给每一个像素分配大位字（例如，16比特，其允许65000:1线性编码，以及用于非线性编码的更多比特）（例如，exr格式）来做到这一点。然后，例如，场景对象上可变数量的光反射（眼睛部分地但是大部分地适应）到包括LCD阀模块和背光的图像渲染系统的映射能够通过如同在EP1891621B[Hekstra,stackeddisplaydevice]中的照明估计技术来完成。实现output_luminance（输出辉度）=backlighting_luminance（背光辉度）×LCD_transmission（LCD透射）的简单算法是取HDR16比特输入的平方根，因此分配倍增8位（multiplicative8bit）背景图像，其可以针对LED（符合比例编码技术）进行二次抽样。也具有其他的仅像传统方式一样来简单地编码显现的场景辉度值的方法，例如，使用用于编码像素值的两层方案的EP2009921[LiuShan，MitsubishiElectric]。然而，专利技术人已认识到，如果努力获得新的编码，除了场景图像像素的如此纯粹的编码（以及将这个用作整个链的主要的唯一编码）之外，一些进一步编码也是所希望的，因为这将极大地改善对成像操作的理解并由此改善成像操作的可用性。
技术实现思路
理想地，视频编码链是简单链，并且仅具有与理想表示相比少量的误差本文档来自技高网...

【技术保护点】
一种除了对视频数据（VID）还对附加数据（DD）进行编码的方法，其中该附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），并且所述特征辉度概括了视频数据的图像中的像素辉度集合，该方法包括：基于视频数据（VID）来生成关于视频特征辉度变化的描述性数据（DED），所述描述性数据包括至少一个改变时刻（TMA_1），以及将描述性数据（DED）作为附加数据（DD）进行编码并输出。

【技术特征摘要】
【国外来华专利技术】2010.09.16 EP 10177155.81.一种除了对视频数据（VID）还对附加数据（DD）进行编码的方法，其中该附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概括了视频数据的图像中的像素辉度集合，该方法包括：基于视频数据（VID）来生成关于视频特征辉度变化的描述性数据（DED），所述描述性数据包括至少一个改变时刻（TMA_1），以及将视频数据（VID）编码并输出；在附加数据（DD）中编码至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变；编码并输出附加数据（DD），其包括描述性数据（DED）。2.如权利要求1所述的编码附加数据（DD）的方法，其中该方法包括在较低动态辉度范围和较高动态辉度范围之间映射要渲染的像素的辉度。3.如权利要求1所述的编码附加数据（DD）的方法，包括编码来自带有前缀的约定代码集合中的特定的再处理代码（MULT）的步骤。4.如权利要求1所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码辉度偏差策略的步骤，在至少一个改变时刻（TMA_1）附近的连续时刻中规定，以便在时间间隔DTI期间相比于初始辉度（Lin*）来再处理视频数据（VID）的像素辉度，其中所述辉度偏差策略被编码为编码时间型线（PROF）或是用于计算偏差策略的数学算法。5.如以上任一权利要求所述的编码附加数据（DD）的方法，其中再处理基于根据渲染的图像辉度对所感知的光建模的心理视觉模型。6.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，其中再处理基于显示器和/或观看环境的物理特征。7.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，其中所述再处理的类型包括确定用于背光的照明图像（ILIM），并且该方法还包括：在围绕改变时刻（TMA_1）的间隔期间对影响用于背光的照明图像（ILIM）的判定的数据进行编码。8.如权利要求7所述的编码附加数据（DD）的方法，其中影响用于背光的照明图像（ILIM）的判定的数据包括由二维矩阵（MAP）中的位置的至少空间区域的初级基础函数贡献组成的时间函数。9.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于改变时刻（TMA_1）未来的特征辉度的信息和/或用于基准显示器的背光的照明图像（ILIM）的期望辉度的信息的步骤。10.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于至少一个改变时刻（TMA_1）的重要性指示（IMPLEV）的步骤。11.一种视频编码设备（524），其被配置成除了视频数据（VID）之外还编码附加数据（DD），其中所述附加数据包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概括了视频数据的图像中的像素辉度集合，该编码设备（524）被配置为：-将视频数据（VID）编码并输出；-在附加数据（DD）中编码至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变；-编码并输出附加数据（DD）...

【专利技术属性】
技术研发人员：C达姆卡特，G德哈安，MJW梅坦斯，R穆伊斯，M哈默，PS纽顿，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：荷兰;NL