根据解码后的图像数据重建图像数据的方法和设备技术

本原理涉及一种用于根据解码后的图像数据

Method and apparatus for reconstructing image data according to decoded image data

This principle involves a kind of image data based on decoded data.

【技术实现步骤摘要】
根据解码后的图像数据重建图像数据的方法和设备
本原理通常涉及根据解码后的图像/视频数据进行图像/视频重建。具体地但非排他地，本原理的
涉及恢复用于根据另一图像重建图像的参数。
技术介绍
本部分旨在向读者介绍可能与以下描述和/或要求保护的本原理的各个方面有关的技术的各个方面。这个讨论被认为有助于向读者提供背景信息，以便更好地理解本原理的各个方面。因此，应该理解的是，应当从这个角度来理解这些陈述，而不是将其作为对现有技术的承认。在下文中，图像数据指特定图像/视频格式中的一个或多个样本阵列(像素值)，所述格式规定了与图像(或视频)的像素值相关的所有信息以及可以由显示器和/或任何其他设备用于例如可视化图像(或视频)和/或对图像(或视频)进行解码的所有信息。图像包括通常表示图像的亮度(或亮度)的第一样本阵列形状的第一分量和通常表示图像的色彩(或色度)的其他样本阵列形状的第二和第三分量。或者同样地，相同的信息也可以由一组色彩样本阵列来表示，例如传统的三色RGB表示。像素值由C个值的向量来表示，其中C是分量的数量。矢量的每个值用定义像素值的最大动态范围的比特数来表示。标准动态范围图像(SDR图像)是其亮度值由有限比特数(通常为8)表示的图像。这种有限的表示不允许正确呈现小信号变化，特别是在黑暗和明亮的亮度范围内。在大动态范围图像(HDR图像)中，信号表示被扩展成在其整个范围内保持高精度的信号。在HDR图像中，表示亮度级的像素值通常以浮点格式表示(通常每个分量至少10比特，即，浮点型或半浮点型)，最流行的格式是openEXR半浮点格式(每个RGB分量16比特，即，每像素48比特)，或表示为具有长表示的整数，通常至少16比特。高效视频编码(HEVC)标准(ITU-TH.265ITU(10/2014)的电信标准化部门，H系列：视听和多媒体系统、视听服务的基础设施——对运动视频的编码、高效视频编码，建议ITU-TH.265)支持部署具有增强观看体验的新视频业务，诸如超HD广播业务。除了增加的空间分辨率之外，超HD还可以带来比目前部署的标准动态范围(SDR)HD-TV更宽的色域(WCG)和更高的动态范围(HDR)。已经提出了用于对HDR/WCG视频进行表示和编码的不同解决方案(SMPTE2014，“HighDynamicRangeElectro-OpticalTransferFunctionofMasteringReferenceDisplays”，或2014年的SMPTEST2084，或者Diaz，R.，Blinstein，S.和Qu，S.“IntegratingHEVCVideoCompressionwithaHighDynamicRangeVideoPipeline”，SMPTEMotionImagingJournal，Vol.125，Issue1.2016年2月，第14-21页)。与解码和呈现设备的SDR向后兼容性是在诸如广播或多播系统等某些视频分配系统中的重要特征。基于单层编码/解码过程的解决方案可以向后兼容(例如，SDR兼容)并可以利用已有的传统分配网络和服务。这种基于单层的分配解决方案支持在支持HDR消费电子(CE)设备上进行高质量HDR呈现同时，还提供在支持SDR的CE设备上进行高质量SDR呈现。这种基于单层的分配解决方案产生编码信号(例如，SDR信号)以及可用于根据解码后的信号(例如，SDR信号)重建另一信号(例如，HDR信号)的相关元数据(每个视频帧或场景几个字节)。用于重建信号的元数据存储参数值可以是静态的或动态的。静态元数据意味着针对视频(一组图像)和/或程序保持不变的元数据。静态元数据对于整个视频内容(场景、电影、剪辑...)是有效的，并且可以不依赖于图像内容。他们可以定义例如图像格式或色彩空间、色域。例如，SMPTEST2086：2014，“MasteringDisplayColorVolumeMetadataSupportingHighLuminanceandWideColorGamutImages”就是这样一种用于制作环境的静态元数据。主控显示器色彩容量(MDCV)SEI(补充增强信息)消息是ST2086对于H.264/AVC(“用于通用视听服务的高级视频编码”，H系列：视听和多媒体系统，ITU建议ITU-TH.264，电信标准化部门，2012年1月)和HEVC视频编解码器二者的分配特点。动态元数据是依赖于内容的，即元数据可以随图像/视频内容而改变(例如，针对每个图像或每组图像)。例如，SMPTEST2094：2016标准系列“用于色彩容量变换的动态元数据”是在制作环境中使用的动态元数据。由于色彩重新映射信息(CRI)SEI消息，SMPTEST2094-30可以沿着HEVC编码的视频流分配。其他基于单层的分配解决方案存在于分配网络上，其中显示适应动态元数据与传统视频信号一起被传送。这些基于单层的分配解决方案可以产生HDR10比特图像数据(例如，将信号表示为如ITU-RBT.2100-0建议“ITU-RBT.2100-0建议，针对用于制作和国际节目交换的大动态范围电视机的图像参数值”中规定的HLG10或PQ10信号的图像数据)和来自输入信号(通常为12或16比特)的关联元数据，使用例如HEVCMain10配置文件编码方案来对所述HDR10比特图像数据进行编码，并根据解码后的视频信号和所述关联元数据来重建视频信号。重建后信号的动态范围根据可以取决于目标显示器的特性的关联元数据进行调整。动态元数据传输在实际的真实制作和分配设施中很难保证，并且有可能由于拼接、叠加层插入、修剪比特流的专业设备、附属公司的流处理以及目前缺乏针对元数据运输贯穿整个后期制作/专业工厂的标准化，丢失或破坏动态元数据。基于单层的分配解决方案在不存在不同的一堆动态元数据的情况下无法进行工作，其中所述元数据的一部分对于保证成功重建视频信号是关键的。当动态元数据与添加了图形或覆层的图像不一致时，也会出现类似的问题。例如，当将图形(覆层、OSD、...)插入(添加到)分配链外部的图像时，出现该问题，这是因为当图形被插入(添加到)所述图像时还应用针对所述图像计算的元数据。然后元数据被视为与向其添加图形或覆层的图像不一致，这是由于它们可能不适应于包含图形或覆层的所述图像的部分。这些问题的特征可能在于当随着时间显示解码后的图像时在图形的固定部分上的图像闪烁，或在于包含用不适当的元数据处理过的图形或覆层的图像部分上的不期望效果(例如，饱和、修剪)(例如，通过针对暗内容生成的元数据处理亮OSD)。
技术实现思路
以下给出本原理的简要概述，以提供对本原理的一些方面的基本理解。该
技术实现思路
并不是本原理的广泛概述，其并非旨在识别本原理的关键或重要要素。以下概述仅以简化形式呈现本原理的一些方面，作为以下提供的更详细描述的序言。为了弥补现有技术的至少一个缺点，本专利技术的目的在于提供一种用于根据解码后的图像数据和从比特流获得的参数来重建表示原始图像数据的图像数据的方法和设备，其中已经根据所述原始图像数据处理所述参数。该方法包括：-检查所述参数是否丢失、损坏或与向其添加图形或覆层的解码后图像数据不一致；-当所述参数中的至少一个参数丢失、损坏或与向其本文档来自技高网...

【技术保护点】
1.一种用于根据解码后的图像数据

【技术特征摘要】
2017.02.24 EP 17305212.7;2017.02.28 EP 17158481.61.一种用于根据解码后的图像数据和从比特流(101)获得的参数来重建代表原始图像数据(I1)的图像数据(I3)的方法，其中已根据所述原始图像数据(I1)处理所述参数，其特征在于所述方法包括：-检查(102)所述参数是否丢失、损坏或与向其添加图形或覆层的解码后的图像数据不一致；-当所述参数中的至少一个参数丢失、损坏或与向其添加图形或覆层的解码后的图像数据不一致时，-根据指示如何处理所述参数的信息数据(ID，103)来选择(104)恢复模式(RMi)；以及-通过应用所选的恢复模式(RMi)来恢复(105)所述至少一个丢失的、损坏的或不一致的参数，然后还考虑所述恢复后的参数(12)来重建图像数据(I3)。2.一种用于根据解码后的图像数据以及从比特流获得的参数来重建代表原始图像数据的图像数据的设备，已根据所述原始图像数据处理所述参数，其特征在于所述设备包括用于执行以下操作的装置：-检查所述参数是否丢失、损坏或与向其添加图形或覆层的解码后的图像数据不一致；-当所述参数中的至少一个参数丢失、损坏或与向其添加图形或覆层的解码后的图像数据不一致时，-根据指示如何处理所述参数的信息数据来选择恢复模式；以及-通过应用所选的恢复模式来恢复所述至少一个丢失的、损坏的或不一致的参数，然后还考虑所述恢复后的参数来重建图像数据。3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中通过比特流中的语法元素来显式地发信号通知所述信息数据(ID)。4.根据权利要求1所述的方法或根据权利要求2所述的设备，其中隐式地发信号通...

【专利技术属性】
技术研发人员：皮埃尔·安德里翁，大卫·图泽，尼古拉·卡拉梅利，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR