使用嵌入信令来校正信号损伤制造技术

本文描述的实例涉及解码和编码信号。描述了一种对信号的一个或多个部分执行信号增强操作的方法，其中所述执行至少部分地基于嵌入在一个或多个值中的信息，所述一个或多个值是在编码数据流内传输的一个或多个编码数据层中被接收，并且其中所述值与旨在由解码器处理以导出所述信号的元素的变换系数相关联，其中所述信息指示与所述信号的部分相关联的损伤。所述信息指示与所述信号的部分相关联的损伤。所述信息指示与所述信号的部分相关联的损伤。

【技术实现步骤摘要】
【国外来华专利技术】使用嵌入信令来校正信号损伤


[0001]本专利技术涉及用于处理信号的方法，诸如通过非限制性实例视频、图像、超光谱图像、音频、点云、3DoF/6DoF和体积信号的方式。处理数据可以包括但不限于在分级(基于层)编码格式的背景下获得、导出、编码、输出、接收和重构信号，其中信号以随后更高的质量水平在层中解码，利用和组合重构数据的后续层(“级”)。不同层的信号可以用不同的编码格式(例如，通过非限制性实例、传统的单层基于DCT的编解码器、ISO/IEC MPEG
‑
5 Part 2低复杂度增强视频编码SMPTE VC
‑
6 2117等的方式)进行编码，借助于在单个位流中可以或不可以复用的不同基本流。

技术介绍

[0002]在基于层的编码格式中，诸如ISO/IEC MPEG
‑
5 Part 2 LCEVC(以下称为“LCEVC”)或SMPTE VC
‑
6 2117(以下称为“VC
‑
6”)，信号被分解成多个数据“级”(也称为“分层”)，每级对应于信号的“质量水平”(本文也称为“LoQ”)，从原始信号的采样率的最高级到通常具有比原始信号更低的采样率的最低级。在非限制性实例中，当信号是视频流中的图片时，最低级可以是原始图片的缩略图，例如，视频流中的低分辨率帧，甚至是单个图像元素。其他级含有关于应用于重构再现的校正的信息，以便产生最终输出。级可以基于残留信息，例如，特定质量水平的原始信号版本和相同质量水平的信号的重构版本之间的差异。最低级可以不包含残留信息，但是可以包含原始信号的最低采样。给定质量水平的解码信号通过首先解码最低级(从而以第一最低质量水平重构信号)，然后预测第二较高质量水平的信号再现，然后解码对应的第二级的重构数据(也称为第二质量水平的“残留数据”)，然后将预测与重构数据相结合，以便以第二较高的质量水平重构信号再现，以此类推，直到重构给定的质量水平。
[0003]重构信号可以包含解码残留数据，并使用这一数据来校正从较低质量水平的信号版本中导出的特定质量水平的版本。可以使用不同的编码格式对不同级的数据进行编码，并且不同的质量水平可以具有不同的采样率(例如，分辨率，对于图像或视频信号的情况)。随后的级可以指信号的相同信号分辨率(即，采样率)，或者指逐渐更高的信号分辨率。这些方法的实例在LCEVC和VC
‑
6的可用规范中有更详细的描述。
[0004]当使用基于层的编码格式时，一个或多个质量层的残留数据可用于校正由较低编码方法引入的损伤。例如，在LCEVC中，由基本编码和解码(例如，使用诸如H.264或H.265的已知编解码器)的处理引入的图像伪像可以通过在一个或多个子层包含残留数据的增强数据流来进行校正。然而，引入的编码伪像的数量越多，携带残留数据所需的目标位速率就越高。如果网络带宽有限且可用位速率较低，这可能是问题。在这种情况下，在编码的增强或更高水平的残留数据流的位速率和解码器处重构信号的质量之间存在折衷。因此，在目标位速率低和/或使用低质量输出的低级编码方法的情况下，希望改进诸如LCEVC和VC
‑
6的编码方案。

技术实现思路

[0005]本文中所示的非限制性实施例将信号称为样本序列(即，二维图像、视频帧、视频场、声音帧等)。在描述中，术语“图像”、“图片”或“平面”(意为“超平面”的最广泛含义，即，具有任意维数和给定采样网格的元素阵列)将经常用于标识沿样本序列的信号样本的数字再现，其中每个平面对于其每个维度(例如，X和Y))具有给定的分辨率，并包含以一个或多个“值”或“设置”(例如，作为非限制性实例，合适颜色空间中的颜色设置、指示密度级别的设置、指示温度级别的设置、指示音频音高的设置、指示振幅的设置、指示深度的设置、指示α通道透明度级别的设置等)为特征的一组平面元素(或“元素”，或“像素(pel)”，或二维图像的显示元素，通常称为“像素(pixel)”，体积图像的显示元素，通常称为“体素”等)。每个平面元素由一组合适的坐标来标识，指示所述元素在图像的采样网格中的整数位置。信号维度可以仅包括空间维度(例如，在图像的情况下)或者时间维度(例如，在信号随时间演变的情况下，诸如视频信号)。
[0006]作为非限制性实例，信号可以是图像、音频信号、多通道音频信号、遥测信号、视频信号、3DoF/6DoF视频信号、体积信号(例如，医学成像、科学成像、全息成像等)、体积视频信号或者甚至具有多于四维的信号。
[0007]为简单起见，本文所示的非限制性实施例通常指显示为2D设置平面(例如，合适颜色空间中的2D图像)的信号，诸如例如视频信号。术语“图片”、“帧”或“场”将与术语“图像”互换使用，以便指示视频信号的时间样本：针对由帧组成的视频信号(逐行视频信号)所示的任何概念和方法也可以容易地应用于由场组成的视频信号(隔行视频信号)，反之亦然。尽管本文示出的实施例集中在图像和视频信号上，但是本领域技术人员可以容易地理解，相同的概念和方法也适用于任何其他类型的多维信号(例如，音频信号、体积信号、立体视频信号、3DoF/6DoF视频信号、全光信号、点云等)。
[0008]本文描述的实例涉及使用在编码数据流内传输的一个或多个编码数据层中接收的一个或多个值中的嵌入信息来发出与要重构的信号的部分相关联的损伤的信号。具体而言，实例使用嵌入在变换系数值中的信息来发出一个或多个损伤的信号，使得这些损伤可以通过在重构信号时(例如，在解码器那里)应用的信号增强操作来至少部分地进行校正。例如，LCEVC和VC
‑
6都通过使用依次应用的变换和量化编码块来编码残留数据。在本实例中，量化的变换残留值(本文称为变换系数)用于携带与信号损伤相关的信令信息，以及残留数据本身。因此，变换系数用于在编码数据流中提供一种形式的嵌入信令。信号增强操作可以是在一个或多个LCEVC或VC
‑
6视频编码标准中没有定义的增强操作，例如，包含所谓的不符合标准的操作，但这些操作仍然与标准兼容。因此，本实例可以实现为上述标准的可选扩展，或者其他基于层的分级编码方案。
[0009]根据某些描述的实施例，信号处理器(例如，计算机处理器硬件)被配置为接收数据并对其进行解码(“解码器”)。解码器实现解码数据的方法。解码器可以实现基于层的解码方法，诸如LCEVC或VC
‑
6。在这些情况下，解码器获得第一(例如，较低)质量水平的信号再现，并产生第二(例如，较高)质量水平的信号的预测再现。例如，第二质量水平可以具有比第一质量水平更高的分辨率(即，信号采样率)。在这些情况下，如在基于层的解码方法中所描述的，解码器接收并解码残留数据级，以应用于信号的预测再现，从而产生第二质量水平的信号的校正再现。在本文描述的某些实例中，当解码特定组的残留数据系数并找到特定
组的量化符号时，解码器不将所述符号解释为残留数据，而是根据接收的符号执行信号增强操作。然后，这些信号增强操作可以帮助消除或减少损伤。在位速率受限的情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对信号的一个或多个部分执行信号增强操作的方法，其中所述执行至少部分地基于嵌入在一个或多个值中的信息，所述一个或多个值是在编码数据流内传输的一个或多个编码数据层中被接收，并且其中所述值与旨在由解码器处理以导出所述信号的元素的变换系数相关联，其中所述信息指示与所述信号的部分相关联的损伤。2.根据权利要求1所述的方法，其中所述一个或多个值由所述解码器解释以导出所述信息，而不是导出变换系数的值。3.根据权利要求1或2所述的方法，其中所述编码数据流包含在编码位流中，并且其中所述编码位流中的位用于向所述解码器发出一个或多个值应当被解释为所述信息而不是变换系数的实际量化值的信号。4.根据权利要求1至3中任一项所述的方法，其中所述信息指示解码信号中预期的特定类型的损伤。5.根据权利要求4所述的方法，其中所述信息用于向所述解码器通知能够应用于所述信号的对应区域的增强操作，以便提高最终信号重构的质量。6.根据前述权利要求中任一项所述的方法，其中所述增强操作包括以下操作中的一个或多个：去块、去条带、去振铃、去噪、锐化、抖动、颜色限幅、范围均衡、边缘增强。7.根据权利要求6所述的方法，其中基于嵌入信令执行的所述信号增强处理操作中的至少一个是以低于全分辨率的分辨率对所述信号的中间再现进行环路内执行的。8.根据前述权利要求中任一项所述的方法，其中所述解码器基于解码器装置要使用的处理能力的目标水平和电池功耗中的一个或多个来实现信号增强操作。9.一种编码信号的方法，包含：通过保留给定系数组的一个或多个量化符号来编码用于信号重构的变换系数，以提供嵌入信令信息，用于将在所述信号的一个或多个部分上执行的信号增强操作，以校正在所述信号中检测到的一个或多个损伤。10.根据权利要求9所述的编码方法，在对变换系数进行编码之前，包含：获得第一质量水平的所述信号的再现；用第一编码方法对所述信号的所述再现进行编码，以生成第一编码信号；以及变换一个或多个质量层的残留数据以生成所述变换系数，所述残留数据包含对使用所述第一编码信号重构的所述信号的版本的校正；检测一个或多个损伤，所述一个或多个损伤不能用所述残留数据以编码数据流的目标位速率来适当校正；以及响应...

【专利技术属性】
技术研发人员：西蒙尼，
申请(专利权)人：威诺瓦国际有限公司，
类型：发明
国别省市：