用于分层图像编码和解码的方法和设备技术

首先通过将输入的增强层比特流解复用为一个或多个与质量层的顺序相应的比特流来解码残差图像。接下来，通过针对每个质量层独立地对比特流进行解码来恢复残差图像。将恢复的残差图像存储在帧缓冲器中。通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与所述残差图像相加来输出最终恢复的残差图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及分层(或层次化的)图像编码/解码技术，更具体地说，涉及一种用于在处理视频的视频压缩编解码器中使用残差图像改进图像质量的分层图像编码/解码方法和设备。
技术介绍
通常，在视频压缩技术中，按具有每块MXN个像素的宏块的单元处理图像(或图片)。在视频处理中，宏块按帧内模式或帧间模式被编码并被解码。这里所用的术语“宏块”可被理解为指示像素块的集合，其中，每个所述像素块的集合具有特定的尺寸。“帧”包括多个宏块。使用宏块的典型视频压缩技术可包括诸如MPEG和H.26x的压缩标准的使用。视频压缩的基本概念是从原始图像数据去除空间冗余数据和时间冗余数据。帧内模式是用于去除空间冗余的方案。换句话说，此模式是用于在当前帧中去除具有特定尺寸的宏块中的像素之间的冗余的方案。帧间模式是用于去除时间冗余的方案。换句话说，此模式是用于通过估计在当前帧的宏块和先前帧或后续帧(被称为“参考”帧)的相应宏块之间的运动，来估计在两邻近帧中的相应宏块之间的差别的方案。运动估计是在参考帧中搜索类似于当前帧中将被编码的宏块的宏块的处理。在图像编码中，使用通过运动估计处理搜索并找到的参考帧中的宏块来执行运动补偿。图像编码器在参考帧中的“找到的”宏块和当前帧中的宏块之间的差异的传输期间，对参考帧中的“找到的”宏块和当前帧中的宏块之间的差异和表示参考帧的位置的运动矢量一起进行熵编码。
技术实现思路
技术问题通常，在运动补偿中，残差编码器/解码器针对构成残差编码器/解码器的输入的残差图像的多个质量层计算多幅残差差分图像，并且还对残差差分图像独立执行运动补偿，从而导致增加其复杂度和编码/解码时间。技术方案示例性实施例的一方面提供一种用于在图像编码期间，尤其在分层图像处理技术中的残差编码期间降低复杂度并改进图像质量的方法和设备。示例性实施例的另一方面提供了一种用于在图像解码期间，尤其在分层图像处理技术中的残差解码期间降低复杂度并改进图像质量的方法和设备。根据一个示例性实施例，对质量层图像处理中的图像数据的残差图像进行编码，并且图像数据包括基本层和至少一个增强层。此外，增强层的图像被划分为一个或多个质量层。所述方法包括对残差图像和已经在相同增强层内的参考图像中进行了运动补偿的图像进行合并。通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流。将在对合并的图像进行编码的处理中所产生的残差差分图像针对每个质量层独立存储在相关的帧缓冲器中。通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像；并通过复用各个质量层的比特流来输出增强层比特流。根据另一示例性实施例，一种设备对分层图像处理中的图像数据的残差图像进行编码。在所述设备中，一幅图像包括基本层和至少一个增强层。增强层的图像被划分为一个或多个质量层。所述设备包括用于对残差图像和已经在相同增强层内的参考帧中进行了运动补偿的图像进行合并的质量层编码器。所述编码器还针对每个质量层产生比特流和残差差分图像。所述编码器通过针对每个质量层独立地对合并的图像进行编码来完成此步骤。所述设备还具有用于存储由质量层编码器产生的残差差分图像的帧缓冲器。所述设备还具有运动补偿器，用于通过选择性地对存储在图像缓冲器中的图像执行运动补偿来输出运动补偿的图像。另外，存在用于通过复用各个质量层的比特流来输出增强层比特流的复用器。根据进一步的示例性实施例，提供了一种用于对分层图像处理中的图像数据的残差图像进行解码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层。此外，增强层的图像被划分为一个或多个质量层。所述方法包括将输入的增强层比特流解复用为一个或多个比特流。比特流与质量层的顺序对应。在此方法中，通过针对每个质量层独立地对比特流进行解码来恢复残差图像。恢复的残差图像被存储在帧缓冲器中。通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。根据又一示例性实施例，一种设备对分层图像处理中的图像数据的残差图像进行解码，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层。所述设备包括用于将输入的增强层比特流解复用为与质量层的顺序相应的一个或多个比特流的解复用器。所述设备还包括用于通过针对每个质量层独立地对比特流进行解码来恢复残差图像的质量层解码器。运动补偿器通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。有益效果根据示例性实施例，漂移没有发生在原始图像中，而是发生在残差图像中，并且由于漂移，这减少了图像质量中的恶化，并从而确保有效的、可扩展的编码。附图说明图1示出分层图像编码器的结构；图2示出分层图像解码器的结构；图3示出根据示例性实施例的残差编码器的结构；图4示出根据示例性实施例的质量层编码器的结构；图5示出根据示例性实施例的选择性运动补偿器的结构；图6示出根据另一示例性实施例的残差编码器的结构；图7示出根据示例性实施例的在分层图像解码器中的残差解码器的结构；图8示出根据另一示例性实施例的在分层图像解码器中的残差解码器的结构；图9示出根据示例性实施例的残差编码处理；图10示出根据示例性实施例的残差解码处理。具体实施例方式现在将参照附图详细的描述示例性实施例。在以下描述中，仅提供了特定细节来辅助对示例性实施例的全面理解。因此，本领域的技术人员应理解:在没有脱离本分明构思的范围和精神的情况下，可对这里描述的示例性实施里进行各种改变和修改。另外，为了清楚和方便起见，并为了避免使本专利技术构思模糊，公知功能和结构的描述已经被省略。本专利技术构思包括一种用于对构成在分层图像编码/解码过程中的增强层比特流/图像的多个质量层执行残差编码和/或解码的方法和设备。首先，这里使用的术语将被简要地定义如下。质量改进:用于改进使用改进的数据重建的残差样本的质量的过程。质量层:在质量改进过程中使用的一个或多个层。质量基本层:表示在一幅图像的多个质量层中的重建图像中的最低质量图像的层。质量增强层:表示一幅图像的多个质量层中的重建图像中的高质量图像的层。现在将描述一般的分层图像编码/解码设备。图1示出分层图像编码器的结构。参照图1，图像编码器根据包括基本层和一个或多个增强层的分层结构进行操作，接受用于编码的输入图像，并输出基本层比特流和增强层比特流。基本层的图像和增强层的图像可以是具有不同分辨率、尺寸和/或视点的图像。在图1的示例中，假设输入图像和在增强层中处理的图像是高分辨率图像，是具有大尺寸的图像和/或是表示一个视点的图像。还假设在基本层中处理的图像是低分辨率图像、具有小尺寸的图像和/或表示另一视点的图像。格式下变换器101将输入图像下变换为具有与基本层的格式相同的格式的图像。例如，下变换器101在输入图像的尺寸(或帧率)或立体图像的视点方面执行下变换。基本层编码器103输出通过根据使用例如视频编解码器的现有编码方案(诸如VC-1、H.264、MPEG-4第二部分视觉、MPEG-2第二部分视频、AVS和JPEG2000)对输入基本层图像进行编码而产生的基本层比特流。在对基本层图像进行编码的处理中，基本层编码器103将重建的基本层图像输出到格式上变换器10本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.14 US 61/382,5941.一种用于对分层图像处理中的图像数据的残差图像进行编码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述方法包括: 对残差图像和已经在相同增强层内的参考图像中进行了运动补偿的图像进行合并，并通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流； 在相关的帧缓冲器中存储在针对每个质量层独立地对合并的图像进行编码的处理中所产生的残差差分图像； 通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像； 通过对各质量层的比特流进行复用来输出一个增强层比特流。2.按权利要求1所述的方法，其中，与通过对残差图像和已经在参考帧中进行了运动补偿的图像进行合并所获得的图像和在针对低质量层对图像进行编码的处理中所产生的残差差分图像之间的差异相应的图像被用作针对每个质量层的编码处理中的输入信号。3.按权利要求1所述的方法，其中存储步骤包括:将在质量层中的最高质量层和最低质量层的编码处理中所产生的残差差分图像存储在相关的帧缓冲器中。4.按权利要求3所述的方法，其中，输出运动补偿的图像的步骤包括:通过对在最高质量层和最低质量层的编码处理中所产生的所有的残差差分图像执行运动补偿来输出运动补偿的图像。5.一种用于对分层图像处理中的图像数据的残差图像进行编码的设备，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述设备包 括: 质量层编码器，用于对残差图像和已经在相同增强层内的参考帧中进行了运动补偿的图像进行合并，并通过针对每个质量层独立地对合并的图像进行编码来产生每个质量层的比特流和残差差分图像； 帧缓冲器，用于存储在质量层编码器中所产生的残差差分图像； 运动补偿器，用于通过选择性地对存储在帧缓冲器中的图像执行运动补偿来输出运动补偿的图像； 复用器，用于通过复用各质量层的比特流来输出一个增强层比特流。6.按权利要求5所述的设备，其中，质量层编码器使用与通过对差分图像和已经在参考帧中进行了运动补偿的图像进行合并所获得的图像和在针对低质量层编码图像的处理中所产生的差分图像之间的差异相应的图像作为输入信号。7.按权利要求5所述的设备，其中，帧缓冲器存储在质量层中的最高质量层和最低质量层的编码处理中所产生的残差差分图像。8.按权利要求7所述的设备，其中，运动补偿器通过对在最高质量层和最低质量层的编码处理中所产生的所有残差差分图像执行运动补偿来输出运动补偿的图像。9.一种用于对分层图像处理中的图像数据的残差图像进行解码的方法，其中，在所述分层图像处理中，一幅图像包括基本层和至少一个增强层，并且增强层的图像被划分为一个或多个质量层，所述方法包括: 将输入的增强层比特流解复用为与质量层的顺序相应的一个或多个比特流； 通过针对每个质量层对比特流进行独立解码来恢复残差图像，并将恢复的残差图像存储在帧缓冲器中； 通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与恢复的残差图像相加来输出最终恢复的残差图像。10.按权利要求9所述的方法，其中，输出最终存储的残差图像的步骤包括:通过将已经在相同增强层内的参考帧中进行了运动补偿的图像与通过对在每个质量层解码处理中恢复的残差图像进行累加所获得的图像相加来输出最终恢复的残差图像。11.按权利要求9所述的方法，其中，存储步骤包括: 把通过将已经在参考帧中进行了运动补偿的图像与在最低...

【专利技术属性】
技术研发人员：崔雄一，朴慜祐，金大熙，
申请(专利权)人：三星电子株式会社，
类型：
国别省市：