图像处理设备和方法技术

提供可以利用少量控制信息生成高度精确的预测图像的图像处理设备和方法。该图像处理设备包括：通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及基于所生成的预测图像编码图像的电路。此图像处理设备和方法例如可应用于编码和解码装置。

【技术实现步骤摘要】
相关申请的交叉参考本申请是国际申请号为PCT/JP2010/052017的、于2010年2月12日进入中国国家阶段的国家申请号为201080016294.7的、中文专利技术名称为“”的专利技术申请的分案申请。
本专利技术涉及，具体地，涉及使得能够在不增大处理负荷的情况下生成高度精确的预测图像的。
技术介绍
传统上，使用动作补偿(如，MPEG (运动图像专家组)或H.26x)和正交变换(如，离散余弦变换、Karhunen Loeve变换或小波变换)的编码方法已经通常用作应对运动图像的情况下的编码方法。在这些运动图像编码方法中，通过使用要进行编码的输入图像信号的特性之中的空间方向和时间方向上的相关性，代码量得到降低。例如，在H.264中，将单向预测或双向预测用于通过使用时间方向上的相关性来生成作为用作帧间帧预测(帧间预测)的目标的帧的帧间帧(inter-frame)。帧间帧预测基于不同时间的帧生成预测图像。图1是图示单向预测的示例的示图。如图1所示，在通过单向预测生成待编码帧PO(其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去或将来的时间的编码帧用作参考帧来进行运动补偿。使用时间方向上的相关性对预测图像和实际图像之间的残差(residual)进行编码，从而可以减少代码量。参考帧信息和运动矢量分别用作指定参考帧的信息和指定要在参考帧中参照的位置的信息，并且将这些个信息从编码侧发送至解码侧。这里，参考帧的数目不一定是一个。例如，在H.264中，可以将多个帧用作参考帧。当将在时间上接近于待编码帧PO的两个帧用作参考帧RO和Rl时，如图1中所示，可以根据参考帧RO或Rl中的任意像素的像素值预测待编码帧PO中任意宏块(macroblock)的像素值。图1中各个帧内部图示的方框表示宏块。当假设作为预测目标的待编码帧PO中的宏块为宏块MBPO时，对应于宏块MBPO的参考帧RO中的宏块是由运动矢量MVO指定的宏块MBR0。此外，参考帧Rl中的宏块是由运动矢量MVl指定的宏块MBRl。当假设宏块MBRO和MBRl的像素值(运动补偿图像的像素值)是MC0(i，j)和MCI (i, j)时，由于任何运动补偿图像的像素值在单向预测中都用作预测图像的像素值，因此由下列等式(I)表达预测图像Pred(i，j)。(i，j)表示宏块中像素的相对位置，并且满足O≤i≤16且O≤j≤16。在等式⑴中，〃| |〃表示采用10)(丨，」)和MCl(i，j)中任何的值。[算式I]Pred(i, j) =MC0(i>j) | IMC1(I1J)...(I)此外，可以将16X16像素的单个宏块分割为例如具有大小为16X8像素的更小的块，并且可以通过参考不同的参考帧对通过分割形成的各个块进行运动补偿。通过发送小数(decimal)精度的运动矢量(而不是整数精度的运动矢量)，并且通过使用根据标准定义的FIR滤波器进行内插，可以将要参考的对应位置周围的像素的像素值用于运动补偿。图2是图示双向预测的示例的示图。如图2所示，在通过双向预测生成待编码帧BO (其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去和将来的时间的编码帧用作参考帧来进行运动补偿。使用与这些帧的相关性对预测图像和实际图像之间的残差进行编码，从而可以减少代码量。在H.264中，也可以将多个过去的帧和多个后续的帧用作参考帧。如图2所示，当在待编码帧BO用作基础的情况下将一个过去的帧和一个后续的帧用作参考帧LO和LI时，基于参考帧LO和LI的任意像素的像素值，可以预测待编码帧BO中任意宏块的像素值。在图2的示例中，对应于待编码帧BO中宏块MBBO的参考帧LO中的宏块是由运动矢量MVO指定的宏块MBL0。此外，对应于待编码帧BO中宏块MBBO的参考帧LI中的宏块是由运动矢量MVl指定的宏块MBLl。当假设宏块MBLO和MBLl的像素值分别是MCO (i，j)和MCI (i，j)时，可以获得预测图像Pred(i，j)的像素值Pred(i，j)作为这些像素值的平均值，如下列等式(2)所表达的。[算式2]Pred (i, j) = (MC0 (i, j) +MC1 (i, j) )/2...(2)在使用单向预测的前述动作补偿中，通过增大运动矢量的精度并减小宏块的尺寸以减小相对于实际图像的残差，增大了预测图像的精度，从而增大了编码效率。此外，在使用双向预测的动作补偿中，将在时间上接近的参考帧的像素的像素值的平均用作预测图像的像素的像素值，从而根据概率的观点，在预测残差中实现了稳定的降低。此外，作为另一方法，提出了使用像素值的动作补偿和FIR滤波将时间方向上的相关性转换为空间分辨率并使用空间分辨率的方法(例如，参见NPL1)。在NPLl描述的方法中，将时间方向上的相关性用于对输入图像序列进行的分辨率增大处理。特别地，计算关于已经进行了运动预测/补偿的过去图像和当前图像之间差异(difference)的差异信息，并且将该差异信息反馈至目标当前图像，从而恢复输入图像中包括的高频分量。引用列表非专利文献NPLl: Improving Resolution by Image Registration，MICHAL IRANI AND SHMUELPELEGj Department of Computer Science, The Hebrew University of Jerusalem, 91904Jerusalem, Israel, Communicated by Rama Chellapaj 1989 年 6 月 16 日收到；1990 年 5 月 25 日收录
技术实现思路
技术问题在传统的单向预测的情况下，即使在可以选择多个参考帧的时候，也需要选择性地使用参考帧中任何一个的像素值作为待编码帧的像素值。由此，由于未选择的参考帧不用于运动补偿，因此未充分地使用参考帧和待编码帧之间的时间相关性，根据增大编码效率的观点，存在许多有待改善。此外，在传统的双向预测的情况下，使用两个参考帧的像素值的平均值作为待编码帧的像素值，以便进行时间上的低通滤波处理并且从预测图像中失去了高频分量。结果，由于包括高频分量的残差信号不能被编码，因此通过解码获得的图像不包括高频分量，并且分辨率退化。进而，通过以NPL2中所述的方法对关于两个或更多个参考帧的信息进行滤波并且使用它，相比于传统的双向预测，可以更高精度地进行预测。然而，在此情况下，需要将涉及两个或更多个参考帧的运动矢量信息发送至解码器。即，为了增大预测精度，大量的控制信息是必要的，这根据编码效率的观点可能不是高效的。本专利技术鉴于这些情形而做出，并且目标在于通过降低对于进行双向预测或者参考多个图像所需要的运动矢量的代码量，使得可以使用少量的控制信息生成高度精确的预测图像。问题的解决方案本专利技术的一方面是图像处理设备，包括:通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及基于所生成的预测图像编码图像的电路。所述滤波处理加重运动补偿图像的高频分量。从由原始图像形本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及基于所生成的预测图像编码图像的电路。

【技术特征摘要】
2009.02.19 JP 2009-0364981.一种图像处理设备，包括: 通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路； 通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路； 通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及 基于所生成的预测图像编码图像的电路。2.如权利要求1所述的图像处理设备，其中，所述滤波处理加重运动补偿图像的高频分量。3.如权利要求1所述的图像处理设备，其中，从由原始图像形成的参考帧进行生成第一运动补偿图像的处理；而 从不同于从其生成第一运动补偿图像的参考帧的参考帧进行生成第二运动补偿图像的处理。4.如权利要求2所述的图像处理设备，其中，通过使用运动补偿图像中包括的时间方向上的相关性来进行运动补偿图像的高频分量的加重。5.如权利要求1所述的图像处理设备，其中，通过使用特定成本函数，第二运动补偿图像匹配或类似于从参考 帧生成的第一运动补偿图像，该第二运动补偿图像用作对应于预测图像的运动补偿图像。6.如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。7.如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的最小平方差的函数。8.如权利要求...

【专利技术属性】
技术研发人员：中神央二，矢崎阳一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP