图像处理设备和方法技术

提供了可以改进编码效率同时防止负荷增加的图像处理设备和方法。滤波预测电路(64)的提取电路(71)从低分辨率的基层中的基准帧提取运动补偿图像，所述运动补偿图像是用于在高分辨率的增强层中的预测图像产生的图像。使用时间方向分析和与上转换相关联的滤波预测电路(64)的滤波电路(72)关于由提取电路(71)提取的多个基层运动补偿图像进行滤波，并产生增强层中的预测图像。本发明专利技术例如可以应用于编码和解码设备。

【技术实现步骤摘要】
本申请是以下专利申请的分案申请：申请号：201080016310.2，申请日：2010年02月12日，专利技术名称：图像处理设备和方法。
本专利技术涉及图像处理设备和方法，且更具体地涉及可以改善编码效率同时防止负荷增加的图像处理设备和方法。
技术介绍
通常，使用运动补偿和比如离散余弦变换、Karhunen-Loève变换或者小波变换之类的正交变换的编码方案(包括MPEG(运动图像专家组)、H.26x等)通常已经用作在处理运动图像的情况下的编码方案。在这些运动图像编码方案中，通过利用要编码的输入图像信号的特性当中的空间方向和时间方向上的相关性来实现代码量的减少。例如，在H.264中，当利用时间方向上的相关性产生作为要经历帧间预测(帧间预测)的帧的帧间时使用单向预测或者双向预测。设计帧间预测以产生基于在不同时间的帧的预测图像。此外，在作为H.264的标准扩展的SVC(可缩放视频编码)中，已经建立考虑空间可缩放性的编码方案。SVC(H.264/AVC附录G)是在2007年11月由ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(用于标准化的国际组织/国际电工委员会)标准化的最新的视频编码标准。图1图示在SVC中考虑空间可缩放性的创建用于压缩的预测图像的参考关系。在SVC中，例如，如图1所示，以基层和增强层中的多个分辨率执行编码。在图1中的示例的情况下，作为基层，使用空间可缩放性编码具有n×m[像素(pix)](n和m是整数)的分辨率的图像。与此一起，使用空间可缩放性编码具有N×M[像素(pix)](N和M是整数)的分辨率的图像(其中N>n且M>;m)作为增强层。在基层的情况下，与基于H.264标准的编码的情况类似地，利用帧内预测或者帧间预测编码当前帧。在图1中的示例的情况下，当执行基层的编码时，使用两个基准面(Ref0，Ref1)。提取来自单独的基准面的运动补偿图像(MC0，MC1)，并执行帧间预测。同样在增强层的情况下，与基本层的情况类似，可以利用帧内预测或者帧间预测编码当前帧。在帧内预测的情况下，利用当前帧的增强层中的空间相关性执行预测。在时间方向上的相关性低时，比如当对象少量移动时，帧内预测在要编码的运动图像中是有效的。但是，通常，在一般的运动图像中，在多数情况下，时间方向上的相关性高于空间方向上的预测，且帧内预测不能被认为就编码效率而言是最适宜的。在帧间预测的情况下，在时间上在前或在后的帧的增强层中的解码图像用作基准面。帧间预测使用时间方向上的相关性，因此使得高编码效率是可行的。但是，需要预先解码在用作基准面的增强层中的高分辨率帧图像。此外，还需要在存储器中保存高分辨率图像以利用它们作为参考。此外，需要从存储器读取具有大量数据的高分辨率图像。因此，帧间预测可以被认为是就处理量和实现成本而言施加大负荷的方案。在这点上，在增强层的情况下，除上述两个方案之外，基于基层的空间上采样(上转换)的预测方法(以下称为上转换预测)可用于编码当前帧。在基层中的图像是增强层中的图像的低分辨率版本，因此可以被认为包括与增强层中的图像的低频分量对应的信号。就是说，可以通过将高频分量加到基层中的图像来获得增强层中的图像。上转换预测是用于利用这种层之间的相关性执行预测的方法，且特别在帧内预测或者帧间预测不适用的情况下是对改善编码效率有用的预测方法。此外，该预测方法仅通过在基层中同时解码图像来解码当前帧的增强层中的图像，因此可以被认为是就处理量而言同样优秀的(施加小负荷)的预测方案。同时，用于增大分辨率的处理包括用于执行运动补偿和像素值的FIR滤波以将时间方向上的相关性转换为用于使用的空间分辨率的技术。(例如，参见，NPL 1)。在NPL 1中描述的方法中，时间方向上的相关性用于增加输入图像序列的分辨率的处理。具体地说，计算在当前图像和先前图像之间的有关已运动预测/补偿的图像的差别信息，且将其反馈到目标当前图像以恢复输入图像中包括的高频分量。引文列表非专利文献NPL 1：“Improving Resolution by Image Registration”，MICHAL IRANI和SHMUEL PELEG，计算机科学系，耶路撒冷希伯来大学，耶路撒冷91904，以色列，由Rama Chellapa传送，在1989年6月16日接收；1990年5月25日接受。
技术实现思路
技术问题但是，上转换低分辨率图像使得由于线性内插滤波器的影响而产生具有少量高频分量的图像。因此，在上转换预测中，仅可以获得具有少量高频分量的预测图像。就是说，在上转换预测中，不能说已经发送的基层中的像素信息充分地用于执行预测。因此，在增强层中，可能需要大量代码来编码残差信号。如上，在现有的编码和解码方法中，难以实现编码效率的改善以及防止负荷增加两者。因此，可以设想通过应用如NPL 1描述的用于将运动图像的时间相关性转换为空间分辨率的图像处理技术来实现编码效率的改善的方法。但是，NPL1中描述的方法不能简单地应用于SVC。例如，在帧间预测中，从基准面获得的运动补偿图像的分辨率与产生的预测图像的相同，且NPL 1中描述的方法不能应用于上转换预测。此外，在上转换预测中，因为仅从基层中当前帧的图像产生预测图像，所以其中使用三个图像增加分辨率的NPL 1中描述的方法不能应用于上转换预测。已经考虑上述情况而提出本专利技术，且本专利技术意在通过更有效地利用运动图像的信号序列中包括的时间相关性来执行考虑空间可缩放性的编码，由此使得能够改善编码效率同时防止比如编码和解码的处理的负荷的增加。技术方案本专利技术的一个方面提供了图像处理设备，包括：解码装置，用于解码编码图像；产生装置，用于将由解码装置解码的图像和预测图像相加，并用于产生解码图像；提取装置，用于使用由产生装置产生的解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和预测图像产生装置，用于通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿由提取装置提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。编码图像已经分级地分解为具有不同分辨率的多个层中的图像且图像已经被编码；解码装置可以解码每一层中的编码图像；产生装置可以产生每一层中的解码图像；当要执行高分辨率层的解码时，提取装置可以使用具有比该层更低分辨率的层中的帧作为基准帧，并从在具有更低分辨率的层中的基准帧提取运动补偿图像；且预测图像产生装置可以通过关于从具有更低分辨率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高分辨率层中的预测图像。预测图像产生装置可以包括：分辨率转换装置，用于转换由提取装置提取的多个运动补偿图像之间的差别图像的分辨率并增加分辨率；第一滤波器装置，用于将低通滤波器应用于其分辨率已经由分辨率转换装置增加的差别图像；第二滤波器装置，用于将高通滤波器应用于通过由第一滤波器装置应用低通滤波器而获得的图像；和相加装置，用于将通过由第一滤波器装置应用低通滤波器而获得的图像与由第二滤波器装置应用高通滤波器而获得的图像与由提取装置提取的多个运动补偿图像之一相加，并用于产生预测图像。相加装置可以将通过由本文档来自技高网...

【技术保护点】
一种图像解码设备，包括：提取装置，用于使用解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取具有比所述预测图像更低频率的运动补偿图像；预测图像产生装置，用于通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于由所述提取装置提取的至少两个运动补偿图像执行滤波处理，以产生具有比所述至少两个运动补偿图像更高的频率的预测图像，其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。

【技术特征摘要】
2009.02.19 JP 2009-0364971.一种图像解码设备，包括：提取装置，用于使用解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取具有比所述预测图像更低频率的运动补偿图像；预测图像产生装置，用于通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于由所述提取装置提取的至少两个运动补偿图像执行滤波处理，以产生具有比所述至少两个运动补偿图像更高的频率的预测图像，其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。2.根据权利要求1所述的图像解码设备，其中所述预测图像产生装置将表示高频分量并通过上转换基层中的图像而产生的图像与通过上转换第一运动补偿图像而获得的图像相加。3.根据权利要求1所述的图像解码设备，其中，所述已经编码的图像已经被分级地分解为具有不同频率的多个层中的图像且图像已经被编码，其中，当要执行高频率层的解码时，所述提取装置使用具有比该层更低频率的层中的帧作为基准帧，并从具有更低频率的层中的基准帧提取运动补偿图像，和其中，所述预测图像产生装置通过关于从具有更低频率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高频率层中的预测图像。4.根据权利要求1所述的图像解码设备，其中，所述预测图像产生装置包括频率转换装置，用于转换由所述提取装置提取的多个运动补偿图像之间的差别图像的频率并增加频率，低通滤波器装置，用于将低通滤波器应用于频率已经由所述频率转换装置增加的差别图像，高通滤波器装置，用于将高通滤波器应用于通过由所述低通滤波器装置应用低通滤波器而获得的图像，和相加装置，用于将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与由所述提取装置提取的多个运动补偿图像之一相加，并用于产生预测图像。5.根据权利要求4所述的图像解码设备，其中，所述相加装置将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。6.根据权利要求1所述的图像解码设备，进一步包括：接收装置，用于接收标识标记，所述标识标记标识要通过单向预测产生预测图像、要通过双向预测产生预测图像还是要通过由所述预测图像产生装置执行的滤波处理产生预测图像；判断装置，通过参考由所述接收装置接收的标识标记，判断要通过单向预测产生预测图像、要通过双向预测产生预测图像还是要通过滤波处理产生预测图像。7.根据权利要求6所述的图像解码设备，进一步包括：单向预测装置，用于使用多个运动补偿图像执行单向预测，并用于产生预测图像；和双向预测装置，用于使用多个运动补偿图像执行双向预测，并用于产生预测图像。8.根据权利要求1所述的图像解码设备，进一步包括：解码装置，用于解码编码图像；和产生装置，用于将由所述解码装置解码的图像与预测图像相加并用于产生解码图像。9.一种图像解码方法，包括：使用由解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并从与预测图像对应的基准帧提取具有比所述预测图像更低频率的运动补偿图像；通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于所提取的至少两个运动补偿图像执行的滤波处理，以产生具有比所述至少两个运动补偿图像更高的频率的预测图像，其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。10.一种图像解码设备，包括：检测装置，用于基于图像和作为要解码的图像的原始图像检测运动矢量，所述图像中的每一个是通过基于指示原始图像和预测图像之间的...

【专利技术属性】
技术研发人员：中神央二，矢崎阳一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP