预测图像校正装置、图像编码装置、图像解码装置以及程序制造方法及图纸

本申请公开一种预测图像校正装置，包括：预测部(108)，通过使用多个参考图像预测对帧单位的当前图像进行分割而获得的对象图像块，来生成与所述对象图像块对应的预测图像；预测精度评价部(109)，基于用于生成所述预测图像的所述多个参考图像间的相似度来评价所述预测图像的预测精度；以及校正部(110)，对所述预测图像进行校正处理，所述校正部至少基于所述预测精度评价部的评价结果来控制所述校正处理。

【技术实现步骤摘要】
【国外来华专利技术】预测图像校正装置、图像编码装置、图像解码装置以及程序
本专利技术涉及预测图像校正装置、图像编码装置、图像解码装置以及程序。
技术介绍
在视频编码技术中，通过以分割帧(图片)单位的当前图像而得到的块单位进行变换和预测等，从而实现有效的编码(压缩)。作为预测，有帧内预测和帧间预测两种方法。帧内预测是参考与作为编码对象或解码对象的块(以下称为“对象图像块”)相邻的已解码相邻块来生成预测图像的方法。帧间预测是参考与对象图像块所属的当前帧不同的已解码帧来生成预测图像的方法。在专利文献1中记载了如下的预测图像校正装置：其通过帧间预测来预测对象图像块并生成帧间预测图像，通过帧内预测来预测对象图像块并生成帧内预测图像，并对帧间预测图像和帧内预测图像进行加权平均。具体地，专利文献1所记载的预测图像校正装置评价与对象图像块对应的帧间预测图像和与对象图像块相邻的已解码相邻块的连续性，在评价为不连续的情况下，使用已解码相邻块通过滤波处理来校正帧间预测图像的端部区域。现有技术文献专利技术文献专利技术文献1：美国专利申请公开第2013/051467号说明书
技术实现思路
专利文献1所记载的预测图像校正装置与帧间预测的预测精度无关，根据帧间预测图像和已解码相邻块的连续性的评价应用滤波处理。因此，在目标边界存在于帧间预测图像和已解码相邻块之间的边界处时，即使在帧间预测图像的端部区域的预测精度高的情况下，也会对该端部区域应用滤波处理，因此存在预测图像的精度可能由于滤波处理而降低的问题。因此，本专利技术的目的在于提供一种能够适当地校正预测图像的预测图像校正装置、图像编码装置、图像解码装置以及程序。根据第一特征的帧内预测装置，其主旨在于，包括：预测部，通过使用多个参考图像预测对帧单位的当前图像进行分割而获得的对象图像块，来生成与所述对象图像块对应的预测图像；预测精度评价部，基于用于生成所述预测图像的所述多个参考图像间的相似度来评价所述预测图像的预测精度；以及校正部，使用与所述对象图像块相邻的已解码相邻块来对所述预测图像进行校正处理，所述校正部至少根据所述预测精度评价部的评价结果来控制所述校正处理。另外，所谓使用多个参考图像进行的预测，是以帧间预测中的双预测为代表的预测，但是并不限于此，例如，在HEVC编码方式中使用的图像的帧间BC模式(帧内块复制模式)等那样的、参考多个来生成预测图像的情况下，也能够应用同样的方法。根据第二特征的图像编码装置的主旨在于，包括根据第一特征的预测图像校正装置。根据第三特征的图像解码装置的主旨在于，包括根据第一特征的预测图像校正装置。根据第四特征的程序的主旨在于，使计算机作为根据第一特征的预测图像校正装置发挥功能。根据本专利技术，可以提供能够适当地校正预测图像的预测图像校正装置、图像编码装置、图像解码装置以及程序。附图说明图1是示出根据实施方式的图像编码装置的结构的图。图2是示出根据实施方式的图像解码装置的结构的图。图3是示出帧间预测的一个示例的图。图4是示出通过帧间预测生成的预测图像的一个示例的图。图5是示出根据实施方式的预测精度评价部的结构的一个示例的图。图6是示出根据实施方式的预测图像校正部的结构的一个示例的图。图7是示出根据实施方式的连续性评价部的动作示例的图。图8是示出根据实施方式的预测图像校正动作的一个示例的图。图9是示出根据实施方式的变形例的预测图像校正部的结构的图。图10是示出根据实施方式的变形例的连续性评价部及滤波处理部的动作示例的图。具体实施方式参考附图，对根据实施方式的图像编码装置和图像解码装置进行说明。根据实施方式的图像编码装置和图像解码装置进行以MPEG为代表的动画的编码和解码。在以下附图的记载中，对相同或相似的部分标注相同或相似的符号。(1.图像编码装置的结构)图1是示出根据本实施方式的图像编码装置1的结构的图。如图1所示，图像编码装置1包括块分割部100、减法部101、变换部102a、量化部102b、熵编码部103、逆量化部104a、逆变换部104b、合成部105、存储器106、帧内预测部107、帧间预测部108、预测精度评价部109和预测图像校正部(校正部)110。在本实施方式中，帧内预测部107、帧间预测部108、预测精度评价部109以及预测图像校正部110构成预测图像校正装置。块分割部100将帧(或图片)单位的输入图像分割成块状的小区域，并将图像块输出到减法部101(以及帧间预测部108)。图像块的尺寸例如为32×32像素、16×16像素、8×8像素或4×4像素等。图像块是图像编码装置1进行编码的单位以及图像解码装置2进行解码的单位，将该图像块称为对象图像块。另外，图像块的形状不限于正方形，也可以是长方形的形状。减法部101计算预测残差，该预测残差表示从块分割部100输入的对象图像块和与对象图像块对应的预测图像(预测图像块)之间的基于像素单位的差分。具体地，减法部101通过从编码对象块的各像素值减去预测图像的各像素值来计算预测残差，并将计算出的预测残差输出到变换部102a。在本实施方式中，预测图像是由后述的预测图像校正部110校正后的图像，其从预测图像校正部110输入到减法部101。变换部102a和量化部102b构成以块单位进行正交变换处理和量化处理的变换量化部102。变换部102a对从减法部101输入的预测残差进行正交变换来计算变换系数，并将计算出的变换系数输出到量化部102b。所谓正交变换，例如是指离散余弦变换(DCT：DiscreteCosineTransform)、离散正弦变换(DST：DiscreteSineTransform)、卡洛变换(KLT：Karhunen-LoeveTransform)等。量化部102b使用量化参数(Qp)和量化矩阵对从变换部102a输入的变换系数进行量化，并生成量化变换系数。量化参数(Qp)是对块内的各变换系数共同应用的参数，是确定量化的粗糙度的参数。量化矩阵是具有对各变换系数进行量化时的量化值作为元素的矩阵。量化部102b将量化控制信息、所生成的量化变换系数信息等输出到熵编码部103和逆量化部104a。熵编码部103对从量化部102b输入的量化变换系数进行熵编码，进行数据压缩以生成编码数据(比特流)，并将编码数据输出到图像编码装置1的外部。在熵编码中，可以使用哈夫曼编码、CABAC(Context-basedAdaptiveBinaryArithmeticCoding；基于上下文的自适应二进制算术编码)等。另外，关于预测的信息从帧内预测部107和帧间预测部108输入至熵编码部103。熵编码部103还进行这些信息的熵编码。逆量化部104a和逆变换部104b构成以块单位进行逆量化处理和逆正交变换处理的逆量化逆变换部104。逆量化部104a进行与量化部102b进行的量化本文档来自技高网...

【技术保护点】
1.预测图像校正装置，包括：/n预测部，通过使用多个参考图像预测对帧单位的当前图像进行分割而获得的对象图像块，来生成与所述对象图像块对应的预测图像；/n预测精度评价部，基于用于生成所述预测图像的所述多个参考图像间的相似度来评价所述预测图像的预测精度；以及/n校正部，使用与所述对象图像块相邻的已解码相邻块来对所述预测图像进行校正处理，/n所述校正部至少基于所述预测精度评价部的评价结果来控制所述校正处理。/n

【技术特征摘要】
【国外来华专利技术】20180404 JP 2018-0724511.预测图像校正装置，包括：
预测部，通过使用多个参考图像预测对帧单位的当前图像进行分割而获得的对象图像块，来生成与所述对象图像块对应的预测图像；
预测精度评价部，基于用于生成所述预测图像的所述多个参考图像间的相似度来评价所述预测图像的预测精度；以及
校正部，使用与所述对象图像块相邻的已解码相邻块来对所述预测图像进行校正处理，
所述校正部至少基于所述预测精度评价部的评价结果来控制所述校正处理。


2.根据权利要求1所述的预测图像校正装置，其中，
所述校正部使用所述已解码相邻块对所述预测图像进行滤波处理来作为所述校正处理。


3.根据权利要求1所述的预测图像校正装置，其中，
所述预测部包括生成帧间预测图像作为所述预测图像的帧间预测部，
所述校正部包括：
帧内预测部，使用所述已解码相邻块生成与所述对象图像块对应的帧内预测图像；以及
预测图像校正部，进行所述帧间预测图像和所述帧内预测图像的加权平均处理来作为所述校正处理。


4.根据权利要求1至3中任一项所述的预测图像校正装置，
其中，所述校正部包括判定部，
所述判定部，
在由所述预测精度评价部评价的所述预测精度为第一阈值以下的情况下，判定为进行所述校正处理，
在由所述预测精度评价部评价的所述预测精度超过所述第一阈值的情况下，判定为不进行所述校正处理。


5.根据权利要求1至3中任一项所述的预测图像校正装置，其中，
评价所述预测精度包括评价所述预测图像的预测不恰当性，
所述校正部包括判定部，
所述判定部，
在由所述预测精度评价部评价的、所述预测图像的预测不恰当性高的情况下，判定为进行所述校正处理，
在由所述预测精度评价部评价的、所述预测图像的预测不恰当性低的情况下，判定为不进行所述校正处...

【专利技术属性】
技术研发人员：岩村俊辅，市谷敦郎，根本慎平，
申请(专利权)人：日本放送协会，
类型：发明
国别省市：日本;JP