运动图像解码装置、运动图像编码装置、以及预测图像生成装置制造方法及图纸

本发明专利技术提供一种预测图像生成装置，其通过对多个参照图像进行运动补偿来生成预测图像，其具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像。运动补偿部(3091)具备使用了双预测梯度变化(BIO：Bi‑directionalopticalflow)预测的运动补偿功能，该运动补偿部(3091)参照水平梯度图像和垂直梯度图像的各像素值，推导梯度校正项。运动补偿部具备梯度校正双预测推导部(30913)，所述梯度校正双预测推导部(30913)进一步具备帧间距离权重推导部(309131)，所述帧间距离权重推导部(309131)根据作为预测对象的对象图像与所述第一参照图像的图片间隔即第一图片间隔以及该对象图像与所述第二参照图像的图片间隔即第二图片间隔，确定与各像素值相乘的各权重系数。

【技术实现步骤摘要】
【国外来华专利技术】运动图像解码装置、运动图像编码装置、以及预测图像生成装置
本专利技术的一实施方式涉及一种运动图像解码装置、运动图像编码装置、以及预测图像生成装置。
技术介绍
为了有效率地传输或记录运动图像，使用有通过对运动图像进行编码而生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。作为具体的运动图像编码方式，例如可列举在H.264/MPEG-4.AVC、HEVC(High-EfficiencyVideoCoding：高效视频编码)中提出的方式等。在这种运动图像编码方式中，构成运动图像的图像(图片)通过由通过对图像进行分割而获得的切片(slice)、通过对切片进行分割而获得的编码单位(有时也称为编码单元(CodingUnit))、以及作为通过对编码单位进行分割而获得的块(block)的预测单元(PU)、变换单元(TU)形成的分级结构进行管理，并按块进行编码、解码。此外，在这种运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而获得的局部解码图像生成预测图像，并对从输入图像(原图像)减去该预测图像而获得的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。此外，作为近年来的运动图像编码以及解码的技术，可列举非专利文献1。现有技术文献非专利文献非专利文献1：Video/JVET，“AlgorithmDescriptionofJointExplorationTestModel1(JEM1)”，INTERNATIONALORGANIZATIONFORSTANDARDIZATIONORGANISATIONINTERNATIONALEDENORMALISATIONISO/IECJTC1/SC29/WG11CODINGOFMOVINGPICTURESANDAUDIO，ISO/IECJTC1/SC29/WG11/N15790，October2015，Geneva，CH.
技术实现思路
专利技术要解决的问题在近年来的运动图像编码以及解码技术中，应用有如下的技术：在生成预测图像时的运动补偿处理中，通过利用基于对象图像和两个参照图像的双预测进行的运动补偿，来推导预测图像。作为提高该通过运动补偿推导的预测图像的精度的技术，在非专利文献1中已知利用梯度信息进行校正的BIO，但该技术存在尚有进一步提高精度的余地的课题。本专利技术的一实施方式提供一种能够提高通过运动补偿推导的预测图像的精度的图像解码装置。技术方案为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部根据作为预测对象的对象图像与上述第一参照图像的图片间隔、以及该对象图像与上述第二参照图像的图片间隔，推导与上述第一参照图像的各像素的像素值相乘的第一权重系数以及与上述第二参照图像的各像素的像素值相乘的第二权重系数。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，与上述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与上述第一参照图像的图片间隔即第一图片间隔以及该对象图像与上述第二参照图像的图片间隔即第二图片间隔而确定。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，在规定的标志为第一值的情况下，与上述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与上述第一参照图像的图片间隔即第一图片间隔以及该对象图像与上述第二参照图像的图片间隔即第二图片间隔而确定，在规定的标志为第二值的情况下，与上述第一至第四梯度图像的各像素值相乘的各权重系数为相互相等的值。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，与上述第一至第四梯度图像的各像素值相乘的各权重系数按块进行确定。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，上述预测图像生成部具备对在推导各梯度图像时使用的梯度滤波进行切换的第一切换部。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，上述预测图像生成部具备对与上述第一至第四梯度图像的各像素值相乘的各权重系数进行剪辑处理的剪辑部。此外，为了解决上述的课题，本专利技术的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图本文档来自技高网...

【技术保护点】
1.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部根据作为预测对象的对象图像与所述第一参照图像的图片间隔、以及所述对象图像与所述第二参照图像的图片间隔，来推导与所述第一参照图像的各像素的像素值相乘的第一权重系数以及与所述第二参照图像的各像素的像素值相乘的第二权重系数。

【技术特征摘要】
【国外来华专利技术】2016.02.03 JP 2016-0193541.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部根据作为预测对象的对象图像与所述第一参照图像的图片间隔、以及所述对象图像与所述第二参照图像的图片间隔，来推导与所述第一参照图像的各像素的像素值相乘的第一权重系数以及与所述第二参照图像的各像素的像素值相乘的第二权重系数。2.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部参照表示所述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示所述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示所述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示所述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导所述梯度校正项，与所述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与所述第一参照图像的图片间隔即第一图片间隔以及所述对象图像与所述第二参照图像的图片间隔即第二图片间隔而确定。3.根据权利要求2所述的预测图像生成装置，其特征在于，所述预测图像生成部以在所述第一图片间隔与所述第二图片间隔的比为规定的范围外的情况下，以所述第一图片间隔与所述第二图片间隔的比成为所述规定的范围的方式，对所述第一图片间隔以及所述第二图片间隔进行规定的处理，根据进行过所述规定的处理的所述第一图片间隔以及所述第二图片间隔，确定与所述第一至第四梯度图像的各像素值相乘的各权重系数。4.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部参照表示所述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示所述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示所述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示所述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导所述梯度校正项，在规定的标志为第一值的情况下，与所述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与所述第一参照图像的图片间隔即第一图片间隔以及所述对象图像与所述第二参照图像的图片间隔即第二图片间隔而确定，在规定的标志为第二值的情况下，与所述第一至第四梯度图像的各像素值相乘的各权重系数为相互相等的值。5.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部参照表示所述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示所述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示所述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示所述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导所述梯度校正项，与所述第一至第四梯度图像的各像素值相乘的各权重系数按块进行确定。6.根据权利要求5所述的预测图像生成装置，其特征在于，所述预测图像生成部通过对按块确定的各权重系数应用规定的滤波，来推导按像素的各权重系数。7.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部参照表示所述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示所述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示所述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示所述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导所述梯度校正项，所述预测图像生成部具备对在推导各梯度图像时使用的梯度滤波进行切换的第一切换部。8.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部根据所述参照图像的分辨率，切换所述梯度滤波。9.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部根据包含对象像素的块的尺寸，切换所述梯度滤波。10.根据权利要求7或8所述的预测图像生成装置，其特征在于，所述第一切换部根据帧速率，切换所述梯度滤波。11.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部根据对象块的运动矢量与所述对象块的预测运动矢量的差，切换所述梯度滤波。12.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部根据包含对象块的所述预测图像与所述第一参照图像以及所述第二参照图像中的至少任一个之间的图片间距离，切换所述梯度滤波。13.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部根据量化系数或量化步长，切换所述梯度滤波。14.根据权利要求7所述的预测图像生成装置，其特征在于，所述第一切换部参照标志，切换所述梯度滤波。15.一种预测图像生成装置，通过对多个参照图像进行运动补偿来生成预测图像，其特征在于，具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，所述预测图像生成部参照表示所述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示所述第一参...

【专利技术属性】
技术研发人员：猪饲知宏，山本智幸，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本,JP