图像滤波装置、图像解码装置以及图像编码装置制造方法及图纸

本发明专利技术对输入图像数据应用与图像特性对应的滤波器。本发明专利技术在CNN滤波器(107)具备神经网络，该神经网络被输入将亮度或色差作为像素值的一个或多个第一种输入图像数据，以及将与用于生成预测图像和差分图像的参考参数对应的值作为像素值的一个或多个第二种输入图像数据，输出将亮度或色差作为像素值的一个或多个第一种输出图像数据。

An image filtering device, an image decoding device and an image encoding device

【技术实现步骤摘要】
【国外来华专利技术】图像滤波装置、图像解码装置以及图像编码装置
本专利技术的一个方案涉及一种图像滤波装置、图像解码装置以及图像编码装置。
技术介绍
为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。作为具体的运动图像编码方式，例如可列举出在H.264/AVC、HEVC(High-EfficiencyVideoCoding：高效运动图像编码)中提出的方式等。在这种运动图像编码方式中，构成运动图像的图像(图片)由包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：CodingTreeUnit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(CodingUnit：CU))以及通过分割编码单位而得到的块即由预测单元(PU)、变换单元(TU)组成的分级结构来管理，并按每个CU进行编码/解码。此外，在这种运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。此外，作为近年来的运动图像编码和解码的技术，可列举非专利文献1。此外，作为称为Variable-filter-sizeResidue-learningCNN(VRCNN)的使用神经网络的技术，可列举非专利文献2。现有技术文献非专利文献非专利文献1：“AlgorithmDescriptionofJointExplorationTestModel6”，JVET-F1001，JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11，31March-7April2017非专利文献2：“AConvolutionalNeuralNetworkApproachforPost-ProcessinginHEVCIntraCoding”
技术实现思路
专利技术要解决的问题然而，使用了上述神经网络的滤波技术仅根据量化参数切换整个网络，存在应用与输入图像数据的特性对应的滤波器的情况下网络规模变大这一问题。此外，存在无法应用适合每个区域的编码的滤波器这一问题。本专利技术是鉴于上述问题而完成的，其目的在于，实现与以往的构成相比，对于输入图像数据抑制其网络规模的同时实现与图像特性对应的滤波器的应用。技术方案为了解决上述的问题，本专利技术的图像滤波装置具备神经网络，该神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像和差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。为了解决上述的问题，本专利技术的图像滤波装置具备：多个专用神经网络；以及公共神经网络，上述专用神经网络根据向该图像滤波装置输入的输入图像数据的滤波参数值选择性地作用于该输入图像数据，上述公共神经网络与上述滤波参数值无关地共同作用于上述专用神经网络的输出图像数据。为了解决上述的问题，本专利技术的图像滤波装置具备：多个专用神经网络；以及公共神经网络，上述公共神经网络作用于向该图像滤波装置输入的输入图像数据，上述专用神经网络根据上述输入图像数据的滤波参数值选择性地作用于上述公共神经网络的输出图像数据。有益效果与以往的构成相比，能对输入图像数据应用与图像特性对应的滤波器。附图说明图1是表示本实施方式的编码流的数据的分级结构的图。图2是表示PU分割模式的图案的图。图2的(a)～(h)分别示出了PU分割模式为2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N的情况下的分区形状。图3是表示参考图片和参考图片列表的一个示例的概念图。图4是表示第一实施方式的图像编码装置的构成的框图。图5是表示第一实施方式的图像解码装置的构成的概略图。图6是表示实施方式的图像编码装置的帧间预测图像生成部的构成的概略图。图7是表示本实施方式的图像解码装置的帧间预测图像生成部的构成的概略图。图8是表示第一实施方式的图像滤波装置的输入输出的一个示例的概念图。图9是表示第一实施方式的图像滤波装置的构成的概略图。图10是表示第一实施方式的图像滤波装置的构成的变形例的概略图。图11是用于说明量化参数的一个示例的图。图12是用于说明预测参数的一个示例的图。图13是用于说明帧内预测的一个示例的图。图14是用于说明帧内预测参数的一个示例的图。图15是用于说明分割深度信息的一个示例的图。图16是用于说明分割深度信息的另一个示例的图。图17是用于说明预测参数的另一个示例的图。图18是表示第二实施方式的图像滤波装置的构成的概略图。图19是表示第三实施方式的图像滤波装置的一个示例的概念图。图20是表示第三实施方式的图像滤波装置的构成的概略图。图21是表示第三实施方式的图像滤波装置的构成的变形例的概略图。图22是表示第四实施方式的图像滤波装置的一个示例的概念图。图23是表示第四实施方式的图像滤波装置的一个示例的变形例的概念图。图24是表示第五实施方式的图像滤波装置的一个示例的概念图。图25是表示第六实施方式的图像滤波装置的变形例的概念图。图26是表示第七实施方式的图像编码装置的构成的框图。图27是表示本实施方式的图像滤波装置的构成的概略图。图28是表示本实施方式的图像滤波装置的参数的更新的一个示例的概念图。图29是表示传输参数的数据结构的图。图30是表示第七实施方式的图像解码装置的构成的框图。图31是表示搭载有本实施方式的图像编码装置的发送装置和搭载有图像解码装置的接收装置的构成的图。图31的(a)表示搭载有图像编码装置的发送装置，图31的(b)表示搭载有图像解码装置的接收装置。图32是表示搭载有本实施方式的图像编码装置的记录装置和搭载有图像解码装置的再现装置的构成的图。图32的(a)表示搭载有图像编码装置的记录装置，图32的(b)表示搭载有图像解码装置的再现装置。图33是表示本实施方式的图像传输系统的构成的概略图。图34是表示第一实施方式的图像滤波装置的输入输出的另一个示例的概念图。具体实施方式(第一实施方式)以下，参照附图对本专利技术的实施方式进行说明。图33是表示本实施方式的图像传输系统1的构成的概略图。图像传输系统本文档来自技高网...

【技术保护点】
1.一种图像滤波装置，其特征在于，/n在图像滤波装置中具备神经网络，/n所述神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像或差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。/n

【技术特征摘要】
【国外来华专利技术】20170810 JP 2017-155903;20180320 JP 2018-0532261.一种图像滤波装置，其特征在于，
在图像滤波装置中具备神经网络，
所述神经网络被输入一个或多个第一种输入图像数据以及一个或多个第二种输入图像数据，输出一个或多个第一种输出图像数据，所述一个或多个第一种输入图像数据将亮度或色差作为像素值，所述一个或多个第二种输入图像数据将与用于生成预测图像或差分图像的参考参数对应的值作为像素值，所述一个或多个第一种输出图像数据将亮度或色差作为像素值。


2.根据权利要求1所述的图像滤波装置，其特征在于，
还具备更新上述神经网络所使用的神经网络参数的参数确定部。


3.根据权利要求1或2所述的图像滤波装置，其特征在于，
上述参考参数中包括所述图像滤波装置发挥作用的图像的量化参数。


4.根据权利要求1～3中任一项所述的图像滤波装置，其特征在于，
上述参考参数中包括表示所述图像滤波装置发挥作用的图像的帧内预测和帧间预测的类别的参数。


5.根据权利要求1～4中任一项所述的图像滤波装置，其特征在于，
上述参考参数中包括表示所述图像滤波装置发挥作用的图像的帧内预测方向的参数，即帧内预测模式。


6.根据权利要求1～5中任一项所述的图像滤波装置，其特征在于，
上述参考参数中包括表示所述图像滤波装置发挥作用的图像的分区的分割深度的参数。


7.根据权利要求1～6中任一项所述的图像滤波装置，其特征在于，
上述参考参数中包括所述图像滤波装置发挥作用的图像的分区的大小的参数。


8.根据权利要求1～7中任一项所述的图像滤波装置，其特征在于，
具备将输入上述神经网络的上述第一种输入图像数据作为输出图像的第二神经网络。


9.根据权利要求1～8中任一项所述的图像滤波装置，其特征在于，
上述神经网络以将第一色差和第二色差作为像素值的上述第一种输入图像数据和上述第二种输入图像数据为输入，输出将第一色差和第二色差作为像素值的第一种输出图像数据。


10.根据权利要求1～8中任一项所述的图像滤波装置，其特征在于，
上...

【专利技术属性】
技术研发人员：猪饲知宏，山本智幸，伊藤典男，德毛靖昭，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP