编码和解码程序、编码和解码设备、编码和解码方法技术

提供了一种编码和解码程序、编码和解码设备、编码和解码方法。一种存储介质，其存储使处理器执行处理的程序，所述处理包括：根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理；获取在对要处理的输入图像进行编码时在量化处理中使用的量化参数、包括在量化处理中出现的量化误差的信号和包括在画面内预测或画面间预测中出现的预测误差的图像；以及获取通过将量化参数、包括量化误差的信号和包括预测误差的图像分别输入至已经学习了所生成的编码失真的滤波器单元而由滤波器单元推理出的编码失真；对用于学习的输入图像进行编码。

【技术实现步骤摘要】
编码和解码程序、编码和解码设备、编码和解码方法
本文讨论的实施方式涉及编码程序(存储介质)、解码程序、编码设备、解码设备、编码方法和解码方法。
技术介绍
在作为用于运动图像数据的压缩编码的下一代国际标准的通用视频编码(VVC)标准中，已经研究了能够推理参考图像中包括的编码失真的人工智能(AI)滤波器作为环路滤波器的应用。例如，相关技术包括国际公开小册子第WO2016/199330号。
技术实现思路
然而，通过环路滤波器处理的参考图像是通过对由画面内预测或画面间预测生成的预测图像加上预测残差(通过对预测图像与输入图像之间的差执行量化处理、逆量化处理等而获得的预测残差)而生成的。因此，在参考图像中，在画面内预测或画面间预测中出现的“预测误差”和在量化处理中出现的“量化误差”两者被混合。结果，在已经通过使用参考图像作为输入而被学习的AI滤波器的情况下，假定可能无法获得足够的滤波器性能的情况。在一个方面，本公开内容的目的是提高环路滤波器的滤波器性能。根据实施方式的一方面，一种存储程序的非暂态计算机可读存储介质，所述程序使计算机中包括的处理器执行处理，所述处理包括：通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对要处理的输入图像进行编码；获取在对要处理的输入图像进行编码时在量化处理中使用的量化参数、包括在量化处理中出现的量化误差的信号和包括在画面内预测或画面间预测中出现的预测误差的图像；以及获取通过将所获取的量化参数、所获取的包括量化误差的信号和所获取的包括预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的滤波器单元而由滤波器单元推理出的编码失真。附图说明图1是示出图像处理系统的系统配置的示例的图；图2是示出学习设备、编码设备和解码设备的硬件配置的示例的图；图3是示出学习设备中的学习数据生成单元的功能配置和所生成的学习数据的示例的图；图4是示出学习设备中的学习单元的功能配置的示例的图；图5是示出由学习设备执行的学习处理的流程的流程图；图6是示出编码设备中的编码单元的功能配置的示例的图；图7是示出编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；图8是示出了由编码设备中的NN滤波器单元进行的滤波处理的流程的流程图；图9是示出比较示例的编码设备中的编码单元的功能配置的示例的图；图10是示出比较示例的编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；图11是示出比较示例的编码设备中的量化误差和预测误差的图；图12是示出编码设备中的量化误差和预测误差的图；图13是示出解码设备中的解码单元的功能配置的示例的图；图14是示出解码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；以及图15是示出由解码设备中的NN滤波器单元进行的滤波处理的流程的流程图。具体实施方式在下文中，参照附图描述各实施方式。在本说明书和附图中，具有基本上相同的功能配置的部件被分配相同的附图标记，并且省略重复的描述。[实施方式]<图像处理系统的系统配置>首先，将描述图像处理系统的系统配置。图1是示出图像处理系统的系统配置的示例的图。如图1所示，图像处理系统100包括学习设备110、编码设备120和解码设备130。学习设备110是生成经学习的卷积神经网络滤波器(CNNF)的设备，经学习的卷积神经网络滤波器是安装在编码设备120和解码设备130的环路滤波器单元上的AI滤波器的示例。学习设备110中安装有学习程序，并且学习设备110通过执行该程序而用作学习数据生成单元111和学习单元112。学习数据生成单元111生成用于CNNF学习的学习数据。由学习数据生成单元111生成的学习数据被存储在学习数据存储单元113中。学习单元112通过使用存储在学习数据存储单元113中的学习数据对CNNF执行学习处理并且生成经学习的CNNF。由学习单元112生成的经学习的CNNF被传输至编码设备120(或被传输至编码设备120和解码设备130)。编码设备120是对图像数据进行编码并且生成编码数据的设备。编码设备120中安装有编码程序，并且通过执行该程序，编码设备120用作图像数据获取单元121、编码单元122和编码数据输出单元123。图像数据获取单元121获取要编码的图像数据。编码单元122对由图像数据获取单元121获取的图像数据进行编码并且生成编码数据。编码单元122在生成编码数据时使用经学习的CNNF。编码数据输出单元123将由编码单元122生成的编码数据传输至解码设备130。当传输编码数据时，编码数据输出单元123还传输量化参数。当传输编码数据和量化参数时，编码数据输出单元123可以传输用于生成编码数据的经学习的CNNF。解码设备130是接收编码数据并且对所接收的编码数据进行解码以输出图像数据的设备。解码设备130中安装有解码程序，并且解码设备130通过执行该程序而用作编码数据输入单元131、解码单元132和图像数据输出单元133。编码数据输入单元131从编码设备120接收编码数据和量化参数。解码单元132对从编码设备120接收的编码数据进行解码并且生成图像数据。当对编码数据进行解码时，解码单元132使用从编码设备120接收的量化参数和从学习设备110(或编码设备120)传输的经学习的CNNF。图像数据输出单元133输出由解码单元132生成的图像数据。<每个设备的硬件配置>接下来，将描述学习设备110、编码设备120和解码设备130中的每一个的硬件配置。在本实施方式中，假设学习设备110、编码设备120和解码设备130中的每一个具有相同的硬件配置。图2是示出学习设备、编码设备和解码设备的硬件配置的示例的图。如图2所示，每个设备包括中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203。CPU201、ROM202和RAM203形成所谓的计算机。每个设备包括辅助存储设备204、显示设备205、操作设备206、通信设备207和驱动设备208。每个设备中的每个硬件经由总线209相互耦接。CPU201是执行安装在辅助存储设备204中的各种程序(例如，学习程序、编码程序、解码程序等)的运算设备。ROM202是非易失性存储器。ROM202用作存储用于CPU201执行安装在辅助存储设备204中的各种程序的各种程序、数据等的主存储设备。例如，ROM202用作存储引导程序例如基本输入/输出系统(BIOS)、可扩展固件接口(EFI)等的主存储设备。RAM203是易失性存储器，例如动态随机存取存储器(DRAM本文档来自技高网...

【技术保护点】
1.一种存储程序的非暂态计算机可读存储介质，所述程序使包括在计算机中的处理器执行处理，所述处理包括：/n通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对所述要处理的输入图像进行编码；/n获取在对所述要处理的输入图像进行编码时在所述量化处理中使用的量化参数、包括在所述量化处理中出现的量化误差的信号和包括在所述画面内预测或所述画面间预测中出现的预测误差的图像；以及/n获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的滤波器单元而由所述滤波器单元推理出的编码失真。/n

【技术特征摘要】
20190530 JP 2019-1016291.一种存储程序的非暂态计算机可读存储介质，所述程序使包括在计算机中的处理器执行处理，所述处理包括：
通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对所述要处理的输入图像进行编码；
获取在对所述要处理的输入图像进行编码时在所述量化处理中使用的量化参数、包括在所述量化处理中出现的量化误差的信号和包括在所述画面内预测或所述画面间预测中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的滤波器单元而由所述滤波器单元推理出的编码失真。


2.根据权利要求1所述的非暂态计算机可读存储介质，其中，
包括在所述量化处理中出现的量化误差的信号是通过对所述量化处理的结果执行逆量化处理和逆正交变换处理而获得的信号，以及
包括所述预测误差的图像是通过所述画面内预测或所述画面间预测生成的预测图像。


3.根据权利要求2所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将通过执行所述逆正交变换处理而获得的所述信号与所述预测图像相加来生成参考图像；以及
通过将通过分别将所获取的量化参数、通过执行所述逆正交变换处理而获得的所述信号和所述预测图像输入至所述滤波器单元而推理出的所述编码失真添加至所生成的参考图像来输出第一滤波后的参考图像。


4.根据权利要求3所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将所生成的参考图像输入至另一滤波器单元来输出第二滤波后的参考图像；以及
输出所述第一滤波后的参考图像和所述第二滤波后的参考图像中的率失真较小的一者作为最终滤波后的参考图像。


5.根据权利要求4所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过使用当对所述用于学习的输入图像进行编码时获得的学习数据进行学习来生成的。


6.根据权利要求5所述的非暂态计算机可读存储介质，其中，
所述学习数据包括：
通过画面内预测或画面间预测而生成的预测图像，
在对根据所述预测图像与所述用于学习的输入图像之间的差计算出的预测残差执行正交变换处理和量化处理时使用的量化参数，
通过对所述量化处理的结果执行逆量化处理和逆正交变换处理而获得的信号，以及
所述用于学习的输入图像。


7.根据权利要求6所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过执行学习使得通过将所述预测图像和所述信号与当所述学习数据中包括的所述预测图像、所述量化参数和所述信号被输入时的输出相加而获得的相加结果接近所述学习数据中包括的所述用于学习的输入图像来生成的。


8.一种存储程序的非暂态计算机可读存储介质，所述程序使包括在计算机中的处理器执行处理，所述处理包括：
通过将通过对量化信号执行逆量化处理和逆正交变换处理而获得的信号与通过执行画面内预测或运动补偿而获得的预测图像相加并且执行滤波处理，来对编码数据进行解码，所述量化信号通过对所述编码数据执行熵解码而获得；
获取在对所述编码数据进行解码时的量化参数、包括量化误差的信号和包括在所述画面内预测或所述运动补偿中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的滤波器单元而由所述滤波器单元推理出的编码失真。


9.根据权利要求8所述的非暂态计算机可读存储介质，其中，
包括所述量化误差的信号是通过对所述量化信号执行逆量化处理和逆正交变换处理而获得的信号，以及
包括所述预测误差的图像是通过所述画面内预测或所述运动补偿生成的预测图像。


10.根据权利要求9所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将通过执行所述逆正交变换处理而获得的所述信号与所述预测图像相加来生成参考图像；以及
通...

【专利技术属性】
技术研发人员：片山健太朗，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP