用于编码/解码图像的方法及其装置制造方法及图纸

提供了一种对图像进行编码的方法，所述方法包括以下步骤：确定在对图像进行压缩时图像的主观质量；确定指示图像被压缩程度的压缩度中改变主观质量的至少一个压缩度；以及通过基于根据所确定的压缩度的压缩信息压缩图像的残留信号来对图像进行编码，其中通过使用深度神经网络(DNN)来确定每一帧的主观质量。提供了一种图像解码方法和图像解码设备，用于通过使用根据图像编码方法编码的信息来执行用于对图像进行解码的图像解码方法。

Method and device for encoding / decoding image

【技术实现步骤摘要】
【国外来华专利技术】用于编码/解码图像的方法及其装置
本公开涉及一种用于在图像编码或图像解码过程中有效地执行预测的方法和设备。
技术介绍
可以对图像编码过程中使用的残留样本进行变换和量化，并且可以通过使用经历了变换和量化过程然后被逆变换和逆量化的信号来执行恢复过程。因此，可以将恢复的信号作为可在解码过程中使用的样本值存储在缓冲器中。
技术实现思路
技术问题根据变换和量化过程，当对已经从空间域变换到频域的信号进行量化时，可能会出现误差，并且基于所述误差进行解码的图像的质量可能会劣化。另外，当对大量数据进行编码以减少质量劣化时，图像的压缩效率可能会下降。问题的解决方案根据实施例，提供了一种对图像进行编码的方法，所述方法包括：确定在对图像进行压缩时图像的主观质量；确定指示图像被压缩程度的压缩度中改变主观质量的至少一个压缩度；以及通过根据在基于所述至少一个压缩度执行的图像压缩过程中使用的压缩信息压缩图像的残留信号来对图像进行编码，其中，通过使用深度神经网络(DNN)来确定图像中所包括的每一帧的主观质量。根据实施例，提供了一种对图像进行解码的方法，所述方法包括：从比特流获取在基于至少一个压缩度执行的图像压缩过程中使用的压缩信息；基于压缩信息，从自动编码器获取残留信号；以及通过使用所获取的残留信号对图像进行解码，其中，所述至少一个压缩度是改变通过使用DNN获取的主观质量的压缩度中的至少一者。根据实施例，提供了一种图像解码设备，其包括：获取器，所述获取器被配置成从比特流获取在基于至少一个压缩度执行的图像压缩过程中使用的压缩信息；以及解码器，所述解码器被配置成基于压缩信息从自动编码器获取残留信号，并且通过使用所获取的残留信号对图像进行解码，其中，所述至少一个压缩度是改变通过使用DNN获取的主观质量的压缩度中的至少一者。本公开的有益效果根据实施例，通过使用深度神经网络(DNN)来执行图像编码或图像解码过程，使得可以提高图像的编码或解码效率。附图说明图1a是根据实施例的用于通过使用深度神经网络(DNN)对图像进行编码的图像编码设备的框图。图1b是根据实施例的用于通过使用DNN对图像进行解码的图像解码设备的框图。图2a是根据实施例的由图像编码设备执行的基于主观质量的拐点对图像进行编码的方法的流程图。图2b是根据实施例的由图像解码设备执行的基于主观质量的拐点对图像进行解码的方法的流程图。图3示出了根据实施例的图像的客观质量和主观质量在图像压缩过程中变得不同。图4a示出了根据实施例的可由图像编码设备用来确定图像的主观质量的深度卷积神经网络。图4b示出了根据实施例的图像编码设备的深度卷积神经网络，所述深度卷积神经网络使用与原始信号相关联的各种类型的信息来确定图像的主观质量。图5a是用于描述根据实施例的编码器中所包括的自动编码器的操作的框图。图5b是用于描述根据实施例的自动编码器的布局架构的图。图5c至图5h是示出卷积神经网络(CNN)的各种架构的图。图6a是根据实施例的通过使用自动编码器对图像进行编码和解码的编码器的框图。图6b是根据实施例的通过使用自动编码器对图像进行解码的解码器的框图。图7a示出了根据实施例的可以由编码器对自动编码器的输入和输出执行的预处理和后处理过程。图7b示出了根据实施例的将由解码器对自动编码器的输出执行的后处理过程。图8示出了根据实施例的由预处理器或后处理器执行的预处理或后处理的结果。图9是用于描述根据实施例的残留信号的特性的图，所述特性可由编码器或解码器增大或减小。图10示出了根据实施例的通过分割当前编码单元来确定至少一个编码单元的过程。图11示出了根据实施例的通过分割非正方形编码单元来确定至少一个编码单元的过程。图12示出了根据实施例的基于块形状信息和分割形状信息中的至少一者来分割编码单元的过程。图13示出了根据实施例的从奇数个编码单元中确定预定编码单元的方法。图14示出了根据实施例的当通过分割当前编码单元来确定多个编码单元时处理多个编码单元的次序。图15示出了根据实施例的当编码单元不能以预定次序处理时确定当前编码单元将被分割成奇数个编码单元的过程。图16示出了根据实施例的通过分割第一编码单元来确定至少一个编码单元的过程。图17示出了根据实施例，当通过分割第一编码单元来确定的具有非正方形形状的第二编码单元满足预定条件时，第二编码单元能分割成的形状受到限制。图18示出了根据实施例的当分割形状信息指示正方形编码单元将不被分割成四个正方形编码单元时分割正方形编码单元的过程。图19示出了根据实施例，多个编码单元之间的处理次序可以根据分割编码单元的过程而改变。图20示出了根据实施例的当编码单元被递归分割以确定多个编码单元时随着编码单元的形状和尺寸的改变来确定编码单元的深度的过程。图21示出了根据实施例的能够基于编码单元的形状和尺寸确定的深度以及用于区分编码单元的部分索引(PID)。图22示出了根据实施例，基于图片中所包括的多个预定数据单元来确定多个编码单元。图23示出了根据实施例的用作用于确定图片中所包括的参考编码单元的确定次序的单元的处理块。最优实施方式根据实施例，提供了一种对图像进行编码的方法，所述方法包括：确定在对图像进行压缩时图像的主观质量；确定指示图像被压缩程度的压缩度中改变主观质量的至少一个压缩度；以及通过根据在基于所述至少一个压缩度执行的图像压缩过程中使用的压缩信息压缩图像的残留信号来对图像进行编码，其中，通过使用深度神经网络(DNN)来确定图像中所包括的每一帧的主观质量。确定主观质量可以包括基于机器学习结果来确定主观质量，机器学习结果通过使用了多个层的DNN来获取。确定主观质量可以包括：通过针对多个层中的每一层使用至少一个滤波核来确定至少一个卷积图像；以及对所述至少一个卷积图像执行池化。确定主观质量可以包括：通过使用与帧相关联的样本值、直方图和运动信息中的至少一者来确定针对帧的主观质量。对图像进行编码可以包括：当根据所述至少一个压缩度对图像进行压缩时，通过使用包括压缩图像的量化参数的压缩信息来压缩图像的残留信号；以及生成包括压缩残留信号的比特流。压缩图像的残留信号可以包括：将残留信号输入到自动编码器；以及从在压缩和解压缩过程中共用的隐藏层获取压缩残留信号，所述隐藏层来自自动编码器中所包括的至少一个隐藏层。获取压缩残留信号可以包括：基于压缩信息，确定在压缩过程和解压缩过程中共用的隐藏层的节点数；以及从具有所确定节点数的隐藏层获取压缩残留信号。输入残留信号可以包括：对残留信号的幅度和分布执行预处理；以及将预处理过的残留信号输入到自动编码器。所述方法还可以包括生成包括指示预处理的信息的比特流。根据实施例，提供了一种对图像进行解码的方法，所述方法包括：从比本文档来自技高网...

【技术保护点】
1.一种对图像进行编码的方法，所述方法包括：/n确定在对所述图像进行压缩时所述图像的主观质量；/n确定指示所述图像被压缩程度的压缩度中改变所述主观质量的至少一个压缩度；以及/n通过压缩所述图像的残留信号对所述图像进行编码，其中，压缩所述图像的残留信号是基于根据所确定的压缩度的压缩信息进行的，/n其中，通过使用深度神经网络(DNN)来确定每一帧的主观质量。/n

【技术特征摘要】
【国外来华专利技术】20170706 KR PCT/KR2017/0072671.一种对图像进行编码的方法，所述方法包括：
确定在对所述图像进行压缩时所述图像的主观质量；
确定指示所述图像被压缩程度的压缩度中改变所述主观质量的至少一个压缩度；以及
通过压缩所述图像的残留信号对所述图像进行编码，其中，压缩所述图像的残留信号是基于根据所确定的压缩度的压缩信息进行的，
其中，通过使用深度神经网络(DNN)来确定每一帧的主观质量。


2.如权利要求1所述的方法，其中，确定所述主观质量包括：基于机器学习结果来确定所述主观质量，所述机器学习结果通过使用了多个层的DNN来获取。


3.如权利要求2所述的方法，其中，确定所述主观质量包括：
通过针对所述多个层中的每一层使用至少一个滤波核来确定至少一个卷积图像；以及
对所述至少一个卷积图像执行池化。


4.如权利要求1所述的方法，其中，确定所述主观质量包括：通过使用与所述帧相关联的样本值、直方图和运动信息中的至少一者来确定针对所述帧的主观质量。


5.如权利要求1所述的方法，其中，对所述图像进行编码包括：
当根据所述至少一个压缩度对所述图像进行压缩时，通过使用包括所压缩图像的量化参数的所述压缩信息来压缩所述图像的残留信号；以及
生成包括经压缩的残留信号的比特流。


6.如权利要求5所述的方法，其中，压缩所述图像的残留信号包括：
将所述残留信号输入到自动编码器；以及
从在压缩过程和解压缩过程中共用的隐藏层获取所述经压缩的残留信号，所述隐藏层来自所述自动编码器中所包括的至少一个隐藏层。


7.如权利要求6所述的方法，其中，所述自动编码器是被设计成通过使用第一损失和第二损失之和进行训练的网络，
所述第一损失是通过经由所述自动编码器对所述残留信号进行压缩和解压缩来计算的，以及
所述第二损失是通过集中由所述自动编码器压缩的所述残留信号的信号分布来计算的。


8.如权利要求6所述的方法，其中，获取所述经压缩的残留信号包括：...

【专利技术属性】
技术研发人员：全善暎，金载丸，朴永五，朴正辉，李钟硕，崔光杓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR