图像编码方法、图像解码方法及相关装置制造方法及图纸

本申请实施例公开了一种图像编码方法、图像解码方法及相关装置，图像解码方法包括：获取当前编码块的原始残差块，当前编码块包括当前处理的视频帧或者划分当前处理的视频帧而得到的编码单元；根据原始残差块和预先训练好的特征预测模型，得到当前编码块的变换特征；对当前编码块的变换特征进行量化，得到当前编码块的量化特征；通过预先训练好的概率预测模型，确定当前编码块的量化特征中每个像素的概率；利用每个像素的概率生成当前编码块的二进制码流。本申请实施例实现自适应的动态残差补偿，能有效地编码不同形式的帧间残差信息。能有效地编码不同形式的帧间残差信息。能有效地编码不同形式的帧间残差信息。

【技术实现步骤摘要】
图像编码方法、图像解码方法及相关装置


[0001]本申请涉及电子设备
，具体涉及一种图像编码方法、图像解码方法及相关装置。

技术介绍

[0002]数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(personal digital assistant，PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。
[0003]数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(advanced video coding，AVC)、ITU-TH.265高效率视频编解码(high efficiency video coding，HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而更高效地发射及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。
[0004]随着互联网视频的激增，尽管数字视频压缩技术不断演进，但仍然对视频压缩比提出更高要求。

技术实现思路

[0005]本申请实施例提供了一种图像编码方法、图像解码方法及相关装置，以期实现自适应的动态残差补偿，能有效地编码不同形式的帧间残差信息。
[0006]第一方面，本申请实施例提供一种图像编码方法，包括：
[0007]获取当前编码块的原始残差块，所述当前编码块包括当前处理的视频帧或者划分所述当前处理的视频帧而得到的编码单元；
[0008]根据所述原始残差块和预先训练好的特征预测模型，得到所述当前编码块的变换特征；
[0009]对所述当前编码块的变换特征进行量化，得到所述当前编码块的量化特征；
[0010]通过预先训练好的概率预测模型，确定所述当前编码块的量化特征中每个像素的概率；
[0011]利用所述每个像素的概率生成所述当前编码块的二进制码流。
[0012]相比于现有技术，本申请方案对当前预测帧进行自适应的动态残差补偿并得到最终的帧间重建，能有效地编码不同形式的帧间残差信息。
[0013]第二方面，本申请实施例提供一种图像解码方法，包括：
[0014]获取当前解码块的二进制码流，所述当前解码块包括当前处理的视频帧的码流或者划分所述当前处理的视频帧而得到的解码单元；
[0015]通过预先训练好的概率预测模型，将所述二进制码流变换成所述当前解码块的量化特征；
[0016]根据所述量化特征和预先训练好的残差预测模型，确定所述当前解码块的残差块；
[0017]根据所述残差块与所述当前解码块的预测块，确定所述当前解码块的重建块。
[0018]相比于现有技术，本申请方案对当前预测帧进行自适应的动态残差补偿并得到最终的帧间重建，能有效地编码不同形式的帧间残差信息。
[0019]第三方面，本申请实施例提供一种图像编码装置，包括：
[0020]获取单元，用于获取当前编码块的原始残差块，所述当前编码块包括当前处理的视频帧或者划分所述当前处理的视频帧而得到的编码单元；
[0021]第一预测单元，用于根据所述原始残差块和预先训练好的特征预测模型，得到所述当前编码块的变换特征；
[0022]量化单元，用于对所述当前编码块的变换特征进行量化，得到所述当前编码块的量化特征；
[0023]第二预测单元，用于通过预先训练好的概率预测模型，确定所述当前编码块的量化特征中每个像素的概率；
[0024]生成单元，用于利用所述每个像素的概率生成所述当前编码块的二进制码流。
[0025]第四方面，本申请实施例提供一种图像解码装置，包括：
[0026]获取单元，用于获取当前解码块的二进制码流，所述当前解码块包括当前处理的视频帧的码流或者划分所述当前处理的视频帧而得到的解码单元；
[0027]第一预测单元，用于通过预先训练好的概率预测模型，将所述二进制码流变换成所述当前解码块的量化特征；
[0028]第二预测单元，用于根据所述量化特征和预先训练好的残差预测模型，确定所述当前解码块的残差块；
[0029]确定单元，用于根据所述残差块与所述当前解码块的预测块，确定所述当前解码块的重建块。
[0030]第五方面，本申请实施例提供了一种编码器，包括：处理器和耦合于所述处理器的存储器；所述处理器用于执行上述第一方面所述的方法。
[0031]第六方面，本申请实施例提供了一种解码器，包括：处理器和耦合于所述处理器的存储器；所述处理器用于执行上述第二方面所述的方法。
[0032]第七方面，本申请实施例提供了一种终端，所述终端包括：一个或多个处理器、存储器和通信接口；所述存储器、所述通信接口与所述一个或多个处理器连接；所述终端通过所述通信接口与其他设备通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述一个或多个处理器执行所述指令时，所述终端执行如第一方面或第二方面所述的方法。
[0033]第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的方法。
[0034]第九方面，本申请实施例提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的方法。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本申请实施例中编码树单元的一种示意性框图；
[0037]图2为本申请实施例中CTU和编码块CU的一种示意性框图；
[0038]图3为本申请实施例中颜色格式的一种示意性框图；
[0039]图4为本申请实施例中图像划分方式的示意图；
[0040]图5为本申请实施例中编解码系统的一种示意性框图；
[0041]图6为本申请实施例中视频编码器的一种示意性框图；
[0042]图7为本申请实施例中视频解码器的一种示意性框图；
[0043]图8A为本申请实施例中一种图像编码方法的流程示意图；
[0044]图8B为本申请实施例中一种不同阈值处理后生成的残差图的示意图；
[0045]图8C为本申请实施例中一种特征预测模型的结构图；
[0046]图9A为本申请实施例中一种图像解码方法的流程示意图；
[0047]图9B为本申请实施例中一种残差预测模型的结构图；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码方法，其特征在于，包括：获取当前编码块的原始残差块，所述当前编码块包括当前处理的视频帧或者划分所述当前处理的视频帧而得到的编码单元；根据所述原始残差块和预先训练好的特征预测模型，得到所述当前编码块的变换特征；对所述当前编码块的变换特征进行量化，得到所述当前编码块的量化特征；通过预先训练好的概率预测模型，确定所述当前编码块的量化特征中每个像素的概率；利用所述每个像素的概率生成所述当前编码块的二进制码流。2.根据权利要求1所述的方法，其特征在于，所述获取当前编码块的原始残差块，包括：确定所述当前编码块的预测块；将所述当前编码块的预测块与所述当前编码块的原始图像块做差，得到所述原始残差块。3.根据权利要求2所述的方法，其特征在于，所述将所述当前编码块的预测块与所述当前编码块的原始图像块做差，得到所述原始残差块，包括：根据所述当前编码块的预测块进行数值变换并量化，生成所述预测块的离散分布；将所述预测块的离散分布与当前编码块的原始图像块做差，得到整数信号的所述原始残差块。4.根据权利要求1所述的方法，其特征在于，所述根据所述原始残差块和预先训练好的特征预测模型，得到所述当前编码块的变换特征，包括：对所述原始残差块进行重归一化，得到归一化后的第一残差块；对所述第一残差块进行稀疏化处理，得到处理后的第二残差块；将所述第二残差块输入预先训练好的特征预测模型，得到所述当前编码块的变换特征。5.根据权利要求4所述的方法，其特征在于，所述对所述原始残差块进行重归一化，得到归一化后的第一残差块，包括：根据能量统一机制，将所述原始残差块的不同残差分布收敛到相同分布空间，得到归一化后的第一残差块。6.根据权利要求5所述的方法，其特征在于，所述根据能量统一机制，将所述原始残差块的不同残差分布收敛到相同分布空间，得到归一化后的第一残差块，包括：提取所述原始残差块中的最小像素值x
min
和最大像素值x
max
；通过如下公式将所述原始残差块归一化到区间(0，1)；其中，表示初次变换后的像素值，r
t
表示归一化前的像素值；通过如下公式对进行二次变换，得到处于区间(-1，1)的残差连续分布，即归一化后的第一残差块；
其中，表示归一化后的像素值。7.根据权利要求4-6任一项所述的方法，其特征在于，所述对所述第一残差块进行稀疏化处理，得到处理后的第二残差块，包括：获取预设阈值集合，所述预设阈值集合包括多个阈值；从所述预设阈值集合筛选适配所述当前编码块的目标阈值；遍历所述第一残差块中每个像素的像素值，并将像素值小于所述目标阈值的像素的像素值置零，得到处理后的第二残差块。8.根据权利要求7所述的方法，其特征在于，所述多个阈值中每个阈值按照预设的采样间隔对所述当前编码块的像素进行均匀采样得到。9.根据权利要求1所述的方法，其特征在于，所述对所述当前编码块的变换特征进行量化，得到所述当前编码块的量化特征，包括：对所述当前编码块的变换特征采用可微分量化机制，将浮点的特征变换成量化后的整数特征，得到所述当前编码块的量化特征。10.根据权利要求1-9任一项所述的方法，其特征在于，所述特征预测模型包括第一支路和第二支路，所述第一支路和所述第二支路并联；所述第一支路包括级联的三个残差提取模块和一个下采样模块；所述第二支路包括级联的三个残差提取模块、一个下采样模块以及一个激活模块。11.一种图像解码方法，其特征在于，包括：获取当前解码块的二进制码流，所述当前解码块包括当前处理的视频帧的码流或者划分所述当前处理的视频帧而得到的解码单元；通过预先训练好的概率...

【专利技术属性】
技术研发人员：马展，刘浩杰，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：