一种图像编码制造技术

本申请涉及图像压缩技术领域，特别涉及一种图像编码

【技术实现步骤摘要】
一种图像编码、解码方法及编码、解码装置


[0001]本申请涉及图像压缩
，特别涉及一种图像编码
、
解码方法及编码
、
解码装置
。

技术介绍

[0002]图像压缩技术是指一种利用空间冗余度
、
视觉冗余度和统计冗余度等图像数据特性，以尽可能少的比特数有损或无损地表示图像信息的技术
。
图像压缩技术可以实现图像信息的有效传输和存储
。
目前常用的图像压缩技术为图像编码技术，其具体如图1所示，在编码端通过编码方式将图像编码成对应的码流，以进行存储或传输至解码端
。
在需要显示图像时，解码端接收码流并对码流进行解码以获取原始图像，并对原始图像进行缩放处理以获取较低分辨率的缩略图便于预览
。
如图2所示，在电子设备
001
上通过网页应用浏览图片，或者在视频播放器
、
相册等应用场景中，解码端例如网页应用会对存储或接收的码流进行完整解码获取原分辨率图像，然后通过图像缩放处理使得将原分辨率图像转换为分辨率较低的预览图便于用户预览
。
在用户选定需要查看的图像后，可以通过点击缩略图等操作查看原始图像对应的重建图像
。
[0003]而在上述解压缩过程中，无论应用需要何种尺寸的缩略图，需要先解码得到原始分辨率图像，该方案会使得电子设备对计算能力的需求较大，在电子设备计算能力不足的情况下，可能导致无法及时刷新缩略图界面，使用户感觉到明显的卡顿r/>。
例如，在用户通过网页应用滑动浏览图片时，可能会出现无法及时刷新缩略图界面的情况，使用户感觉到明显的卡顿
。
[0004]现有技术中一些编码方案采用基于循环神经网络的图像编解码方案，其具体如图3所示，编码端在每一次迭代后都将形成一份迭代码流和重建误差数据用于下一次的迭代，例如图3中所示的经过三次迭代获取的码流为迭代码流
1、
迭代码流2和迭代码流3；解码端在接收到这些码流之后，将以每份码流为单位逐次解码出基础的重建图像以及残差图像，以用于下一次重建图像，如此使得重建图像质量逐步增强
。
但上述方案进行多次迭代的计算复杂度较高，且每次解码均以每份码流为单位，可扩展性较差
。
[0005]还有一些编码方案中采用额外编码传输缩略图方案，其具体如图4所示，为在编码端采用压缩等方案额外获取缩略图的码流，将缩略图的码流和常规图片对应的整图码流合并进行传输，在解码端则优先解码缩略图码流用于预览
。
但该种方案将提升总体码流文件的大小，使得压缩率降低，且解码时只能获得与编码端压缩的缩略图同等质量的缩略图
。

技术实现思路

[0006]为解决现有技术中的编码方案计算复杂度较高，且解码扩展性较差，只能获得设定质量的解码图像的问题，本申请实施例提供一种图像编码
、
解码方法及编码
、
解码装置
。
[0007]第一方面，本申请实施例提供一种图像解码方法，包括：获取待解码图像的边信息码流；基于边信息码流获取图像边信息特征，图像边信息特征为基于超先验编码神经网络
对待解码图像对应的第一图像特征集合进行特征提取得到的第二图像特征集合，第二图像特征集合的数据量小于第一图像特征集合的数据量，超先验编码神经网络是基于码率损失
、
重建图像失真损失和预览图像失真损失进行训练约束得到的，其中，预览图像失真损失表示原始训练图像和原始训练图像的预览图像之间的相似度的差异；基于图像边信息特征获取待解码图像的预览图像
。
[0008]基于上述解码方案，解码端可以基于数据量较小的边信息码流快速获取预览图像，如此，无需在解码时获取原始图像后再通过缩放处理来获取较低分辨率的缩略图，降低对电子设备的算力需求，且能够有效避免现有技术中在用户浏览图片时，由于现有技术需要解码获取原始分辨率图像再通过缩放处理来获取较低分辨率的缩略图，所需时间较长所导致的用户无法及时获取预览图片的情况发生
。
[0009]此外，基于上述解码方法，对应的编码方法也只需获取边信息码流和图像码流，相比于现有技术中基于循环神经网络的迭代图像编码方案，能够有效降低计算复杂度
。
具体的，如
技术介绍
中，现有技术基于循环神经网络的迭代图像编解码方案在编码方案中，需要多次迭代编码获取多份编码端码流，以实现在解码时根据多份码流重建出多个预览图像以实现渐进式解码，计算复杂度较高
。
而本申请中的编码方案中只需对图像码流以及边信息码流分别进行一次性行编码，即可获取到对应的编码端码流，且在解码时，可以根据对边信息码流解码获得的边信息特征以及对图像码流逐渐解码获得的逐渐增多的图像特征逐渐重建出多个预览图像，实现渐进式解码，综上，本申请实施例提供的解码方案能够有效降低编解码整个过程中的计算复杂度
。
[0010]并且，基于上述解码方法，对应的编码方法也只需获取边信息码流和图像码流，相比于现有技术中额外编码传输缩略图的方案，能够减小总体码流文件的大小，提高压缩率
。
具体的，现有技术中额外编码传输的缩略图对应的码流为额外增加的码流，而本申请实施例中的边信息码流和图像码流均是获取最终重建图像所必须的码流，因此未增加任何多余码流，能够减小总体码流文件的大小，提高压缩率
。
[0011]可以理解，本申请实施例中提及的第一图像特征集合可以为后文中通过特征提取模块获取的图像特征
。
[0012]在一种可能的实现方式中，基于图像边信息特征获取待解码图像的预览图像，包括：基于图像边信息特征获取待解码图像的第一预览图像
。
[0013]在一种可能的实现方式中，解码方法还包括：获取待解码图像的图像码流，图像码流包括待解码图像的多个通道的数据；基于图像码流获取第一解码数据，第一解码数据为第一图像特征集合的至少部分图像特征；相应的，基于图像边信息特征获取待解码图像的预览图像，包括：基于图像边信息特征和第一解码数据获取第二预览图像，第二预览图像相对于待解码图像的相似度大于第一预览图像相对于待解码图像的相似度
。
[0014]可以理解，本申请实施例中图像码流包括待解码图像的全部图像特征对应的编码数据
。
本申请实施例中，第一解码数据可以为对图像码流中的部分输出响应重要性较高的通道的数据进行解码获取的解码数据
。
[0015]可以理解，基于边信息特征和第一解码数据能够重建生成较高质量的预览图像便于用户预览
。
其次，上述解码方案可以将边信息特征与不同通道数的图像特征结合进行多种质量的预览图像的获取，满足各种预览图像质量的需求
。
另外，还可以在解码出部分图像
特征后，根据已解码的图像特征和和边信息特征获取当前预览图像，并在解码出更多图像特征后，继续根据已解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像解码方法，其特征在于，包括：获取待解码图像的边信息码流；基于所述边信息码流获取图像边信息特征，所述图像边信息特征为基于超先验编码神经网络对所述待解码图像对应的第一图像特征集合进行特征提取得到的第二图像特征集合，所述第二图像特征集合的数据量小于所述第一图像特征集合的数据量，所述超先验编码神经网络是基于码率损失
、
重建图像失真损失和预览图像失真损失进行训练约束得到的，其中，所述预览图像失真损失表示原始训练图像和所述原始训练图像的预览图像之间的相似度的差异；基于所述图像边信息特征获取所述待解码图像的预览图像
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述图像边信息特征获取所述待解码图像的预览图像，包括：基于所述图像边信息特征获取所述待解码图像的第一预览图像
。3.
根据权利要求2所述的方法，其特征在于，还包括：获取所述待解码图像的图像码流，所述图像码流包括所述待解码图像的多个通道的数据；基于所述图像码流获取第一解码数据，所述第一解码数据为所述第一图像特征集合的至少部分图像特征；相应的，所述基于所述图像边信息特征获取所述待解码图像的预览图像，包括：基于所述图像边信息特征和所述第一解码数据获取第二预览图像，所述第二预览图像相对于所述待解码图像的相似度大于所述第一预览图像相对于所述待解码图像的相似度
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述图像码流获取所述第一解码数据，包括：确定所述图像码流中的至少一个通道的数据；对所述至少一个通道的数据进行解码，获取所述第一解码数据
。5.
根据权利要求4所述的方法，其特征在于，所述确定所述图像码流中的至少一个通道的数据；包括：按照所述图像码流中各通道数据的数据量的大小，获取所述至少一个通道的数据
。6.
根据权利要求1所述的方法，其特征在于，还包括：获取所述待解码图像的图像码流，所述图像码流包括所述待解码图像的多个通道的数据；相应的，所述基于所述图像边信息特征获取所述待解码图像的预览图像；包括：对所述图像码流中第一设定数量的通道数据进行解码得到第二解码数据，基于所述图像边信息特征与所述第二解码数据获取第三预览图像；对所述图像码流中第二设定数量的通道数据进行解码得到第三解码数据，基于所述图像边信息特征与所述第三解码数据获取第四预览图像，所述第二设定数量大于所述第一设定数量，且所述第二设定数量的通道数据包括有所述第一设定数量的通道数据
。7.
根据权利要求1‑6任一项所述的方法，其特征在于，还包括：响应于用户点击所述预览图像的操作，基于所述图像码流获取所述待解码图像对应的重建图像
。8.
根据权利要求1‑6任一项所述的方法，其特征在于，基于所述图像边信息特征获取预
览图像；包括：基于所述图像边信息特征获取所述图像特征中各数据的均值，基于所述图像特征中各数据的均值获取所述预览图像
。9.
根据权利要求2所述的方法，其特征在于，所述基于所述图像码流获取至少部分图像特征；包括：基于所述图像边信息特征确定所述图像特征中各数据对应的概率；基于所述图像码流和所述图像特征中各数据对应的概率获取至少部分图像特征
。10.
一种图像编码方法，其特征在于，包括：获取待编码图像；获取所述待编码图像的第一图像特征集合；基于所述待编码图像的第一图像特征集合获取所述待编码图像的边信息特征；所述边信息特征为基于超先验编码神经网络对所述第一图像特征集合进行特征提取得到的第二图像特征集合，所述第二图像特征集合的数据量小于所述第一图像特征集合的数据量，所述超先验编码神经网络是基于码率损失
、
重建图像失真损失和预览图像失真损失进行训练约束得到的，其中，所述预览图像失真损失表示原始训练图像和所述原始训练图像的预览图像之间的相似度的差异；基于所述待编码图像的边信息特征和所述第一图像特征集合获取图像码流，并基于所述待编码图像的边信息特征获取边信息码流，所述边信息码流用于解码端获取所述待编码图像的预览图像
。11.
根据权利要求
10
所述的方法，其特征在于，所述基于所述待编码图像的边信息特征和图像特征获取图像码流；包括：基于所述待编码图像的边信息特征获取所述第一图像特征集合中每个数据的分布信息；基于所述第一图像特征集合中每个数据的分布信息对所述图像特征进行编码，获取图像码流
。12.
根据权利要求
11
所述的方法，其特征在于，所述基于所述待编码图像的边信息特征获取边信息码流，包括：根据预设的分布信息对边信息特征中各数据的概率进行估计，获取边信息特征中各数据的概率；基于所述边信息特征中各数据的概率对所述边信息特征进行编码，获取边信息码流
。13.
一种图像解码方法，其特征在于，包括：获取待解码图像的边信息码流；基于所述边信息码流获取图像边信息特征，所述图像边信息特征为基于超先验编码神经网络对所述待解码图像对应的第一图像特征集合进行特征提取得到的第二图像特征集合，所述第二图像特征集合的数据量小于所述第一图像特征集合的数据量，所述超先验编码神经网络是基于码率损失
、
重建图像失真损失和预览图像失真损失进行训练约束得到的，其中，所述预览图像失真损失表示原始训练图像和所述原始训练图像的预览图像之间的相似度的差异；获取待解码图像的图像码流，所述图像码流包括所述待解码图像的多个通道的数据；
对所述图像码流中第一设定数量的通道数据进行解码得到第一解码数据；基于所述图像边信息特征与所述第一解码数据获取第一重建图像；对所述图像码流中第二设定数量的通道数据进行解码得到第二解码数据；基于所述图像边信息特征与所述第二解码数据获取第二重建图像
。14.
根据权利要求
13
所述的方法，其特征在于，还包括，基于所述图像码流的所有通道数据进行解码获取到第三解码数据，基于所述边信息特征和所述第三解码数据获取第三重建图像
。15.
根据权利要求
13
所述的方法，其特征在于，包括：在获取所述第一重建图像后，将所述第一重建图像送到显示器进行显示；在获取所述第二重建图像后，将所述第二重建图像送到所述显示器进行显示以覆盖所述第一重建图像
。16.
一种图像解码装置，其特征在于，包括：获取模块，用于获取待解码图像的边信息码流；所述获取模块，用于基于所述边信息码流获取图像边信息特征，所述图像边信息特征为基于超先验编码神经网络对所述待解码图像对应的第一图像特征集合进行特征提取得到的第二图像特征集合，所述第二图像特征集合的数据量小于所述第一图像特征集合的数据量，所述超先验编码神经网络在在训练时，基于码率损失
、
重建图像失真损失和预览图像失真损失进行训练约束；预解码模块，用于基于所述图像边信息特征获取所述待解码图像的预览图像
。17.
根据权利要求
16
所述的装置，其特征在于，所述获取模块，还用于获取所述待解码图像的图像码流，所述图像码流包括所述待解码图像的多个通道的数据；基于所述图像码流获取第一解码数据，所述第一解码数据为所述第一图像特征集合的至少部分图像特征
。18.
根据权利要求
17
所述的装置，其特征在于，所述获取模块包括超先验解码模块和熵解码模块；并且，所述超先验解码模块，用于基于所述图像边信息特征确定第一图像特征集合中各数据的均值和方差；所述熵解码模块，用于基于所述第一图像特征集合中各数据的均值和方差确定所述图像特征中各数据对应的概率；所述熵解码模块，用于基于所述图像码流和所述第一图像特征集合中各数据对应的概率获取所述第一解码数据
。19.
根据权利要求
18
...

【专利技术属性】
技术研发人员：郭天生，陈哲，李猛，陈静平，王晶，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：