一种图像编码方法、解码方法及相关设备技术

本申请提供了一种图像编码方法、解码方法及相关设备，用于提高图像编解码性能。图像编码方法包括：提取目标图像的特征图；对所述特征图的感受野进行增强处理，得到增强特征图；确定所述增强特征图中的有效特征数据；基于所述有效特征数据，生成所述目标图像的码流。对目标图像的特征图的感受野进行增强处理，得到增强特征图。增强特征图相比于目标图像的特征图来说，增强特征图中具有更为丰富的全局特征和更高层次的语义特征。利用增强图像特征中的有效特征数据，减少增强图像特征中空间信息的冗余程度，利于提升图像编码以及解码性能。利于提升图像编码以及解码性能。利于提升图像编码以及解码性能。

【技术实现步骤摘要】
一种图像编码方法、解码方法及相关设备


[0001]本申请涉及图像编解码领域，尤其涉及一种图像编码方法、解码方法及相关设备。

技术介绍

[0002]随着图像编解码技术的发展，基于神经网络的端到端的图像编解码技术被提出。图1示出了基于神经网络的端到端图像编解码网络的基本结构。其中主要包含主编解码网络和熵模型网络两个部分。
[0003]主编解码网络包含特征变换、量化、熵编码、熵解码和特征重建。特征变换主要采用卷积神经网络对原始输入图像进行下采样得到特征图，降低图像的空间冗余，获取紧凑的特征表示；量化是对特征图进行取整，将浮点型数据转化为整型，提高压缩率；熵编码是个无损压缩的过程，通过已构建概率模型，计算出每个特征中符号位的概率，并将其编码成二进制表示写进码流中；熵解码是熵编码的反过程，从码流中无失真地恢复出特征图；特征重建是特征变换的反过程，它通过卷积神经网络对特征数据进行上采样，最终输出重建图像。熵模型网络包括辅特征变换、量化、熵编码、熵解码、辅特征重建以及概率模型。其中，除了概率模型，其余模块功能与主编码网络类型相同或相近。构建概率模型主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码方法，其特征在于，所述方法包括：提取目标图像的特征图；对所述特征图的感受野进行增强处理，得到增强特征图；确定所述增强特征图中的有效特征数据；基于所述有效特征数据，生成所述目标图像的码流。2.如权利要求1所述的图像编码方法，其特征在于，所述对所述特征图的感受野进行增强处理，得到增强特征图，包括：利用多个尺寸不同的池化核，分别对所述特征图进行平均池化处理，和/或，利用多个尺寸不同的池化核，分别对所述特征图进行最大池化处理；将所述特征图、各池化核输出的向量进行融合处理，生成所述增强特征图。3.如权利要求1所述的图像编码方法，其特征在于，所述对所述特征图的感受野进行增强处理，得到增强特征图，包括：利用多个扩张率不同的空洞卷积核，分别对所述特征图进行扩张处理；以及利用预设尺寸的卷积核，对所述特征图进行卷积处理；将各空洞卷积核输出的向量、所述预设尺寸的卷积核输出的向量、以及所述特征图进行融合处理，得到所述增强特征图。4.如权利要求1所述的图像编码方法，其特征在于，所述对所述特征图的感受野进行增强处理，得到增强特征图，包括：将所述特征图的通道分为m个组，每个组中通道数量是相同的；利用m个空洞卷积核分别对m个组进行扩张处理，得到扩张处理后的中间向量，其中，所述m个空洞卷积与所述m个组一一对应，所述m为大于1的正整数；对于预设的s个加权卷积核组，将m个所述中间向量输入每个加权卷积核组，得到扩张向量；利用多个尺寸不同的池化核，分别对所述特征图进行最大池化处理；将所述特征图、所述扩张向量、各池化核输出的向量进行融合处理，得到所述增强特征图。5.如权利要求1所述的图像编码方法，其特征在于，所述确定所述增强特征图中的有效特征数据，包括：利用第一自适应最大池化函数对所述增强特征图进行池化处理，得到第一压缩特征；利用第一自适应平均池化函数对增强特征图进行池化处理，得到第二压缩特征；基于所述第一压缩特征和所述第二压缩特征，生成融合权重系数；根据所述第一压缩特征、所述第二压缩特征以及所述融合权重系数，得到第一注意力分布矩阵；将所述增强特征图与所述第一注意力分布矩阵的乘积确定为所述增强特征图中的有效特征数据；或者，将所述增强特征图与所述第一注意力分布矩阵的乘积确定为中间特征图，所述中间特征图用于确定所述增强特征图中的有效特征数据。6.如权利要求1或5所述的图像编码方法，其特征在于，所述确定所述增强特征图中的有效特征数据，包括：利用第二自适应最大池化函数对目标特征图进行池化处理，得到第三压缩特征，其中，
所述目标特征图为所述增强特征图或者所述中间特征图，所述第三压缩特征的通道数量与所述目标特征图的通道数量相同；利用第二自适应平均池化函数对所述目标特征图进行池化处理，得到第四压缩特征，其中，所述第四压缩特征的通道数量与所述目标特征图的通道数量相同；将所述第三压缩特征和所述第四压缩特征拼接处理，得到融合压缩特征；对所述融合特征进行滤波处理及归一化处理后，得到第二注意力分布矩阵；将所述目标特征图与所述第二注意力分布矩阵的乘积确定为所述增强特征图中的有效特征数据。7.如权利要求1所述的图像编码方法，其特征在于，所述基于所述有效特征数据，生成所述目标图像的码流，包括：基于所述有效特征数据和第一算数编码器，生成所述目标图像的第一辅码流以及目标算数编码器的参数，所述目标算数编码器的参数包括所述目标算数编码器的目标均值和目标方差，其中，所述第一算数编码器的参数是预先配置的，或者所述第一算数编码器的参数是基于所述第一待编码特征生成的；基于所述目标算数编码器和所述有效特征数据，生成所述目标图像的主码流。8.如权利要求7所述的图像编码方法，其特征在于，所述第一算数编码器的参数是基于所述第一待编码特征生成的；所述有效特征数据和第一算数编码器，生成所述目标图像的第一辅码流以及目标算数编码器的参数，包括：对所述有效特征数据进行下采样处理，得到第一待编码特征；利用第一算数编码器和所述第一待编码特征，生成所述第一辅码流；对所述第一码流进行解码，得到...

【专利技术属性】
技术研发人员：戴亮，江东，林聚财，粘春湄，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：