图像压缩方法、装置及系统制造方法及图纸

本发明专利技术提供了一种图像压缩方法、装置及系统，涉及图像压缩技术领域，该方法应用于配置有图像压缩网络的设备；包括：获取待压缩的目标图像；其中，目标图像包括目标区域和背景区域；将目标图像输入至特征提取网络，通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值；将空间特征图和内容特征图输入至特征压缩网络，通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。本发明专利技术能够有效降低通信码率，提高图像的感知质量。

【技术实现步骤摘要】
图像压缩方法、装置及系统
本专利技术涉及图像压缩
，尤其是涉及一种图像压缩方法、装置及系统。
技术介绍
随着移动通信技术的发展，图像和视频类多媒体业务已成为无线通信的主体。在图像和视频数据爆炸性增长的情况下，通信带宽难以满足高品质的宽带业务，因此，高效的图像压缩算法显得尤为重要。现有的诸如基于变换的图像压缩和基于学习的图像压缩等压缩方法，在对输入图像进行表征的过程中，缺少对图像内容的考虑，不能实现对图像内容的自适应表征。同时，在图像压缩过程中，对图像采用的压缩目标函数通常是精确的客观指标，例如PSNR和SSIM等指标，导致压缩后的图像不但不能实现极低码率下的压缩，而且还降低了图像的感知质量，使用户主观感受较差。
技术实现思路
本专利技术的目的在于提供图像压缩方法、装置及系统，以有效降低通信码率，提高图像的感知质量。本专利技术提供的一种图像压缩方法，所述方法应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述方法包括：获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。进一步的，所述特征提取网络包括编码器和内容分析器；所述通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图的步骤，包括：通过编码器对所述目标图像进行空间特征提取，得到所述目标图像的空间特征图；通过内容分析器对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图；其中，所述目标区域为所述目标图像中包含有目标物的图像区域。进一步的，所述对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图的步骤，包括：对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像对应的增强特征图；其中，所述增强特征图中所述目标区域的特征值为第一值，所述背景区域的特征值为第二值，且所述第一值大于所述第二值；根据预设的转换算法对所述增强特征图中的各个特征值进行转换，得到所述目标图像的内容特征图。进一步的，所述转换算法为：其中，(i,j)为所述增强特征图中各位置的坐标，pi,j是所述增强特征图中位置(i,j)处的特征值，mi,jc为所述内容特征图中位置(i,j)处的特征值，c为预设的特征值。进一步的，所述特征压缩网络包括量化器和解码器；所述将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像的步骤，包括：将所述空间特征图和所述内容特征图输入至量化器，以使所述量化器根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图；将所述量化后的特征图输入至解码器，以使所述解码器对所述量化后的特征图进行重构，得到所述目标图像对应的目标压缩图像。进一步的，所述根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图的步骤，包括：将所述内容特征图与所述空间特征图执行点乘操作，得到待量化特征图；根据预设的量化算法对所述待量化特征图进行量化，得到量化后的特征图。进一步的，所述量化算法包括：其中，为量化后的特征图，ztmp为所述待量化特征图，cj为量化中心，且j＝1、2、3……l，l为量化中心的取样数量，L表示l的最大值，σ为温度因子。进一步的，所述方法还包括：设立判别器；其中，所述判别器的输入为训练图像、所述图像压缩网络在对所述训练图像进行压缩过程中输出的训练压缩图像；对所述判别器和所述图像压缩网络进行联合训练，直至所述判别器和所述图像压缩网络的总损失函数收敛至预设值时停止训练。进一步的，所述对所述判别器和所述图像压缩网络进行联合训练的步骤，包括：获取训练图像，并将所述训练图像输入至所述图像压缩网络；通过所述图像压缩网络对所述训练图像进行压缩，得到所述训练图像对应的训练压缩图像，以及通过所述图像压缩网络计算率失真函数值；将所述训练图像和所述训练压缩图像输入至所述判别器，通过所述判别器计算目标优化函数值；根据所述率失真函数值和所述目标优化函数值确定总损失函数值；基于所述总损失函数值，通过反向传播算法对所述判别器和所述图像压缩网络进行联合训练。进一步的，按照以下公式，计算率失真函数值：其中，为度量所述训练图像x与所述训练压缩图像之间的失真指标，且其中LGAN为判别器误差，λGAN为所述LGAN的权重，LFM为特征匹配误差，λFM为LFM的权重，Lsaliency为目标区域的均方误差，λsaliency为Lsaliency的权重，Lbackground为背景区域的感知误差，λpreceptual为Lbackground的权重，E表示编码器，G表示解码器。进一步的，按照以下公式，计算目标优化函数值：其中，为所述训练压缩图像，x为所述训练图像，Dk(x)表示第k个判别器的输出，k表示判别器的第k个尺度。本专利技术提供的一种图像压缩装置，所述装置应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述装置包括：图像获取模块，用于获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；特征提取模块，用于将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；图像压缩模块，用于将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。本专利技术提供的一种图像压缩系统，所述系统包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述的方法。本专利技术提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。本专利技术提供了一种图像压缩方法、装置及系统，首先通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值；然后通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。本实施例所提供的上述图像压缩方式，通过对较高维度的目标图像进行空间特征提取，得到低维、紧致的空间特征图像，由此可以大大减少通信传输的数据量，有效降本文档来自技高网...

【技术保护点】
1.一种图像压缩方法，其特征在于，所述方法应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述方法包括：/n获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；/n将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；/n将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。/n

【技术特征摘要】
1.一种图像压缩方法，其特征在于，所述方法应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述方法包括：
获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；
将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；
将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。


2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括编码器和内容分析器；
所述通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图的步骤，包括：
通过编码器对所述目标图像进行空间特征提取，得到所述目标图像的空间特征图；
通过内容分析器对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图；其中，所述目标区域为所述目标图像中包含有目标物的图像区域。


3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图的步骤，包括：
对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像对应的增强特征图；其中，所述增强特征图中所述目标区域的特征值为第一值，所述背景区域的特征值为第二值，且所述第一值大于所述第二值；
根据预设的转换算法对所述增强特征图中的各个特征值进行转换，得到所述目标图像的内容特征图。


4.根据权利要求3所述的方法，其特征在于，所述转换算法为：



其中，(i,j)为所述增强特征图中各位置的坐标，pi,j是所述增强特征图中位置(i,j)处的特征值，mi,jc为所述内容特征图中位置(i,j)处的特征值，c为预设的特征值。


5.根据权利要求1所述的方法，其特征在于，所述特征压缩网络包括量化器和解码器；
所述将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像的步骤，包括：
将所述空间特征图和所述内容特征图输入至量化器，以使所述量化器根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图；
将所述量化后的特征图输入至解码器，以使所述解码器对所述量化后的特征图进行重构，得到所述目标图像对应的目标压缩图像。


6.根据权利要求5所述的方法，其特征在于，所述根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图的步骤，包括：
将所述内容特征图与所述空间特征图执行点乘操作，得到待量化特征图；
根据预设的量化算法对所述待量化特征图进行量化，得到量化后的特征图。


7.根据权利要求6所述的方法，其特征在于，所述量化算法包括：



其中，为量化后的特征图，ztmp为所述待量化特征图，cj为量化中心，且j...

【专利技术属性】
技术研发人员：段一平，陶晓明，韩超诣，王隽，陆建华，宋奇蔚，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11