基于融合感知损失的深度语义分割图像压缩方法及系统技术方案

本公开提供了基于融合感知损失的深度语义分割图像压缩方法及系统，所述方案基于子块以及基于子块的感知损失函数，对压缩网络以及GAN网络进行有效的基于子块的训练，相对于传统的基于原始图像大小的方式可以捕捉更多更微小的图像特征；同时，融合感知损失函数能够较好的平衡每个函数的优缺点，从而获得比传统训练方式更好的训练效果，并且，基于子块的策略还可以在一定程度上抑制振铃效应、色调分离以及区域模糊效应的出现；最后，为了更好的模拟人类复杂的视觉系统，所述方案利用基于视觉感知的评价指标—多尺度结构相似性(MS‑SSIM)，能够较好的保留图像中高频区域的对比度，以及绝对值误差(L1范式)可以保留图像原有色彩和局部结构的特性。

【技术实现步骤摘要】
基于融合感知损失的深度语义分割图像压缩方法及系统
本公开涉及计算机视觉
，特别是涉及一种基于融合感知损失的深度语义分割图像压缩方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。图像压缩技术在有限的传输带宽和存储能力的条件下提供高质量图像服务的过程中起着至关重要的作用。而传统的图像压缩技术主要是通过减少图像信息中的冗余(包括空间冗余、视觉冗余以及统计冗余)来减少图像的大小。经典的传统编解码器标准如JPEG、JPEG200以及BPG(HEVC的帧内编码)通常是在编码器和解码器端使用上述压缩技术并且进行单独的优化，这使得在高比率压缩的情况下和一些非线性变换任务中会出现一些明显的压缩伪影如块效应和模糊等现象。而这与人们逐渐上升的对高视觉质量的图像的需求背道相驰。相比之下，深度图像压缩领域则能够以一种更为灵活的方式来学习一种近似图像编解码过程中非线性变化的线性函数，从而进一步提升在高比率压缩中图像的视觉质量。现有技术中，部分研究人员利用GAN提高编码的性能并在解码图像过程中进一步提高图像的视觉质量，与传统的压缩编码比较，基于GAN的图像压缩框架不仅在压缩率方面得到了明显的改善而且还充分利用了现代GPU的并行技术实现了实时的运行。专利技术人发现，虽然基于GAN的深度神经网络在图像压缩领域获得了显著的成效，但是目前它们出现的一些缺点也不容忽视。首先，要训练一个性能表现出色的GAN网络模型，必须要有一些高质量的数据集；其次，基于传统的MSE或者GAN标准损失的图像压缩框架生成的图像虽然在视觉感知上比较真实，但是实际上图像中也会存在一些振铃效应、模糊和色调分离或者明亮度以及色彩偏移的压缩失真。另外，近年来对基于深度学习的图像压缩的研究一直是图像压缩领域的一个热门领域。但是大多数研究人员都把重点放在了网络架构以及神经网络本身的可解释性的研究方向，从而忽略了评价指标和损失函数对网络性能带来的影响。通常，人类视觉系统对图像噪音的敏感度依赖局部的亮度，对比度以及物体结构，而一些常用的损失函数(MSE、PSNR、SSIM)通常并不能够有效的代替人类视觉复杂的结构。其中，通常MSE损失趋向于惩罚较大的误差但是往往对一些较小的误差不太敏感，从而会产生一些较小的失真，而SSIM虽然能够较好的符合人类视觉系统，但是都在一些平坦的区域也会产生一些色调分离现象同时解码图像以及色彩偏移的情况。
技术实现思路
本公开为了解决上述问题，提供了一种基于融合感知损失的深度语义分割图像压缩方法及系统；通过所述方案能够有效提升图像压缩的性能，并提高编解码模型的训练效率，同时可以抑制一些压缩失真的产生，提高解码图像的整体的主观视觉质量。根据本公开实施例的第一方面，提供了一种基于融合感知损失的深度语义分割图像压缩方法，包括：利用预训练的语义分割网络获得原始图像的图像增强语义图，并对其进行无损编码；将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码，生成图像的紧凑表示，作为基础图像描述信息，并对其进行无损编码；将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入，获得增强重构图像，通过将增强重构图像和原始图像作差，得到重构图像残差信息，并对所述重构图像残差信息进行有损编码；将所述图像重构增强信息与所述重构图像残差信息相加，获得重构图像；其中，网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。进一步的，所述的图像残差网络，使用图像增强语义图和上采样的基础图像描述信息通过GAN网络中的生成器来拟合图像在压缩过程中损失的图像特征信息，获得增强重构图像，进而通过将增强重构图像和原始图像做差得到重构图像残差信息。进一步的，所述基于子块的训练包括：首先将原始图像分为大小相等的若干个子块，作为网络输入的基本单位；然后使用判别器网络对各个子块进行特征提取，以获得不同范围内的图像分布特征；最后通过融合感知损失与Adam优化器共同对原有GAN网络以及压缩网络进行有效的训练。进一步的，所述基于子块的训练中，使用基于融合感知对抗损失来进行梯度回传，其中GAN网络中使用的基于子块的总体对抗损失可以表示为：LE＝LDp+LGp所述GAN网络中判别器的目标则是最大化LDp：其中，表示判别器网络从第i个子块中在d个尺度(0为原始大小、1为2x大小)下通过网络的第l层网络层提取出的图像的特征信息，这里图像一共分为n个子块。进一步的，所述GAN网络中生成器的目标是最小化GAN标准损失，这里采用了基于子块的融合损失：LGp＝Lp+L1+LMS-SSIM+LVGG其中，基于子块的损失Lp：其中，原始图像以及生成图像被等分为c个大小相等的子块，表示从判别网络中的第j层网络提取的特征信息，t则代表目标图像；在判别网络模型中子块被设置为初始大小和2x大小(其中1是原始大小，2代表的是上采样2倍的子块)，在区域的网络架构中共有n层网络，λ分别为Lp损失函数的总的权重系数。进一步的，所述压缩网络采用全卷积架构，其前4层网络中依次采用了64、128、256、512数量的过滤器，除首层采用7*7大小的卷积核外，其余各层均采用3*3的卷积核大小以及stride＝2的步长来获取图像的隐式特征分布信息，且每层卷积层后均跟有实例规范化和ReLU激活函数。进一步的，为了获得指定维度和大小的图像，所述压缩网络在原有的神经网络架构的最后增加了一个卷积核大小为7*7、过滤器为3、步长为1的一个卷积网络，且在网络的最后使用了Tanh激活函数。根据本公开实施例的第二个方面，本公开提供了一种基于融合感知损失的深度语义分割图像压缩方法，包括：语义信息获取单元，被配置为利用预训练的语义分割网络获得原始图像的图像增强语义图，并对其进行无损编码；编码单元，被配置为将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码，生成图像的紧凑表示，作为基础图像描述信息，并对其进行无损编码；将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入，获得增强重构图像，通过将增强重构图像和原始图像作差，得到重构图像残差信息，并对所述重构图像残差信息进行有损编码；解码单元，被配置为将所述图像重构增强信息与所述重构图像残差信息相加，获得重构图像；其中，网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。根据本公开实施例的第三个方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，执行上述的一种基于融合感知损失的深度语义分割图像压缩方法。根据本公开实施例的第四个方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述的一种基于融合感知损失的深度语义分割图像压缩方法。与现有技术相比，本公开本文档来自技高网...

【技术保护点】
1.基于融合感知损失的深度语义分割图像压缩方法，其特征在于，包括：/n利用预训练的语义分割网络获得原始图像的图像增强语义图，并对其进行无损编码；/n将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码，生成图像的紧凑表示，作为基础图像描述信息，并对其进行无损编码；/n将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入，获得增强重构图像，通过将增强重构图像和原始图像作差，得到重构图像残差信息，并对所述重构图像残差信息进行有损编码；/n将所述图像重构增强信息与所述重构图像残差信息相加，获得重构图像；/n其中，网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。/n

【技术特征摘要】
1.基于融合感知损失的深度语义分割图像压缩方法，其特征在于，包括：
利用预训练的语义分割网络获得原始图像的图像增强语义图，并对其进行无损编码；
将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码，生成图像的紧凑表示，作为基础图像描述信息，并对其进行无损编码；
将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入，获得增强重构图像，通过将增强重构图像和原始图像作差，得到重构图像残差信息，并对所述重构图像残差信息进行有损编码；
将所述图像重构增强信息与所述重构图像残差信息相加，获得重构图像；
其中，网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。


2.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述的图像残差网络，使用图像增强语义图和上采样的基础图像描述信息通过GAN网络中的生成器来拟合图像在压缩过程中损失的图像特征信息，获得增强重构图像，进而通过将增强重构图像和原始图像做差得到重构图像残差信息。


3.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述基于子块的训练包括：首先将原始图像分为大小相等的若干个子块，作为网络输入的基本单位；然后使用判别器网络对各个子块进行特征提取，以获得不同范围内的图像分布特征；最后通过融合感知损失与Adam优化器共同对原有GAN网络以及压缩网络进行有效的训练。


4.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述基于子块的训练中，使用基于融合感知对抗损失来进行梯度回传，其中GAN网络中使用的基于子块的总体对抗损失可以表示为：
LE＝LDp+LGp
所述GAN网络中判别器的目标则是最大化LDp：



其中，表示判别器网络从第i个子块中在d个尺度(0为原始大小、1为2x大小)下通过网络的第l层网络层提取出的图像的特征信息，这里图像一共分为n个子块。


5.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述GAN网络中生成器的目标是最小化GAN标准损失，这里采用了基于子块的融合损失：
LGp＝Lp+L1+L...

【专利技术属性】
技术研发人员：孟丽丽，陈思恩，谭艳艳，张佳，邵秀婷，张化祥，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37