基于八度卷积和语义分割的图像压缩方法及系统技术方案

本公开提供了一种基于八度卷积和语义分割的图像压缩方法及系统，所述方案包括：利用预训练的语义分割网络生成原始图像的语义分割图；将所述语义分割图和原始图像作为第一组八度卷积网络的输入，生成图像的压缩表示；对所述压缩表示进行上采样，并将其与所述语义分割图作为第二组八度卷积网络的输入，得到原始图像估计值；计算原始图像与所述原始图像估计值间的残差，并对所述残差进行有损编码，将原始图像估计值与解码后的残差图像相加，得到最终的重建图像。通过将语义分割图的输入可以指导图像空间上的比特流的分配，利用八度卷积网络针对图像空间中的高频信息和低频信息进行单独优化，在保证压缩率的同时，可以有效合成高质量、高细节的图像。

【技术实现步骤摘要】
基于八度卷积和语义分割的图像压缩方法及系统
本公开涉及计算机视觉
，特别是涉及基于八度卷积和语义分割的图像压缩方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。随着信息技术突飞猛进的发展，互联网上出现越来越多的多媒体数据，高质量的多媒体内容开始大量普及。如何对这些数据进行处理来提高传输效率以及降低存储成本成为了一个极为重要的问题。对于图像方面，大量的图像产生巨大数据量给存储和传输都带来极大的挑战，合理的进行图像压缩有利于减小存储压力，提高传输能力，图像压缩技术受到了越来越多的关注。图像之所以能够进行压缩是因为存在很大的数据冗余，图像的冗余主要包含空间冗余、频率冗余、信息熵冗余等。图像压缩的目的就是去尽量减小这些冗余。图像压缩技术包含有损图像压缩和无损图像压缩技术。无损压缩技术就是运用适当的编码技术，使得像素之间的联系被几乎完整的保留下来，所以图像更精确，但这样以来压缩比率比较小，占用空间较大。由于人的肉眼具有视觉上的冗余，对于一些极细的信息感知不敏感，人眼允许图像编码上可以有一定的失真，这使得有损图像压缩的运用成为可能，对于一些不需要很高精确度或者压缩后不影响表达内容的图像，在保证观感质量的同时，可以使用有损图像压缩技术，能够进一步的减小存储资源的占用。专利技术人发现，传统的有损图像压缩系统通常由编码器、量化器和解编码器组成，编码器对图像进行编码，量化器通过对数据进行量化来减小存储空间，然后进行熵编码来进一步的压缩数据，最后通过反量化，进入解码器来恢复图像。最经典的算法有JPEG和JPEG2000等。前者采用离散余弦变换将图像分成数据块进行编码，解码器端采用DCT反变换来生成图像。而JPEG2000改用小波变换作为编码器。JPEG2000对于JPEG的优点在于解压缩后没有块状颗粒失真的效果，但JPEG2000主要是模糊失真。JPEG2000性能比JPEG提高大约20％，在极高压缩比的情况下，优势较为明显。WebP则是谷歌公司2010年推出的一款同时支持有损和无损的图像压缩技术，以VP8为编码内核。而BPG以HEVC为编码内核，在相同分辨率下，BPG文件大小是JPEG的一半，尽管BPG十分优秀，但高昂的专利费导致其无法大量普及。这些传统的图像压缩方案依赖于对编码器的单独优化，处理流程较为复杂，有时在细节还原等方面不尽人意，通常伴随着伪影、模糊等缺点，对于低数据率的图像压缩的性能也较差。
技术实现思路
本公开为了解决上述问题，提供了一种基于八度卷积和语义分割的图像压缩方法及系统；所述方案通过将语义分割图作为辅助输入可以指导图像空间上的比特流的分配，并且引入八度卷积网络针对图像空间中的高频信息和低频信息进行单独的优化，在保证压缩率的同时，可以进一步合成高质量、高细节的图像。根据本公开实施例的第一方面，提供了一种基于八度卷积和语义分割的图像压缩方法，包括：利用预训练的语义分割网络生成原始图像的语义分割图，并对其进行无损编码；将编码后的所述语义分割图和原始图像作为第一组八度卷积网络的输入，生成图像的压缩表示，并对其进行无损编码；对所述压缩表示进行上采样，并将其与所述语义分割图作为第二组八度卷积网络的输入，得到原始图像估计值；计算原始图像与所述原始图像估计值间的残差，并对所述残差进行有损编码，将原始图像估计值与解码后的残差图像相加，得到最终的重建图像。根据本公开实施例的第二个方面，提供了一种基于八度卷积和语义分割的图像压缩系统，包括：语义分割图获取单元，其用于利用预训练的语义分割网络生成原始图像的语义分割图，并对其进行无损编码；编码单元，其用于将所述语义分割图和原始图像作为第一组八度卷积网络的输入，生成图像的压缩表示，并对其进行无损编码；对所述压缩表示进行上采样，并将其与所述语义分割图作为第二组八度卷积网络的输入，得到原始图像估计值；同时，计算原始图像与所述原始图像估计值间的残差，并对所述残差进行有损编码。解码单元，其用于将原始图像估计值与解码后的残差图像相加，得到最终的重建图像。根据本公开实施例的第三个方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，执行上述的一种基于八度卷积和语义分割的图像压缩方法。根据本公开实施例的第四个方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述的一种基于八度卷积和语义分割的图像压缩方法。与现有技术相比，本公开的有益效果是：(1)本公开提出了一种基于八度卷积和语义分割图的图像压缩框架，由深度学习网络提取的语义分割图作为辅助输入可以进一步的指导图像空间上的比特流的分配，并且引入八度卷积网络针对图像空间中的高频信息和低频信息进行单独的优化，在保证压缩率的同时，可以进一步合成高质量、高细节的图像。(2)本公开所述方案通过八度卷积(OctConv)用于替换掉传统的卷积层，在提高识别精度的同时减小了算力以及存储空间；并且OctConv模块化，即插即用十分方便，在提升效率的同时，节约计算资源的消耗。由自然图像中得到的启发，卷积层的输出也可以根据其空间频率分为高频和低频信息，平缓变化的低频信息可以进一步压缩以节省空间，减小冗余；同时OctConv也有利于每一层获得更大的接受域，可以捕获更多的上下文信息；OctConv将卷积核分成四块，形成一个卷积立体块，不仅同频之间的特征数据可以进行交流，高频和低频之间也可以进行有效通信，提高了重建图像的质量。本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本公开实施例一中所述的基于八度卷积和语义分割的图像压缩方法的系统结构图；图2为本公开实施例一中所述的编码器网络(ComNet网络)的结构图；图3为本公开实施例一中所述的八度卷积第一层的结构图；图4为本本公开实施例一中所述的八度卷积中间层的结构图；图5为本公开实施例一中所述的八度卷积最后一层的结构图；图6为本公开实施例一中所述的GNet网络的结构图；图7为本公开实施例一中所述的鉴别器网络Dnet结构图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特本文档来自技高网...

【技术保护点】
1.一种基于八度卷积和语义分割的图像压缩方法，其特征在于，包括：/n利用预训练的语义分割网络生成原始图像的语义分割图，并对其进行无损编码；/n将所述语义分割图和原始图像作为第一组八度卷积网络的输入，生成图像的压缩表示，并对其进行无损编码；对所述压缩表示进行上采样，并将其与所述语义分割图作为第二组八度卷积网络的输入，得到原始图像估计值；/n计算原始图像与所述原始图像估计值间的残差，并对所述残差进行有损编码，将原始图像估计值与解码后的残差图像相加，得到最终的重建图像。/n

【技术特征摘要】
1.一种基于八度卷积和语义分割的图像压缩方法，其特征在于，包括：
利用预训练的语义分割网络生成原始图像的语义分割图，并对其进行无损编码；
将所述语义分割图和原始图像作为第一组八度卷积网络的输入，生成图像的压缩表示，并对其进行无损编码；对所述压缩表示进行上采样，并将其与所述语义分割图作为第二组八度卷积网络的输入，得到原始图像估计值；
计算原始图像与所述原始图像估计值间的残差，并对所述残差进行有损编码，将原始图像估计值与解码后的残差图像相加，得到最终的重建图像。


2.如权利要求1所述的一种基于八度卷积和语义分割的图像压缩方法，其特征在于，所述语义分割网络采用SegNet网络，原始图像通过预训练的SegNet输出语义分割图，将其编码为比特流的底层，然后使其与原始图像共同作为ComNet输入，以生成原始图像的低维表示。


3.如权利要求2所述的一种基于八度卷积和语义分割的图像压缩方法，其特征在于，所述语义分割图和原始图像的低维表示均使用FLIF进行无损编码。


4.如权利要求1所述的一种基于八度卷积和语义分割的图像压缩方法，其特征在于，所述第一组八度卷积网络采用ComNet网络，所述ComNet网络具有三层八度卷积，每一层八度卷积对原始图像进行一次下采样，分别生成128、256、512通道的特征图。


5.如权利要求4所述的一种基于八度卷积和语义分割的图像压缩方法，其特征在于，所述八度卷积层的结构包括：四个卷积核分别对应两个不同频率的分量的计算：XH→YH，XH→YL，XL→YH，XL→YL，其中XH→YL过程为了使低频维度减半，采用步长为2的平均池化，而XL→YH中为了使维度增加，先进行基于最临近插值法进行上采样，在进行卷积操作。


6.如权利要求1所述的一种基于八度卷积和语义分割的图像压缩方法，其...

【专利技术属性】
技术研发人员：孟丽丽，刘志远，蔡晓雅，张佳，谭艳艳，张化祥，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37