一种基于深度学习的生成式遥感图像压缩方法技术

本发明专利技术技术方案提供了一种基于深度学习的生成式遥感图像压缩方法。本发明专利技术采用Pytorch深度学习框架训练，以“自编码器(AutoEncoder)+生成对抗模型(GAN)”为范式，网络模型主要分为编码器、预量化和量化模块、解码器(生成器)和判别器共三个部分。本发明专利技术适用于任意光谱维度的同源遥感图像进行压缩处理，适用于低带宽、低码率条件下遥感图像压缩传输，并且具有优异的图像重建能力，本框架针对深度神经网络的规模和运行速度也进行了优化，便于面向物联网设备的部署和推广。

【技术实现步骤摘要】
一种基于深度学习的生成式遥感图像压缩方法
本专利技术属于遥感图像压缩领域，利用深度学习框架对遥感图像压缩与解压缩处理。
技术介绍
相较于自然图像，遥感图像的光谱维包含了更加丰富的信息，且遥感图像种类繁多，数据量大。利用不同地物所具有的光谱曲线差异，遥感图像被广泛应用于国民经济的各个领域。随着高分遥感成像技术的应用普及，如何有效的压缩由于遥感图像光谱和空间分辨率显著提升所带来的传输和存储数据量激增等挑战是遥感图像应用过程中亟待解决的问题。新兴的图像处理方法深度学习(DeepLearning)通过从大量训练样本中学习目标的特征来完成特定的任务。目前深度学习已经在图像分类、目标检测、行人再识别等多个图像处理的领域取得了重大成就。目前，现有的深度学习技术多用于普通可见光图像的压缩，而基于深度学习的遥感图像压缩技术还是比较少的。Toderici(参考文献TodericiG,VincentD,JohnstonN,etal.FullResolutionImageCompressionwithRecurrentNeuralNetworks[J].arXivpreprintarXiv:1608.05148,2016.)等提出了基于长短时记忆网络的、可变比率的图像压缩算法。算法将一张32×32大小的图像输入到网络中，通过减少图像的尺度和调节特征图的个数，实现对图像的压缩，然后通过解码网络实现图像信息的还原。Ball(参考文献BalléJ,LaparraV,SimoncelliEP.End-to-endOptimizedImageCompression[J].arXivpreprintarXiv:1611.01704,2016.)等使用卷积神经网络来实现图像的压缩。网络包含分析变换结构，量化结构和合成变换结构三个部分，这些结构主要由卷积层、图像降采样层、GDN归一化层等组成。Li(参考文献LiM,ZuoW,GuS,etal.LearningConvolutionalNetworksforContent-weightedImageCompression[J].arXivpreprintarXiv:1703.10553,2017.)等提出了基于图像内容加权的图像压缩技术，此方法针对不同的图像内容使用不同的比特率编码，它在传统自编码器结构的基础上，加入了重要性图概念，通过重要性图来实现不同图像内容的码率控制。但是这些作者提出的方法都是针对可见光图像的压缩，而不是针对遥感图像的压缩。此外，随着超算芯片等相关计算力方案的提升，深度学习模型部署于星上环境的条件日益成熟，如何克服深度模型规模和时间上的壁垒，也是一项重要的议题。综上所述，目前的遥感图像压缩算法还需要针对不同遥感图像光谱数目存在的巨大差异设计一套较为普适的压缩方案，以自动适应不同光谱数目条件下的遥感图像压缩处理；同时为解决海量遥感图像的快速压缩处理，需要实现更高的率失真压缩算法性能；此外，为满足遥感图像的压缩部署在星上等小型物联网设施上的应用需求，所提出的压缩的算法和模型需要满足部署平台有限的资源规模需求和较少的推理时间需求的限制。
技术实现思路
为解决上述问题，本专利技术提供了一种深度学习生成式遥感图像压缩方法，采用“自编码器(Auto-Encoder)+生成对抗模型(GAN)”的模式，通过编码器、量化器、解码器(生成器)和判别器三个部分的处理，完成满足小型物联网部署环境要求的自适应遥感图像压缩处理。本专利技术所述的一种深度学习生成式遥感图像压缩方法，所采用的技术方案是：图像张量经过编码器网络压缩处理后，得到原图像的1/128规模的隐藏表征张量，再将隐藏表征张量输入到量化器网络经过预量化和量化处理得到二进制的码流，量化后的二进制码流输入到解码器(生成器)得到重建图像，重建图像再输入判别器网络进行甄别处理，生成器(解码器)与判别器进行有限次博弈(训练)，达到纳什均衡状态(网络收敛)，实现图像的率失真优化。所述编码器网络包含为通道自适应模块(channel-adaptor)和下行块(downblock)模块，channel-adaptor是一层保留空间维度的卷积层(kernel-size＝3,padding＝1)，图像张量(B,C,H,W)经过channel-adaptor空间维度(H,W)不变，通道数变为4×max{8，c}，其中，B是批处理数量，C为图像通道，H为图像高度，W为图像宽度。上述公式c为具体的通道数。编码器里由m(通常取值为3、4、5)个基于密集网络(densenet)构建的downblock；每个downblock由密集模块(d-denseblock)和下采样模块(downsample)组成；d-denseblock由4个密集单元(d-denseunit)组成，d-denseblock的输出是其中所有d-denseunit在C维度上的拼接之和；d-denseunit依次由GDN(GENERALIZEDNORMALIZATIONTRANSFORMATION)归一化、LeakyRelu激活以及输出C为m的卷积层组成，在本方案中原图像经过编码器实现c/(m×210)倍率的压缩。所述量化器网络包括预量化和量化处理模块。本方案在量化器网络中引入了基于离散神经网络学习的预量化处理模块，在瓶颈层(bottleneck)将码流(B*C*H*W)映射到嵌入流行空间(C*(B*H*W))中，以KL散度构造的损失函数，学习参数为C的B*H*W维度的类别分布，实现结构的聚簇化。预量化模块的处理都是以矩阵向量运算的方式实现。量化处理模块是将预量化之后的特征图(featuremaps)进行{-1,1}二值化处理得到码流。所述解码器(生成器)和判别器共同构成生成对抗模型(GAN)：解码器(生成器)由m(通常取值为3、4、5)个基于密集网络(densenet)构建的上行块(upblock)组成；每个upblock由u-denseblock和上采样upsample(pixel-shuffle)模块组成；u-denseblock由4个u-denseunit组成，u-denseblock的输出是其中所有u-denseunit在C维度上的拼接之和；u-denseunit依次由IGDN(INVERSEGENERALIZEDNORMALIZATIONTRANSFORMATION)反归一化、LeakyRelu激活以及输出C为m的卷积层组成。判别器网络基本结构为4个栈式连接卷积层，把最后一层卷积层的特征距离作为距离度量。所述一种深度学习生成式遥感图像压缩方法，模型训练使用的损失函数L如下：L＝(1-MSSSIM)+MSE+0.01×PSNR+Pro_Q_diff+GAN_lossMSSSIM表示图像多尺度结构相似度，MSE为均方误差，PSNR为图像信号峰值信噪比，Pro_Q_diff为预量化模块的损失，GAN_loss为生成对抗损失。(1)本方案对于光谱数接近自然图像的高分辨率遥感图像乃至高光谱图像都具有较好的性能。对于光谱维度(C)为n的图像张量(C*H*本文档来自技高网...

【技术保护点】
1.一种基于深度学习的生成式遥感图像压缩方法，其特征在于，包括如下步骤：/n网络模型训练阶段，将训练图像输入到构建的网络模型中进行训练，直到收敛，具体包括：/n步骤1，图像张量经过编码器网络压缩处理后，得到原图像的1/128规模的隐藏表征张量；/n步骤2，将隐藏表征张量输入到量化器网络，经过预量化处理和量化处理得到二进制的码流；/n步骤3，量化后的二进制码流输入到解码器得到重建图像，重建图像再输入判别器进行甄别处理，在解码器与判别器有限次博弈后，达到纳什均衡状态，实现图像的失真优化，所述解码器和判别器共同构成生成对抗模型GAN；/n所述编码器网络包含通道自适应模块channel-adaptor和下行块downblock，channel-adaptor是一层保留空间维度的卷积层，图像张量(B,C,H,W)经过channel-adaptor空间维度(H,W)不变，通道数变为4×max{8，c}，其中，B是批处理数量，C为图像通道，H为图像高度，W为图像宽度，上述公式c为具体的通道数；编码器网络中包含m个基于densenet构建的downblock模块，每个downblock由密集模块d-denseblock和下采样模块downsample组成；d-denseblock由4个密集单元d-denseunit组成，d-denseblock的输出是其中所有d-denseunit在C维度上的拼接之和；d-denseunit依次由GDN归一化、LeakyRelu激活以及输出C为m的卷积层组成，原图像经过编码器实现c/(m×2...

【技术特征摘要】
1.一种基于深度学习的生成式遥感图像压缩方法，其特征在于，包括如下步骤：
网络模型训练阶段，将训练图像输入到构建的网络模型中进行训练，直到收敛，具体包括：
步骤1，图像张量经过编码器网络压缩处理后，得到原图像的1/128规模的隐藏表征张量；
步骤2，将隐藏表征张量输入到量化器网络，经过预量化处理和量化处理得到二进制的码流；
步骤3，量化后的二进制码流输入到解码器得到重建图像，重建图像再输入判别器进行甄别处理，在解码器与判别器有限次博弈后，达到纳什均衡状态，实现图像的失真优化，所述解码器和判别器共同构成生成对抗模型GAN；
所述编码器网络包含通道自适应模块channel-adaptor和下行块downblock，channel-adaptor是一层保留空间维度的卷积层，图像张量(B,C,H,W)经过channel-adaptor空间维度(H,W)不变，通道数变为4×max{8，c}，其中，B是批处理数量，C为图像通道，H为图像高度，W为图像宽度，上述公式c为具体的通道数；编码器网络中包含m个基于densenet构建的downblock模块，每个downblock由密集模块d-denseblock和下采样模块downsample组成；d-denseblock由4个密集单元d-denseunit组成，d-denseblock的输出是其中所有d-denseunit在C维度上的拼接之和；d-denseunit依次由GDN归一化、LeakyRelu激活以及输出C为m的卷积层组成，原图像经过编码器实现c/(m×210)倍率的压缩；
所述解码器和判别器：解码器由m个基于densenet构建的上行块upblock组成；每个upblock由u-denseblock和上采样模块upsample组成；u-denseblock由4个u-denseunit组成，u-denseblock的输出是其中所有denseunit在C维度上的拼接之和；u-denseunit依次由IGDN反归一化、Lea...

【专利技术属性】
技术研发人员：种衍文，翟亮，潘少明，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42