【技术实现步骤摘要】
本专利技术属于遥感图像处理领域，涉及一种高光谱遥感图像压缩方法、设备及产品，尤其涉及一种基于transformer-cnn混合超先验和空间-通道注意力的高光谱遥感图像压缩方法、设备及产品。
技术介绍
1、高光谱图像包含成百上千光谱波段，这些波段包含大量的光谱信息，能够精细的刻画地物的类别特征等。而随着近年来成像技术的发展，高光谱图像的空间和光谱维度分辨率越来越高，给对地观测提供了更为丰富的信息。空间和光谱维度尺寸越来越大的高光谱图像数据给图像的存储和传输造成了很大的负担。与此同时，各类遥感卫星对地平台每时每刻都在产生大量的数据，这进一步加剧了遥感系统数据的存储和传输的负担。
2、为了对节约存储空间和传输带宽，对高光谱遥感图像数据进行压缩势在必行。目前已经有许多针对高光谱遥感图像的压缩，包括一些基于传统算法的模型和基于深度学习算法的模型，然而这些算法未能充分考虑遥感图像中广泛存在的空间冗余和光谱冗余，对高光谱图像中的非局部空间冗余挖掘不够充分，导致压缩性能受到限制。
3、因此，亟需一种针对高光谱遥感图像的有损图像压缩算法，以充分挖掘高光谱遥感图像中存在的局部和非局部空间冗余和光谱冗余，以提升压缩性能，节约图像存储空间和传输带宽。
技术实现思路
1、为了解决上述技问题，本专利技术提供了一种基于transformer-cnn混合超先验和空间-通道注意力的高光谱遥感图像压缩方法、设备及产品。
2、第一方面，本专利技术提供了一种基于混合超先验的高光谱遥感图
3、步骤1：将原始高光谱遥感图像的空间大小填充为n的整数倍，其中n值与下采样次数相关，下采样次数为k时，n＝2k；
4、步骤2：利用基于空间-通道注意力结合cnn和mlp的网络，将原始图像转换到潜在子空间表示，获得潜在表示系数，并将潜在表示系数进行量化；
5、步骤3：利用基于transformer和cnn的两个网络分别从潜在表示中提取深度潜在表示信息，并从深度潜在表示信息中提取超先验信息，混合超先验信息获得hyperprior；
6、步骤4：使用基于factorized的熵模型参数对两个深度潜在表示进行熵模型的构建，之后对深度潜在表示进行熵的编解码；
7、步骤5：使用混合超先验对潜在表示进行熵模型参数的预测；
8、步骤6：利用构建的熵模型，对潜在表示的每个像素点逐次进行熵编码，转化为2进制码流；
9、步骤7：利用基于cnn和mlp的混合主干网络，通过熵模型和二进制码流，利用熵解码算法重建潜在表示，并利用解码后的潜在表示数据生成重建高光谱图像。
10、作为优选，步骤2中，所述将潜在子空间系数进行量化，是针对填充后的原始高光谱遥感图像x，量化为：y＝ga(x)；其中，ga表示主干分析网络，用于将图像x转化为潜在表示系数；y、分别表示量化前后的潜在表示信息，u|q表示量化过程。
11、作为优选，所述主干分析网络和主干合成网络，均包括四个cnn-mlp混合模块，cnn-mlp的结构如图2所示。在这一模块中，输入特征分别输入cnn和mlp分支，分别挖掘图像中的局部和非局部特征，之后两个特征窜连起来，在输入到一个空间通道注意力模块中，之后在使用一个步长为2的卷积/反卷积层进行下采样或上采样。在主干分析网络部分，使用的是步长为2的卷积以进行下采样，而在主干合成网络中则是使用步长为2的反卷积层进行上采样。cnn-mlp模块中的cnn模块中首先使用了卷积核为1的卷积进行通道压缩，之后使用卷积核为1、3、5、7多个卷积提取多尺度信息，然后将它们串连起来通过两层卷积层得到最后的特征，在于输出特征进行一个残差链接。mlp模块中，空间映射部分使用了和cnn模块类似的多尺度卷积，而后通道映射部分使用了两个全连接层和一个leakyrelu层。空间通道注意力模块s-c att中，分别由两分支网络分别学习空间和通道的特征，然后与输入的特征进行点乘加权，然后串连起来作为输出。
12、作为优选，步骤3中，首先获取量化前后的基于transformer和基于cnn网络的深度潜在表示的数据和其中，ha_t、ha_c分别表示基于transformer超先验提取网络和基于cnn超先验提取网络；u|q表示量化过程；
13、然后基于transformer合成网络hs_t和基于cnn超先验合成网和hs_c，获得潜在表示信息中提取超先验信息和
14、最后获得的混合超先验信息hyperprior＝[hyperprior_t,hyperprior_c]。
15、作为优选，所述基于transformer超先验提取网络和基于transformer超先验合成网络hs_t，由顺序连接的transformer模块、下采样层、transformer模块、下采样层、u|q量化层、上采样层、transformer模块、上采样层和transformer模块组成；
16、所述基于cnn超先验提取网络和基于cnn超先验合成网和hs_c，由顺序连接的conv5网络层、下采样层、conv 5网络层、下采样层、u|q量化层、上采样层、conv 5网络层块、上采样层和conv 5网络层组成。
17、作为优选，步骤4中，所述熵建模，是对两个量化后的深度潜在表示的每个像素点都构建一个高斯混合模型每个像素点的熵模型有k*3个参数需要预测，其中，k表示高斯混合模型中高斯模型的数目；然后计算出每个点的概率值p，利用该概率值来统计深度潜在表示的熵值；其中，高斯混合模型的参数wi，μi，δi通过参数预测网络parameter来进行预测，[wi,μi,δi]＝parameter(hyperprior)。
18、作为优选，所述熵模型，均是训练好的模型；在模型的训练过程中，将率失真作为损失loss，使用反向传播算法对网络的参数进行优化；
19、
20、其中，h_t、h_c、h_y均表示熵值，代表两个深度潜在表示存储所占码流和潜在表示所占码流所占的平均比特；x,为原始高光谱图像与原始高光谱图像的失真；λ是一个平衡参数，使用不同的λ值，获取不同的压缩率的重建图像。
21、第二方面，本专利技术提供了一种基于混合超先验的高光谱遥感图像压缩设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现基于混合超先验的高光谱遥感图像压缩方法。
22、第三方面，本专利技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于混合超先验的高光谱遥感图像压缩方法。
23、第四方面，本专利技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述基于混合超先验的高光谱遥感图像压缩方法。
24、与现有高光谱图像压缩技术相比，本专利技术的有益效果是：
25、(1)本专利技术本文档来自技高网...
【技术保护点】
1.一种基于混合超先验的高光谱遥感图像压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：步骤2中，所述将潜在子空间系数进行量化，是针对填充后的原始高光谱遥感图像X，量化为：Y＝Ga()；其中，Ga表示主干分析网络，用于将图像X转化为潜在表示系数；Y、分别表示量化前后的潜在表示信息，U|Q表示量化过程。
3.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：所述主干分析网络和主干合成网络，均包括四个CNN-MLP混合模块，输入特征分别输入CNN和MLP分支，分别挖掘图像中的局部和非局部特征，之后两个特征窜连起来，在输入到一个空间通道注意力模块中，之后在使用一个步长为2的卷积/反卷积层进行下采样或上采样；在主干分析网络部分，使用的是步长为2的卷积以进行下采样，在主干合成网络中则是使用步长为2的反卷积层进行上采样；CNN-MLP混合模块中的CNN模块首先使用了卷积核为1的卷积进行通道压缩，之后使用卷积核为1、3、5、7多个卷积提取多尺度信息，然后将它们串连起来通过两层卷积层得到
4.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：步骤3中，首先获取量化前后的基于Transformer和基于CNN网络的深度潜在表示的数据和其中，Ha_t、Ha_c分别表示基于Transformer超先验提取网络和基于CNN超先验提取网络；U|Q表示量化过程；
5.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：所述基于Transformer超先验提取网络和基于Transformer超先验合成网络Hs_t，由顺序连接的transformer模块、下采样层、transformer模块、下采样层、U|Q量化层、上采样层、transformer模块、上采样层和transformer模块组成；
6.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：步骤4中，所述熵模型，是对两个量化后的深度潜在表示的每个像素点都构建一个高斯混合模型每个像素点的熵模型有k*3个参数需要预测，其中，k表示混个高斯模型中高斯模型的个数；然后计算出每个点的概率值p，利用该概率值来统计深度潜在表示的熵值；其中，高斯混合模型的参数wi，μi，δi通过参数预测网络Parameter来进行预测，
7.根据权利要求1-6任一项所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：所述熵模型，均是训练好的模型；在模型的训练过程中，将率失真作为损失Loss，使用反向传播算法对网络的参数进行优化；
8.一种基于混合超先验的高光谱遥感图像压缩设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于混合超先验的高光谱遥感图像压缩方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于混合超先验的高光谱遥感图像压缩方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于混合超先验的高光谱遥感图像压缩方法。
...【技术特征摘要】
1.一种基于混合超先验的高光谱遥感图像压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：步骤2中，所述将潜在子空间系数进行量化，是针对填充后的原始高光谱遥感图像x，量化为：y＝ga()；其中，ga表示主干分析网络，用于将图像x转化为潜在表示系数；y、分别表示量化前后的潜在表示信息，u|q表示量化过程。
3.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：所述主干分析网络和主干合成网络，均包括四个cnn-mlp混合模块，输入特征分别输入cnn和mlp分支，分别挖掘图像中的局部和非局部特征，之后两个特征窜连起来，在输入到一个空间通道注意力模块中，之后在使用一个步长为2的卷积/反卷积层进行下采样或上采样；在主干分析网络部分，使用的是步长为2的卷积以进行下采样，在主干合成网络中则是使用步长为2的反卷积层进行上采样；cnn-mlp混合模块中的cnn模块首先使用了卷积核为1的卷积进行通道压缩，之后使用卷积核为1、3、5、7多个卷积提取多尺度信息，然后将它们串连起来通过两层卷积层得到最后的特征，在于输出特征进行一个残差链接；mlp模块中，空间映射部分使用和cnn模块类似的多尺度卷积，而后通道映射部分使用了两个全连接层和一个leakyrelu层；空间通道注意力模块s-catt中，分别由两分支网络分别学习空间和通道的特征，然后与输入的特征进行点乘加权，然后串连起来作为输出。
4.根据权利要求1所述的基于混合超先验的高光谱遥感图像压缩方法，其特征在于：步骤3中，首先获取量化前后的基于transformer和基于cnn网络的深度潜在表示的数据和其中，ha_t、ha_c分别表示基于transformer超先验提取网络和基于cnn超先验提取网络；u|q表示量化过...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。