一种基于深度可分离CNN模型的遥感图像融合方法技术

本发明专利技术公开了一种基于深度可分离CNN模型的遥感图像融合方法，包括如下步骤：通过预处理后的原始彩色图像，构建融合模型训练集图像；根据融合模型训练集图像，训练深度可分离CNN模型；获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。本发明专利技术将深度可分离CNN模型应用于全色图像和多光谱图像的融合，在提高融合图像的精度的同时，也加快了融合速度，能够得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像，对遥感图像的应用具有极大的意义。

【技术实现步骤摘要】
一种基于深度可分离CNN模型的遥感图像融合方法
本专利技术属于遥感图像处理
，具体涉及一种基于深度可分离CNN模型的遥感图像融合方法。
技术介绍
遥感数据在各行业需求巨大。但由于多种原因，如场景的复杂性、输入数据集的时间和光谱变换、不同的空间数据标准、特定的数据以及特定的空间对象分类和分类体系等，遥感数据在精度和形式上存在很多差异。如今，在地球以外的各种观测平台上，已经有许多具有不同功能的遥感卫星。这些卫星可以提供不同的空间、时间和光谱图像，即遥感图像。由于卫星传感器的局限性，遥感卫星不能同时获得高光谱图像和高空间分辨率图像，只能分别获得高光谱的多光谱图像和高空间分辨率的全色图像。但是在实际应用中，既需要高光谱分辨率的图像，又需要高空间分辨率的图像，这使得图像融合具有重要的应用价值。地理信息数据具有不同分辨率、不同精度、不同覆盖范围等多尺度特征，数字电网中的地理信息数据主要包括遥感影像数据、航飞数据、数字高程模型等数据，在实际应用中往往需要同时具备高光谱分辨率和高空间分辨率两种信息的图像。目前传统的融合算法还存在着融合精度不高，速度较慢的问题，导致融合效果不是很理想。所以，需要一个新的技术方案来解决这个问题。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，提供一种基于深度可分离CNN模型的遥感图像融合方法，以解决目前传统的融合算法还存在着多光谱和全色图像融合精度不高，速度较慢的问题。技术方案：为实现上述目的，本专利技术提供一种基于深度可分离CNN模型的遥感图像融合方法，包括如下步骤：S1：通过预处理后的原始彩色图像，构建融合模型训练集图像；S2：根据融合模型训练集图像，训练深度可分离CNN模型；S3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；S4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；S5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。进一步地，所述步骤S1中融合模型训练集图像的构建方法为：A1：对获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；A2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在HLS空间的L分量作为训练集PrePan图像。进一步地，所述步骤A1具体为：B1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：f(i+u,j+v)＝ABC其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；S(x)为插值核；B2：根据以下公式，对步骤B1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。进一步地，所述步骤A2具体为：根据以下公式，计算原始彩色图像在HLS空间的L分量作为训练集PrePan图像：其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值。进一步地，所述步骤S2中深度可分离CNN模型的训练方法为：C1：搭建深度可分离CNN模型；C2：将步骤A1获得的多光谱图像和步骤A2获得的PrePan图像送入步骤C1搭建的深度可分离CNN模型，并进行模型训练。进一步地，所述步骤C1中深度可分离CNN模型的搭建方法为：假设F(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为P(i,j)和M(i,j)，为了计算F(i,j)，考虑P(i,j)和M(i,j)的临近像素，计算待融合像素NP(i,j)和NM(i,j)，再通过NP(i,j)和NM(i,j)来计算融合像素F(i,j)；将全色图像和多光谱图像分别进行深度可分离卷积运算，得到NP和NM，然后利用1*1大小的卷积核来对NP和NM卷积得到融合图像F，在卷积后进行非线性运算，最终的卷积运算定义为：其中X为卷积输入，w为卷积核，ReLU为非线性激活函数：ReLU(x)＝max{0，x}MS1中的待融合像素是在原始多光谱图像中每个像素考虑其邻近N*N个窗口中的像素卷积计算而来，MS2至MS5则是分别在前一次卷积的结果上再进行一次N*N卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；PAN1至PAN5同理，计算如下：其中PANo＝PAN，MSo＝MS，w为卷积核，o为卷积运算；PanMS1至PanMS5以及Fusion是在原始MS图像和PAN图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像Fusion则是在不同尺度下融合图像整合的结果；PanMSk和Fusion的计算分别为：其中，PANo＝PAN，MSo＝MS，PanMSo为空，[]运算是特征Map通道方向的拼接，o运算是卷积运算。进一步地，所述步骤S3中PrePan图像的获取过程为：D1：根据以下公式，计算获取的多光谱图像在HLS空间的L分量作为LMS图像：其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为所述数据集中原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值；D2：根据以下公式，将全色图像和步骤D1获取的LMS图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：其中，和Pan0分别是LMS和Pan的低频子带，(1<i<N)和Pani(1<i<N)分别代表是LMS和Pan的第i个高频子带，NSCT是非下采样轮廓波变换，利用非下采样金字塔分解和非下采样方向滤波器组，可以在不同尺度下得到图像多个方向上的轮廓信息；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；D3：将全色图像进行NSCT分解后的低频子带Pan0替换为LMS分解后的低频子带D4：根据以下公式，使用NSCT逆变换来重构LFusion，LFusio本文档来自技高网...

【技术保护点】
1.一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，包括如下步骤：/nS1：通过预处理后的原始彩色图像，构建融合模型训练集图像；/nS2：根据融合模型训练集图像，训练深度可分离CNN模型；/nS3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；/nS4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；/nS5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。/n

【技术特征摘要】
1.一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，包括如下步骤：
S1：通过预处理后的原始彩色图像，构建融合模型训练集图像；
S2：根据融合模型训练集图像，训练深度可分离CNN模型；
S3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；
S4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；
S5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。


2.根据权利要求1所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤S1中融合模型训练集图像的构建方法为：
A1：对获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；
A2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在HLS空间的L分量作为训练集PrePan图像。


3.根据权利要求2所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤A1具体为：
B1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：
f(i+u,j+v)＝ABC









其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；S(x)为插值核；
B2：根据以下公式，对步骤B1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。


4.根据权利要求2所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤A2具体为：
根据以下公式，计算原始彩色图像在HLS空间的L分量作为训练集PrePan图像：



其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值。


5.根据权利要求2所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤S2中深度可分离CNN模型的训练方法为：
C1：搭建深度可分离CNN模型；
C2：将步骤A1获得的多光谱图像和步骤A2获得的PrePan图像送入步骤C1搭建的深度可分离CNN模型，并进行模型训练。


6.根据权利要求5所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤C1中深度可分离CNN模型的搭建方法为：
假设F(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为P(i,j)和M(i,j)，为了计算F(i,j)，考虑P(i,j)和M(i,j)的临近像素，计算待融合像素NP(i,j)和NM(i,j)，再通过N...

【专利技术属性】
技术研发人员：袁兆祥，齐立忠，韩文军，孙小虎，苏晓云，谢非，王琦，赵斌，吴冰，陈红，
申请(专利权)人：国网经济技术研究院有限公司，南京师范大学，国网浙江省电力有限公司经济技术研究院，国网江苏省电力有限公司经济技术研究院，
类型：发明
国别省市：北京;11