一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法技术

本发明专利技术提供一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，将引导滤波保留更好的边缘、细节信息和NSCT多尺度多方向的分解优势，与CNN相结合搭建两阶轻量型网络模型对MS图像和PAN图像进行融合，其中引导滤波对直方图匹配后的全色图像MLPAN进行滤波得到多尺度的高频分量以及低频分量，NSCT对从MS图像中提取的I分量图像进行滤波得到多尺度多方向的高频方向子带图像以及低频子带图像，再利用残差模块的优势构建细节提取网络ResCNN以提取注入细节In

【技术实现步骤摘要】
一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法


[0001]本专利技术涉及遥感图像处理
，特别涉及一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法。

技术介绍

[0002]遥感图像广泛的应用在各行各业，像产量预测、林业病虫害检测、森林自然灾害预测、地质探测、国家安防、土地利用、环境变化检测等等，但是受到卫星传感器技术的限制，不能获得同时具有高空间分辨率和高光谱分辨率的图像，只能够获得高空间分辨率低光谱分辨率的全色图像(PAN)和低空间分辨率高光谱分辨率的多光谱图像(MS)，然而在实际应用中往往需要既具有高空间分辨率又具有高光谱分辨率的图像，甚至要求具有高时间分辨率的图像，目前常用的方式是利用PAN和MS图像的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像(HSHM)，一般可以通过下列技术实现：图像增强、超分辨率重建、图像融合等等，其中主流的研究技术是图像融合技术，它是指将多源图像通过一定方法生成一个质量更高、信息更丰富的图像，符合人们的视觉感知、以便决策人员可以通过更清晰的图像做出更精确的决策。
[0003]MS图像和PAN图像的融合又称为全色锐化，是遥感图像处理领域研究的热门、重点之一，融合方法可以归纳为成分替换方法、多分辨率分析法、变分方法、深度学习。成分替换方法，像IHS、GIHS、AIHS、PCA、Brovey、GS等，虽然这些方法能够提高空间分辨率，但是普遍存在光谱信息不同程度的失真；多分辨率分析法像小波(wavelet)变换、拉普拉斯金字塔分解(Laplacian Pyramid，LP)、轮廓波(contourlet)变换、曲波(curvelet)变换、非下采样轮廓波变换(NSCT)(如公开号为CN103632353A的基于NSCT的多聚焦图像融合算法)等虽然在一定程度上减少了光谱失真，但是空间分辨率比较低，还可能出现伪影问题；深度学习在计算机视觉领域的快速发展，使得各种网络开始应用在遥感图像融合方向，像PNN、PCNN(如公开号为CN112184646A的基于梯度域导向滤波和改进PCNN的图像融合方法)、DRPNN、PanNet、PanGAN等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高、过拟合、训练时间过长的问题。

技术实现思路

[0004]鉴以此，本专利技术提出一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，在提高空间分辨率的同时保留光谱信息，融合质量较高，并且两阶轻量型网络简单，训练时间短，防止过拟合现象。
[0005]本专利技术是通过以下技术方案实现的：
[0006]一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，包括以下步骤：
[0007]步骤S1、获取卫星遥感图像，对遥感图像中的MS图像和PAN图像进行预处理；
[0008]步骤S2、根据Wald准则对预处理后的MS图像和PAN图像进行降分辨率处理，并构建仿真训练集、仿真测试集以及真实测试集，其中仿真训练集和仿真测试集包括DUMS图像、
LPAN图像以及MS图像，真实测试集包括UMS图像和PAN图像；
[0009]步骤S3、对仿真训练集中的DUMS图像使用AIHS变换得到亮度I分量图像，并使用I分量图像对LPAN图像进行直方图均衡化处理，得到MLPAN图像；
[0010]步骤S4、采用引导滤波器对MLPAN图像进行滤波，得到多尺度的高频分量MLPAN
Hn
以及低频分量MLPAN
Ln
；
[0011]步骤S5、采用NSCT对I分量图像进行滤波，得到多尺度多方向的高频方向子带图像I
Hn
以及低频子带图像I
Ln
；
[0012]步骤S6、根据DUMS图像、MLPAN图像、高频分量MLPAN
Hn
、低频分量MLPAN
Ln
、高频方向子带图像I
Hn
以及低频子带图像I
Ln
构建细节提取网络ResCNN，并获得注入细节In
‑
details；
[0013]步骤S7、将注入细节In
‑
details和DUMS图像作为浅层CNN网络的输入，MS图像作为输出，建立非线性模型NLCNN网络，对NLCNN网络进行充分训练，获得最优非线性模型，对最优非线性模型的参数进行冻结，使用最优非线性模型获得全色锐化图像。
[0014]优选的，所述步骤S1中的预处理包括：大气校正和空间配准。
[0015]优选的，所述步骤S2的具体步骤包括：
[0016]步骤S21、根据Wald准则及全色图像和多光谱图像之间的空间分辨率之比对MS图像和PAN图像使用双三次插值方法进行下采样，并获得降分辨率的LPAN图像以及DMS图像；
[0017]步骤S22、根据Wald准则对DMS图像使用双三次插值方法进行上采样，并获得DUMS图像；
[0018]步骤S23、根据Wald准则对MS图像使用双三次插值方法进行上采样，并获得UMS图像；
[0019]步骤S24、由DUMS图像、LPAN图像以及MS图像构建仿真训练集和仿真测试集，由UMS图像和PAN图像构建真实测试集。
[0020]优选的，所述步骤S3中的AIHS变换获取I分量图像的表达式为：
[0021][0022]其中i为第i个通道，a
i
为自适应系数，N为通道的总数。
[0023]优选的，所述步骤S4的具体步骤为：使用引导滤波器对MLPAN图像进行滤波，引导滤波器的输入图像为MLPAN图像，引导图像为I分量图像，进行滤波后得到低频分量MLPAN
i
＝GF(MLPAN
i
‑1,I)，其中GF为引导滤波器，MLPAN
i
‑1是第i
‑
1次滤波的输出图像，当i＝1时，即是MLPAN图像，则第i个低频分量MLPAN
Li
＝MLPAN
i
，第i个高频分量MLPAN
Hi
＝MLPAN
Li
‑1‑
MLPAN
Li
，在进行n次滤波后得到n个高频分量MLPAN
Hn
以及n个低频分量MLPAN
Ln
。
[0024]优选的，所述步骤S5的NSCT包括非下采样金字塔滤波器组NSPFB和非下采样方向滤波器组NSDFB。
[0025]优选的，所述步骤S5的具体步骤包括：
[0026]步骤S51、采用NSPFB对I分量图像进行分解，获得低频子带图像I
Li
和高频子带图像I
Hi
；
[0027]步骤S52、采用NSPFB对低频子带图像进行分解，并获得下一层的低频子带图像和高频子带图像；
[0028]步骤S53、采用NSDFB分别对每一层的高频子带图像进行滤波，获得每一层的高频
方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，包括以下步骤：步骤S1、获取卫星遥感图像，对遥感图像中的MS图像和PAN图像进行预处理；步骤S2、根据Wald准则对预处理后的MS图像和PAN图像进行降分辨率处理，并构建仿真训练集、仿真测试集以及真实测试集，其中仿真训练集和仿真测试集包括DUMS图像、LPAN图像以及MS图像，真实测试集包括UMS图像和PAN图像；步骤S3、对仿真训练集中的DUMS图像使用AIHS变换得到亮度I分量图像，并使用I分量图像对LPAN图像进行直方图均衡化处理，得到MLPAN图像；步骤S4、采用引导滤波器对MLPAN图像进行滤波，得到多尺度的高频分量MLPAN
Hn
以及低频分量MLPAN
Ln
；步骤S5、采用NSCT对I分量图像进行滤波，得到多尺度多方向的高频方向子带图像I
Hn
以及低频子带图像I
Ln
；步骤S6、根据DUMS图像、MLPAN图像、高频分量MLPAN
Hn
、低频分量MLPAN
Ln
、高频方向子带图像I
Hn
以及低频子带图像I
Ln
构建细节提取网络ResCNN，并获得注入细节In
‑
details；步骤S7、将注入细节In
‑
details和DUMS图像作为浅层CNN网络的输入，MS图像作为输出，建立非线性模型NLCNN网络，对NLCNN网络进行充分训练，获得最优非线性模型，对最优非线性模型的参数进行冻结，使用最优非线性模型获得全色锐化图像。2.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S1中的预处理包括：大气校正和空间配准。3.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S2的具体步骤包括：步骤S21、根据Wald准则及全色图像和多光谱图像之间的空间分辨率之比对MS图像和PAN图像使用双三次插值方法进行下采样，并获得降分辨率的LPAN图像以及DMS图像；步骤S22、根据Wald准则对DMS图像使用双三次插值方法进行上采样，并获得DUMS图像；步骤S23、根据Wald准则对MS图像使用双三次插值方法进行上采样，并获得UMS图像；步骤S24、由DUMS图像、LPAN图像以及MS图像构建仿真训练集和仿真测试集，由UMS图像和PAN图像构建真实测试集。4.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，其特征在于，所述步骤S3中的AIHS变换获取I分量图像的表达式为：其中i为第i个通道，a
i
为自适应系数，N为通道的总数。5.根据权利要求1所述的一种结合引导滤波和NSCT的两阶轻量型网络全色锐化方法，...

【专利技术属性】
技术研发人员：黄梦醒，吴园园，李玉春，冯思玲，毋媛媛，吴迪，
申请(专利权)人：海南大学，
类型：发明
国别省市：