一种基于NSST和参数自适应PCNN的遥感图像融合方法技术

本发明专利技术公开了一种基于NSST和参数自适应PCNN的遥感图像融合方法，属于多光谱和全色遥感图像融合技术领域，包括以下步骤：自适应加权平均计算多光谱强度分量、光谱估计、NSST分解、低频系数融合、高频系数融合、对融合后的系数进行NSST逆变换、图像重构。本发明专利技术采用上述一种基于NSST和参数自适应PCNN的遥感图像融合方法，解决了融合图像空间失真和光谱失真的问题，在主观视觉效果和客观评价方面都取得较好的结果，在增强空间细节表现能力和提升空间分辨率的同时有效的保留了多光谱图像的光谱信息。信息。信息。

【技术实现步骤摘要】
一种基于NSST和参数自适应PCNN的遥感图像融合方法


[0001]本专利技术涉及多光谱和全色遥感图像融合
，尤其是涉及一种基于NSST和参数自适应PCNN的遥感图像融合方法。

技术介绍

[0002]遥感图像可以从不同的卫星上获得，但是由于卫星内置光学传感器的限制，只能获得具有高空间分辨率但光谱分辨率低的全色图像和具有互补特性的多光谱图像，阻碍对图像的进一步理解。所以，有必要应用全色锐化方法融合多光谱和全色图像，得到高空间分辨率和光谱分辨率的融合图像。
[0003]到目前为止，已经提出了许多全色锐化方法。基于替代(Component Substitution，CS)的方法，如主成分分析方法、强度
‑
色调
‑
饱和度(Intensity
‑
Hue
‑
Saturation，IHS)方法，但是这些方法会造成严重的光谱失真。Khan等联合Brovey和Laplacian滤波器进行全色锐化。Yu等应用多凸优化框架解决全色锐化问题。Zhang等联合显著性分析和改进IHS进行全色锐化。Chen等将全色锐化问题转化为多目标优化问题进行求解。全色锐化也被描述为一种压缩感知重建问题，但是计算复杂度高。
[0004]基于多尺度分析(Multi Resolution Analysis，MRA)的方法在全色锐化领域引起了人们的兴趣，其从全色图像中提取空间细节信息，然后注入到多光谱图像的每个频带。与CS方法相比，MRA方法可以保留图像的光谱特征，但存在空间失真问题，如振铃或阶梯现象等。
[0005]为了克服MRA和CS方法的局限性，尝试联合CS和MRA方法融合多光谱和全色图像。Cheng等人联合IHS和小波变换进行融合,改善了融合图像的光谱信息。Dong等人将IHS变换与Curvelet变换结合进行融合。Ourabia等人利用增强的主成分分析和非下采样轮廓波变换进行融合。
[0006]近些年来，结合深度学习技术的融合算法得到了发展。Zhou等利用深度学习技术增强对比度，合成全色图像，以在保持空间细节的同时减少光谱失真。Xiong等设计适用于全色锐化的损失函数和能够提取原始图像光谱和空间特征的四层卷积神经网络。Xiong等采用深度卷积神经网络学习全色图像和全色图像的光谱信息，并用光谱角控制光谱损失。Xu等提出基于模型的深度全色锐化方法。Xing等提出一种双协同融合模型。
[0007]虽然现有的融合算法在许多方面表现良好，但仍有一些方面需要改进。例如基于深度学习的方法为了让模型达到较好的效果，往往需要非常多的训练数据，但是规范的遥感数据很少。不同的遥感卫星获取的数据类型也不一样，无法同时训练。此外，模型训练需要大量的时间，实验环境配置要求更高，网络调整的实时性较差。其他方法很难同时增强空间细节和光谱信息，会发生一定程度上的空间失真和光谱失真。

技术实现思路

[0008]本专利技术的目的是提供一种基于NSST和参数自适应PCNN的遥感图像融合方法，解决
了融合图像空间失真和光谱失真的问题，在主观视觉效果和客观评价方面都取得较好的结果，在增强空间细节表现能力和提升空间分辨率的同时有效的保留了多光谱图像的光谱信息。
[0009]为实现上述目的，本专利技术提供了一种基于NSST和参数自适应PCNN的遥感图像融合方法，包括以下步骤：
[0010]S1、自适应加权平均计算多光谱强度分量：采用基于加权拉普拉斯能量和的自适应加权平均方法，用于多光谱图像各波段融合生成强度分量I，加权拉普拉斯能量和利用水平、垂直以及主副对角线方向的八邻域内多个像素点，依据距离中心像素距离赋予恰当的权重，加权之后参与计算，加权拉普拉斯能量和作为空间域的清晰度、边缘特征信息指标，能量和较大的像素被认为是权重更大的信息，在融合过程中赋予更大的权重，根据加权拉普拉斯能量和设计自适应加权平均的系数ω
i
：
[0011][0012][0013]其中n是多光谱图像的波段，WSML
i
表示多光谱图像第i个波段的加权拉普拉斯能量和；
[0014]S2、光谱估计：
[0015]将I作为初始α通道，根据如下公式计算前景图像F和背景图像B，F和B包含光谱信息，后续步骤是通过融合从全色图像中获得空间细节信息：
[0016][0017]其中i是第i颜色通道，α
ix
和α
iy
值是光谱前景F
k
、光谱背景B
k
和α的水平和垂直导数；
[0018]S3、NSST分解：
[0019]对I和全色图像分别进行NSST分解，得到相应的不同尺度和方向的子带系数,后续根据低频子带系数和各高频子带系数特点，实施不同的融合策略；
[0020]S4、低频系数融合：
[0021]将加权拉普能量和以及局部多向梯度结合起来的融合规则，融合规则表示如下：
[0022]C＝w
I
M+w
P
P
ꢀꢀꢀ
(4)
[0023][0024][0025]M和LMG
I
，SML
I
，w
I
分别表示I的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，P和LMG
P
，SML
P
，w
P
表示全色图像的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，C为融合结果；
[0026]采用局部多向梯度和加权拉普拉斯能量和结合的自适应加权平均融合规则，对低频系数进行融合，得到低频融合系数和其中和为低频子带系数，和表示第j个尺度，第n个方向高频子带系数；
[0027]S5、高频系数融合：
[0028]将参数自适应脉冲耦合神经网络(PA
‑
PCNN)模型引入到图像融合过程，采用局部多方向梯度激励的参数自适应脉冲耦合神经网络作为融合规则融合高频系数，将每个高频系数的局部多方向梯度值作为PCNN的输入，PCNN模型中有5个自由参数：α
f
，β，V
L
，V
E
，α
e
，用λ＝βV
L
表示加权的连接强度，模型中的自由参数根据输入信息进行自适应计算，以下公式为具体计算方法：
[0029][0030][0031][0032][0033]其中σ(S)为范围[0,1]的输入图像S的标准差，S'和S
max
分别表示归一化后的最大类间方差法阈值和输入图像的最大强度，当达到最大迭代次数时，迭代停止，得到I和全色图像的各个高频系数的点火次数总和和采用点火次数取大进行融合，得到高频系数的融合结果融合规则如下：
[0034][0035]式中，j、n分别是图像的分解级数和方向数，代表像素点(x,y)处融合后的高频系数值，代表I中像素点(x,y)处的高频系数值，代表全色本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NSST和参数自适应PCNN的遥感图像融合方法，其特征在于，包括以下步骤：S1、自适应加权平均计算多光谱强度分量：采用基于加权拉普拉斯能量和的自适应加权平均方法，用于多光谱图像各波段融合生成强度分量I，加权拉普拉斯能量和利用水平、垂直以及主副对角线方向的八邻域内多个像素点，依据距离中心像素距离赋予恰当的权重，加权之后参与计算，加权拉普拉斯能量和作为空间域的清晰度、边缘特征信息指标，能量和较大的像素被认为是权重更大的信息，在融合过程中赋予更大的权重，根据加权拉普拉斯能量和设计自适应加权平均的系数ω
i
：其中n是多光谱图像的波段，WSML
i
表示多光谱图像第i个波段的加权拉普拉斯能量和；S2、光谱估计：将I作为初始α通道，根据如下公式计算前景图像F和背景图像B，F和B包含光谱信息，后续步骤是通过融合从全色图像中获得空间细节信息：其中i是第i颜色通道，α
ix
和α
iy
值是光谱前景F
k
、光谱背景B
k
和α的水平和垂直导数；S3、NSST分解：对I和全色图像分别进行NSST分解，得到相应的不同尺度和方向的子带系数,后续根据低频子带系数和各高频子带系数特点，实施不同的融合策略；S4、低频系数融合：将加权拉普能量和以及局部多向梯度结合起来的融合规则，融合规则表示如下：C＝w
I
M+w
P
P
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)(4)M和LMG
I
，SML
I
，w
I
分别表示I的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，P和LMG
P
，SML
P
，w
P
表示全色图像的低频系数、局部多方向梯度值、加权的拉普拉斯能量和、融合权重，C为融合结果；采用局部多向梯度和加权拉普拉斯能量和结合的自适应加权平均融合规则，对低频系数进行融合，得到低频融合系数和其中和为低频子带系数，和表示第j个尺度，第n个方向高频子带系数；S5、高频系数融合：
将参数自适应脉冲耦合神经网络(PA
‑
PCNN)模型引入到图像融合过程，采用局部多方向梯度激励的参数自适应脉冲耦合神经网络作为融合规则融合高频系数，将每个高频系数的局部多方向梯度值作为PCNN的输入，PCNN模型中有5个自由参数：α
f
，β，V
L
，V
E
，α
e
，用λ＝βV
L
表示加权的连接强度，模型中的自由参数根据输入信息进行自适应计算，以下公式为具体计算方法：计算方法：计算方法：计算方法：其中σ(S)为范围[0,1]的输入图像S的标准差，S'和S
max
分别表示归一化后的最大类间方差法阈值和输入图像的最大强度，当达到最大迭代次数时，迭代停止，得到I和全色图像的各个高频系数的点火次数总和和采用点...

【专利技术属性】
技术研发人员：刘丹凤，潘月涛，王立国，邢世帅，孟灵鸿，岳晓晗，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：