一种基于NSST和显著信息提取的多聚焦图像融合方法技术

本发明专利技术提出一种基于NSST和显著信息提取的多聚焦图像融合方法。主要涉及图像融合领域中的多聚焦图像融合问题。首先，将源图像通过NSST变换进行多尺度、多方向分解得到高、低频子带。其次，对低频子带系数采用局部区域的改进拉普拉斯能量和构建低频子带初始融合权重，为对低频初始融合权重进行修正，增加了非局部均值滤波修正融合规则；对高频子带系数采用基于相关系数的空间频率与能量相结合的融合规则，再加以相位一致性融合规则进行修正，构建高频子带融合权重；最后，通过NSST反变换得到最终融合图像。由于对低频和高频子带分别进行了相应的权重修正策略，降低了聚焦区域的判别错误率。在多组不同聚焦图像的实验中验证了该方法的有效性。方法的有效性。方法的有效性。

【技术实现步骤摘要】
一种基于NSST和显著信息提取的多聚焦图像融合方法


[0001]本专利技术涉及图像融合领域中的多聚焦图像融合问题，尤其是涉及一种基于NSST 和显著信息提取的多聚焦图像融合方法。

技术介绍

[0002]图像融合技术是属于图像处理领域的一大研究热点。一幅图像中包含的信息(亮 度，色彩，空间等)有限，因此，仅仅通过一张信息有限的图像，是很难满足特定的 应用场景。通过将多幅带有不同侧重信息的图像以某种规则融合在一起，从而得到一 幅含有更多信息，能够更加方便观察的图像。显然，图像融合的目标是将有用的信息 尽可能的保留，同时去除一定的冗余信息。多聚焦图像融合将同一场景下的不同聚焦 图像通过一定的融合方法整合在一起，从而使融合图像的清晰度更高，包含的信息更 加丰富。
[0003]图像融合领域应用较多的像素级融合方法中，包括基于空间域的融合、基于变换 域的融合方法以及基于深度学习的融合方法。其中，基于变换域的融合方法较其他两 种方法，应用较多。所谓变换域，就是将图像的原始数据信息通过某种可逆的数学变 换，得到具有不同特征信息的中间数据。通过对这些中间数据进行相应的融合规则处 理，在经过可逆变换得到融合图像。显然，这类方法中，可逆变换、融合规则成为了 关键。相继出现的可逆变换有金字塔变换、小波变换、非下采样轮廓波变换(NSCT)、 非下采样剪切波变换(NSST)等。采用的融合规则也相对较多，有基于空间频率的 融合规则，基于能量信息的融合规则，基于导向滤波的融合规则等。学者们从不同的 角度出发，提出了很多融合算法。大多数融合算法得出的融合图像，存在清晰度不高， 聚焦信息丢失，以及聚焦边缘模糊不清等现象。

技术实现思路

[0004]本专利技术提出了一种基于NSST和显著信息提取的多聚焦图像融合方法。对不同聚 焦图像进行NSST变换得到的高低频子带系数，采用不同的融合规则加以一定的修正 规则进行处理，最终得到融合图像。本专利技术主要通过以下过程步骤实现上述目的：
[0005](1)使用NSST变换对不同聚焦图像进行处理，得到高低频子带系数；
[0006](2)对(1)中得到的低频子带系数采用改进拉普拉斯能量和(SML)的初始低频融 合规则进行初步处理，得到初始低频融合权重；
[0007](3)运用显著性信息提取的低频修正融合规则对(2)中的结果进行一定的差错修 正；
[0008](4)对(1)中得到的高频子带系数采用基于相关系数的初始高频融合规则进行初 步处理,得到初始高频融合权重；
[0009](5)对一系列高频融合权重辅以不同程度的相位一致性(PC)修正规则，进行判别 修正；
[0010](6)对(3)和(5)得到的处理结果进行NSST反变换，得到融合结果。
附图说明
[0011]图1、基于NSST和显著信息提取的多聚焦图像融合框架图；图2、低频子带修 正规则框图；
具体实施方式
[0012]本专利技术引入非局部均值滤波(NLMF)结合导向滤波(GF)对低频子带系数进行加 权修正，将基于相关系数的空间频率与能量相结合构成初始高频加权融合规则，同时 运用相位一致性修正策略对初始高频融合权重进行修正判定。
[0013]非局部均值滤波修正融合规则如下：
[0014]不同聚焦图像经过NSST变换后，所得到的低频子带图像丢失细节信息，运用基 于改进拉普拉斯能量和(SML)的初始融合规则所得到的初始融合权重存在判别差错， 本专利技术考虑源图像的细节信息，利用非局部均值滤波对源图像进行滤波，再将源图像 与滤波图像进行差值运算得到显著性信息D
l
，
[0015]D
l
＝|I
l-I
l
×
NMLF|
ꢀꢀꢀ
(1)
[0016](1)式中：I
l
(0＜l＜L)为源图像，L代表源图像个数，
×
表示滤波操作。
[0017]再利用导向滤波得到聚焦区域细节信息，
[0018]G
l
＝guidedfilter(I
l
,D
l
,r,eps)
ꢀꢀꢀ
(2)
[0019]最后采用取大策略得到低频子带修正融合权重对初始融合权重进行差错修正。
[0020][0021]初始高频加权融合规则如下：
[0022]高频子带图像包含源图像的细节信息，本专利技术将空间频率和能量利用相关系数相 结合，构成初始高频融合规则。
[0023]首先，定义相关系数(Corr)的运算：
[0024][0025]式中：分别表示高频子带图像以及对高频子带图像进行均值滤 波后的图像，分别是的均值，M*N为所取的图 像块大小。
[0026][0027]接着定义基于相关系数的空间频率及能量(SF_Eng_Corr)计算公式如下：
[0028][0029]式中：SF_Corr和Eng_Corr分别表示空间频率相关系数和能量相关系数,对于一幅 图像的聚焦区域与非聚焦区域来说，聚焦区域类的SF_Corr值和Eng_Corr值往往 大于非聚焦区域。利用这一点，将两者加权结合构成SF_Eng_Corr，再利用取大策 略求取初始高频融合权重。
[0030]相位一致性修正策略如下：
[0031]由相关系数得到的初始高频融合权重忽视了高频子带系数本身的相关性。为此， 本文采用相位一致性PC加以修正，过程如下：
[0032]本专利技术采用一种新的活跃测量规则NAM来得到高频修正融合权重：
[0033][0034]式中：PC、LSCM、LE分别表示相位一致性，局部锐度变换以及局部能量；α、β、 γ分别为比例因子。
[0035]对高频子带系数来说，NAM能够将系数本身所带有的局部能量信息，细节边缘 信息，以及梯度信息通过一定的比例整合在一起，从而有利于对聚焦区域的判别。
[0036]为了验证本专利技术提出的基于NSST和显著信息提取的多聚焦图像融合方法的有效 性，进行了一系列对比实验。实验中选取3组大小分别为512pixel
×
512pixel，640pixel
ꢀ×
480pixel，512pixel
×
512pixel的不同聚焦图像进行融合实验，并与现有的五种常见 算法进行比较；同时采用六种评价指标进行定量评估。所用对比图片均已配准，实验 结果如表一所示：
[0037]表1平均指标结果
[0038]Tab.1 The result of average index
[0039][0040]从表中可以看出本专利技术方法在保留足够的融合信息的前提下，将融合图像的视觉 清晰度提高到了0.9009，结构相似度提高到0.9945。其余指标中，除了标准差STD 略有降低，其余均有一定地提升。本文算法不仅有效地保留了源图像的轮廓、纹理等 细节信息，同时，在图像的聚焦边缘区域，也有良好的视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NSST和显著信息提取的多聚焦图像融合方法，其特征在于包括以下步骤：(1)使用NSST变换对不同聚焦图像进行处理，得到高低频子带系数；(2)对(1)中得到的低频子带系数采用改进拉普拉斯能量和(SML)的初始低频融合规则进行初步处理，得到初始低频融合权重；(3)运用显著性信息提取的低频修正融合规则对(2)中的结果进行一定的差错修正；(4)对(1)中得到的高频子带系数采用基于相关系数的初始高频融合规则进行初步处理,得到初始高频融合权重；(5)对一系列高频融合权重辅以不同程度的相位一致性(PC)修正规则，进行判别修正；(6)对(3)和(5)得到的处理结果进行NSST反变换，得到融合结果。2.根据权利要求1所述的方法，其特征在于步骤(3)中加入非局部均值滤波修正融合规则，使低频融合权重更为精确，修正融合规则如下：利用非局部均值滤波对源图像进行滤波，再将源图像与滤波图像进行差值运算得到显著性信息D
l
：D
l
＝|I
l-I
l
×
NMLF|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)式中：I
l
(0＜l＜L)为源图像，L代表源图像个数，
×
表示滤波操作；再利用导向滤...

【专利技术属性】
技术研发人员：何小海，吴剑，吴晓红，王正勇，卿粼波，吴小强，
申请(专利权)人：四川大学，
类型：发明
国别省市：