基于边窗滤波的多源图像融合方法技术

本发明专利技术公开了一种基于边窗滤波的多源图像融合方法，本发明专利技术利用边窗滤波、稀有度颜色统计联合梯度能量优化的显著性检测方法及多层次融合策略的方法对红外和可见光图像进行融合。具体方法包括：对待融合的红外和可见光图像首先使用边窗滤波分别进行多尺度分解，生成基础层与细节层图像；通过稀有度颜色统计联合梯度能量优化的显著性检测方法生成分别对红外和可见光图像进行显著性检测得到显著图；接着，通过显著性比较以及滤波优化得到融合权重图；其次，使用融合权重指导基础层图像融合得到融合基础层；同时，采用一种多层次融合策略对细节层进行融合；最后，将融合基础层和融合细节层进行重构得到融合后的图像。合细节层进行重构得到融合后的图像。合细节层进行重构得到融合后的图像。

【技术实现步骤摘要】
基于边窗滤波的多源图像融合方法


[0001]本专利技术属于多源图像处理技术邻域，具体涉及一种基于边窗滤波的多源图像融合方法。

技术介绍

[0002]由于传感器成像原理和技术水平的限制，单一传感器采集的信息总是有限的，难以满足特定应用背景下对更全面场景信息的需求。因此如何把各类传感器采集的图像加以综合，生成一个信息丰富并且更利于人类感知的图像逐渐成为一个研究热点。
[0003]在使用不同传感器对同一场景进行联合成像时，依据成像探测器的类型和数目主要可以分为(1)基于不同成像原理的传感器进行联合成像，(2)相同传感器在设置不同参数时进行成像整合这两种形式。
[0004]在多传感器联合成像中，红外与可见光的联合有着诸多优势。红外探测器通过接受外界的热辐射成像，具有成像目标显著、抗干扰能力强、全天时工作的优势，但其成像分辨率一般较低，不能很好的描述场景的细节纹理信息，且图像只能通过灰度显示。可见光传感器通过接受反射光成像，其具有空间分辨率高、纹理细节清晰、更加符合人类视觉观感的优势，但是其对光照条件较为敏感，容易遭受恶劣天气等环境因素的影响。因此，在上述情况下，有必要将红外图像与可见光图像中的优势信息进行互补，来获得场景的完整信息。
[0005]多源图像融合技术的研究最早可追溯到上世纪80年代，Daily等人首次将该技术用于遥感领域。在此之后，多源图像融合技术不断发展，已经产生了许多优秀的算法，当前绝大多数融合算法可以归为：基于多尺度分解的方法、基于稀疏表示的方法、基于子空间的方法、基于显著性的方法、基于神经网络的方法。但是，目前的算法存在的噪声干扰、信息缺失等缺陷，具有很大的改进空间。

技术实现思路

[0006]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于边窗滤波的多源图像融合方法，以期解决现有技术存在的分离过程不同尺度信息丢失问题，更好地保留图像信息，并保持目标的对比度及显著区域的连贯性，显著提升融合后图像中目标的对比度和清晰度。
[0007]为实现上述目的，本专利技术包括如下主要步骤：
[0008]一种基于边窗滤波的多源图像融合方法，包括如下步骤：
[0009]步骤(1)，输入待融合的多源图像，所述多源图像为在同一场景拍摄的红外图像I
IR
和可见光图像I
Vis
，I
IR
和I
Vis
的大小相等；
[0010]步骤(2)，分别对红外图像I
IR
和可见光图像I
Vis
进行边窗滤波，得到红外基础层图像B
IR
和可见光基础层图像B
Vis
；
[0011]步骤(3)，使用稀有度颜色统计联合梯度能量优化的显著性检测方法，分别对红外图像I
IR
和可见光图像I
Vis
进行显著性检测，生成红外显著图U
IR
和可见光显著图U
Vis
；
[0012]步骤(4)，对红外显著图U
IR
和可见光显著图U
Vis
进行显著性比较，得到基础层的初始融合权重，并优化得到最终的融合权重和
[0013]步骤(5)，用和指导红外基础层图像B
IR
和可见光基础层图像B
Vis
融合，生成融合基础层图像FuB；
[0014]步骤(6)，利用图像的梯度特征(GC)和强度方差(IV)的混合融合策略对红外细节层和可见光细节层进行融合，得到融合细节层图像FuD
i
；
[0015]步骤(7)，将融合基础层图像FuB和融合细节层图像FuD
i
相加得到融合图像 FuI。
[0016]所述边窗滤波，使用核函数F对输入图像I进行多尺度分解，包括如下步骤：
[0017]第1步，从输入图像I任意选取一个像素点；
[0018]第2步，从所选像素点的向下(D)、向右(R)、向上(U)、向左(L)、西南(SW)、东南(SE)、东北(NE)和西北(NW)侧得到八个侧窗；
[0019]第3步，按照下式，计算输入图像任意像素的边窗滤波(SWF)输出：
[0020][0021][0022]其中，m表示其中一个侧窗，S＝{L，R，U，D，N W，N E，SW，SE}是侧窗的集合， I
m
是在侧窗m中应用核函数F获得的侧窗输出，N
m
是基于侧窗集合的权重和，是基于核函数F的在第l个目标像素八个方向的侧窗，q
j
是输入图像I在第l 个目标像素处的强度，w
lj
是基于核函数F的在第l个目标像素附近的第j个像素的权重，I
t
是与q
j
的L2距离最小的侧窗输出，即最终的边窗滤波输出；
[0023]第4步，输入图像I的所有像素点选取完，则得到第f次滤波结果I
f
， f＝1,2,...,n，I0＝I，将I
f
与第f
‑
1次滤波结果I
f
‑1作差得到当前层级的细节层图像D
f
，表示为D
f
＝I
f
‑1‑
I
f
，最终的滤波结果为基础层图像B，其中n是分解层级；
[0024]其中，分别取输入图像I为红外图像I
IR
和可见光图像I
Vis
，得到红外基础层图像B
IR
和可见光基础层图像B
Vis
。
[0025]与现有的技术相比本专利技术具有以下优点：
[0026]第一，本专利技术分别对红外图像和可见光图像的所有像素值进行边窗滤波完成多尺度分解，克服了现有技术存在的分离过程不同尺度信息丢失的不足，使得本专利技术具有较好的图像信息保留度。
[0027]第二，本专利技术提出了稀有度颜色统计联合梯度能量优化的复合显著性检测方法，应用该方法对红外和可见光图像完成显著性检测，以更好地保持目标的对比度及显著区域的连贯性，使得本专利技术能够显著提升融合后图像中目标的对比度和清晰度。
附图说明
[0028]图1为专利技术流程示意图。
[0029]图2为本专利技术实例中基于边窗滤波的多尺度分解流程图。
[0030]图3为边窗滤波中侧窗的定义图。
[0031]图4为本专利技术实例中基于稀有度颜色统计联合梯度能量优化(RCSAGE) 的复合显著性检测方法的融合权重图构造流程。
[0032]图5为本专利技术实例中红外与可见光图像显著性检测结果图。其中，(a)为IR， (b)为VI，(c)为IR显著图，(d)为VI显著图。
[0033]图6为本专利技术实例中红外与可见光图像权重生成过程图。其中，(a)为IR初始权重图，(b)为VI初始权重图，(c)为IR优化权重图，(d)为VI优化权重图。
[0034]图7为九种不同的融合算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边窗滤波的多源图像融合方法，其特征在于，包括如下步骤：步骤(1)，输入待融合的多源图像，所述多源图像为在同一场景拍摄的红外图像I
IR
和可见光图像I
Vis
，I
IR
和I
Vis
的大小相等；步骤(2)，分别对红外图像I
IR
和可见光图像I
Vis
进行边窗滤波，得到红外基础层图像B
IR
和可见光基础层图像B
Vis
；步骤(3)，使用稀有度颜色统计联合梯度能量优化的显著性检测方法，分别对红外图像I
IR
和可见光图像I
Vis
进行显著性检测，生成红外显著图U
IR
和可见光显著图U
Vis
；步骤(4)，对红外显著图U
IR
和可见光显著图U
Vis
进行显著性比较，得到基础层的初始融合权重，并优化得到最终的融合权重和步骤(5)，用和指导红外基础层图像B
IR
和可见光基础层图像B
Vis
融合，生成融合基础层图像FuB；步骤(6)，利用图像的梯度特征(GC)和强度方差(IV)的混合融合策略对红外细节层和可见光细节层进行融合，得到融合细节层图像FuD
i
；步骤(7)，将融合基础层图像FuB和融合细节层图像FuD
i
相加得到融合图像FuI。2.根据权利要求1所述基于边窗滤波的多源图像融合方法，其特征在于，所述边窗滤波，包括如下步骤：第1步，从输入图像I任意选取一个像素点；第2步，从所选像素点的向下(D)、向右(R)、向上(U)、向左(L)、西南(SW)、东南(SE)、东北(NE)和西北(NW)侧得到八个侧窗；第3步，按照下式，计算输入图像任意像素的边窗滤波(SWF)输出：第3步，按照下式，计算输入图像任意像素的边窗滤波(SWF)输出：其中，m表示其中一个侧窗，S＝{L，R，U，D，N W，N E，SW，SE}是侧窗的集合，I
m
是在侧窗m中应用核函数F获得的侧窗输出，N
m
是基于侧窗集合的权重和，是基于核函数F的在第l个目标像素八个方向的侧窗，q
j
是输入图像I在第l个目标像素处的强度，w
lj
是基于核函数F的在第l个目标像素附近的第j个像素的权重，I
t
是与q
j
的L2距离最小的侧窗输出，即最终的边窗滤波输出；第4步，输入图像I的所有像素点选取完，则得到第f次滤波结果I
f
，f＝1,2,...,n，I0＝I，将I
f
与第f
‑
1次滤波结果I
f
‑1作差得到当前层级的细节层图像D
f
，表示为D
f
＝I
f
‑1‑
I
f
，最终的滤波结果为基础层图像B，其中n是分解层级；其中，分别取输入图像I为红外图像I
IR
和可见光图像I
Vis
，得到红外基础层图像B
IR
和可见光基础层图像B
Vis
。3.根据权利要求2所述基于边窗滤波的多源图像融合方法，其特征在于，所述边窗滤波的核函数F为箱式滤波。4.根据权利要求1所述基于边窗滤波的多源图像融合方法，其特征在于，所述步骤(3)的具体步骤如下：
第1步，按照下式，计算输入图像I中指定像素I
k
的显著性值定义S(I
k
)：S(I
k
)＝||I
k
‑
I1||+||I
...

【专利技术属性】
技术研发人员：宋江鲁奇，杨庆友，周慧鑫，张鑫，李欢，秦翰林，王炳健，王财顺，刘志宇，梅峻溪，张嘉嘉，王珂，罗云麟，滕翔，赖睿，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：