一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法技术

本发明专利技术公开了一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。提出了一种具有多方向联合平均的拉普拉斯金字塔算法。首先，使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数。其次，对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数。最后，通过拉普拉斯金字塔逆变换的重建过程得到融合图像。本发明专利技术能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。

A Fusion Method of Visible and Infrared Images Based on Multidirectional Laplacian Pyramid

The invention discloses a fusion method of visible light image and infrared image based on multi-directional Laplacian pyramid, aiming at the problem that the traditional Laplacian pyramid fusion method can not effectively reflect the poor edge information and contrast of the fused image. A Laplacian pyramid algorithm with multi-directional joint averaging is proposed. Firstly, Laplacian pyramid is used to decompose the input image into high and low frequency sub-band coefficients. Secondly, for high-frequency coefficients, the rule of joint average fusion is used to extract multi-directional feature maps to obtain high-frequency sub-band coefficients of fused images; for low-frequency coefficients, the fusion rule of adaptive weighting of regional average gradient is used to obtain low-frequency sub-band coefficients of fused images. Finally, the fusion image is obtained through the reconstruction process of inverse Laplace pyramid transform. The invention can effectively reflect the edge information of the fused image and has rich background details.

【技术实现步骤摘要】
一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法
本专利技术涉及图像处理
，尤其涉及一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，用于医学、航天等传感器平台获取的可见光图像和红外图像的融合。
技术介绍
图像融合技术是对同一场景在不同光谱与空间细节下的两幅或者多幅图像信息进行综合。红外图像具有突出目标信息的优点，但是，不能够清晰地描述目标场景的背景信息，可见光图像符合人眼的视觉特性，能够有效地呈现出目标场景的背景信息，但是容易受到光照、天气等外部环境的影响。因此，综合利用可见光图像与红外图像间的互补信息融合成为新图像，提供更丰富的信息，在目标识别、多源信息挖掘、医学成像以及地图匹配等研究领域中有着重要的应用。自从1983年Burt等人提出了拉普拉斯金字塔算法以来，该方法被广泛应用于图像融合领域。但是，源图像经过拉普拉斯金字塔分解后仅仅具有多尺度信息，而不具备多方向特征信息的特点，会造成融合图像对比度不明显，边界轮廓模糊的现象。然而，传统的多尺度融合规则主要包括：1)取最大值的方法：根据活性水平集测度较大的系数选择对应变化剧烈的像素点，采用的边缘强度最大算法的融合规则；2)加权平均融合的方法：根据源图像之间活性水平集测度的匹配度关系经行加权融合。但是，不管是基于像素级和基于区域级的系数融合规则都未改善拉普拉斯金字塔算法带有的块效应。本专利技术的主要目的改善拉普拉斯金字塔算法带有的块效应，为了实现此目标，提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法。
技术实现思路
为了克服现有技术的不足，本专利技术提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法。通过实验结果验证，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；步骤2：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；步骤3：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；步骤4：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。进一步地，所述步骤1中使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；如下式所示：其中Gl-1表示源图像的第l层高斯金字塔图像，是通过高斯金字塔l层进行上采样并高斯卷积得到的图像，Ll表示拉普拉斯金字塔的第l层图像。进一步地，所述步骤2中对于高频系数，采用提取多方向的特征图进行联合平均融合的规则；具体步骤为：步骤2-1：源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵，垂直方向仿射矩阵，增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像，如下式所示：其中：为水平方向信息，为垂直方向信息，及为主副对角线方向上信息，为水平方向仿射矩阵，为垂直方向仿射矩阵以及为增强主副对角线矩阵。步骤2-2：得到红外和可见光图像高频子带分量多方向信息后，每一层高频子带分量将有四个方向上的信息。以l层为例，对红外和可见光图像l层分解得到的四个方向上的信息分别对应进行联合平均，得到融合图像l层的高频子带的边界信息图像，将边界信息图像与红外和可见光图像l层图像进行平均，得到最终的融合图像l层的高频子带图像，如下式所示：其中：红外和可见光图像水平方向联合平均图像；红外和可见光图像垂直方向联合平均图像；及红外和可见光图像主副对角线方向联合平均图像；L′l红外图像的高频信息图像；Ll可见光图像高频信息图像，1≤l＜N。进一步地，所述步骤3中对于低频系数，采用区域平均梯度自适应加权的融合规则；如下式所示：其中：为可见光、红外图像低频系数图像的区域平均梯度，区域窗口大小为M×N；p(i，j)，q(i，j)为自适应加权系数，为融合后的低频系数。进一步地，所述步骤4中通过拉普拉斯金字塔逆变换的重建过程得到融合图像。本专利技术提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。本专利技术对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法。通过实验结果验证，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。附图说明图1是本专利技术的融合算法技术路线示意图；具体实施方式下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。本专利技术对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。本专利技术主要包括以下步骤：A：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；B：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；C：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；D：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。步骤A中输入图像分别为对同一个场景获取的可见光和红外图像，可见光图像中能够有效地呈现出目标场景的背景信息，红外图像具有突出目标信息的优点，并且图像大小相同，将输入图像进行拉普拉斯金字塔分解，将图像分解为高频子带信息和低频子带信息，图像的拉普拉斯金字塔构成如公式(1)所示：其中Gl-1表示源图像的第l层高斯金字塔图像，是通过高斯金字塔l层进行上采样并高斯卷积得到的图像，Ll表示拉普拉斯金字塔的第l层图像。步骤B对于高频系数，提取多方向的特征图进行联合平均融合的规则技术，在一定程度上对融合后的图像的高频系数进行了边缘信息增强，具有丰富的背景细节特征。实现多方向的特征图进行联合平均融合进一步包括：B1：源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵，垂直方向仿射矩阵，增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像，如公式(2)所示：其中：为水平方向信息，为垂直方向信息，及为主副对角线方向上信息，为水平方向仿射矩阵，为垂直方向仿射矩阵以及为增强主副对角线矩阵。B2：得到红外和可见光图像高频子带分量多方向信息后，每一层高频子带分量将有四个方向上的信息。以l层为例，对红外和可见光图像l层分解得到的四个方向上的信息分别对应进行联合平均，得到融合图像l层的高频子带的边界信息图像，将边界信息图像与红外和可见光图像l层图像进行平均，得到最终的融合图像l层的高频子带图像，如公式(3)所示：其中：红外和可见光图像水平方向联合平均图像；红外和可见光图像垂直方向联合平均图像；及红外和可见光图像主副对角线方向联合平均图像；L′l红外图像的高频信息图像；Ll可见光图像高频信息图像，1≤l＜N。步骤C：中对于低本文档来自技高网...

【技术保护点】
1.一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，其特征在于，包括：步骤1：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；步骤2：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；步骤3：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；步骤4：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。

【技术特征摘要】
1.一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，其特征在于，包括：步骤1：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；步骤2：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；步骤3：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；步骤4：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。2.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，其特征在于所述步骤1中使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；如下式所示：其中Gl-1表示源图像的第l层高斯金字塔图像，是通过高斯金字塔l层进行上采样并高斯卷积得到的图像，Ll表示拉普拉斯金字塔的第l层图像。3.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，其特征在于所述步骤2中对于高频系数，采用提取多方向的特征图进行联合平均融合的规则；具体步骤为：步骤2-1：源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵，垂直方向仿射矩阵，增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像，如下式所示：其中：为水平方...

【专利技术属性】
技术研发人员：毛润，牛萍娟，王慧泉，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12