一种保持显著性信息的红外与可见光图像变分融合方法技术

本发明专利技术公开了一种保持显著性信息的红外与可见光图像变分融合方法，属于多源图像融合技术领域。该方法首先获得两幅待融合源图像的显著图；然后构造基于待融合源图像的显著图的权重函数，形成加权融合项；再构造加权结构张量，通过加权结构张量的最大特征值和相应的特征向量获得目标梯度，形成“梯度融合项”；最后建立并求解保持显著性信息的图像融合变分优化问题。本发明专利技术提出保持显著性信息的图像变分融合方法可以有效地增强源图像的显著性信息，相比于GTF方法，本发明专利技术方法不仅在增强目标特征方面更有效，而且还保留了背景细节等信息。在主客观评价方面本发明专利技术均优于现有几种流行的图像融合方法。

A Variational Fusion Method for Infrared and Visible Images Keeping Significance Information

The invention discloses a variational fusion method for infrared and visible images, which maintains saliency information, and belongs to the technical field of multi-source image fusion. The method first obtains two saliency maps of the source image to be fused; then constructs a weighted fusion term based on the saliency map of the source image to be fused; then constructs a weighted structure tensor, obtains the target gradient through the maximum eigenvalue of the weighted structure tensor and the corresponding eigenvector, and forms a \gradient fusion term\; finally establishes and solves the image that maintains saliency information. Fusion variational optimization problem. Compared with GTF method, the variational fusion method of the present invention is not only more effective in enhancing target features, but also retains background details and other information. The present invention is superior to several popular image fusion methods in subjective and objective evaluation.

【技术实现步骤摘要】
一种保持显著性信息的红外与可见光图像变分融合方法
本专利技术属于多源图像融合
，具体涉及一种保持显著性信息的红外与可见光图像变分融合方法。
技术介绍
当前，视觉目标检测系统大多利用可见光成像设备，其优势在于可获得纹理细节丰富，且与人眼感受一致的可见光图像，便于计算机视觉算法处理。然而，可见光成像设备易受成像场景中气候、光照等环境因素影响，尤其当目标被遮蔽时，检测任务几乎无法实现，此时有必要借助不同成像机理的成像源(如红外、合成孔径雷达等)提供场景的互补信息。在后期处理中，借助多源图像融合技术将可见光和其他模态的图像进行像素级融合，以获得对成像场景更准确的表达。在诸多其他类型的成像设备中，红外传感器能够通过采集目标的热辐射准确获取目标的轮廓特征，在光线较暗或目标被遮蔽等情况下优势明显，因而获得越来越广泛的应用。然而，红外图像纹理模糊、信噪比低的缺点使得单独使用红外图像进行目标检测也存在一定困难。因此，红外与可见光图像融合方法获得大量研究。在图像融合的实际应用中，由于待检测目标的位置在源图像中难以提前预知，因此可以考虑将源图像的显著区域(代表视觉注意力的焦点)作为图像融合方法的先验信息，在融合过程中突显这些区域，可以有效增强目标特性。时至今日，已经出现一些凸显源图像显著性的多源图像融合方法，在这些现有方法中，变分融合方法在增强源图像视觉显著信息方面表现尤为突出，其中：在早期的研究中，Socolinsky和Wolff(参考文献[1]：D.A.Socolinsky,L.B.Wolff.“Multispectralimagevisualizationthroughfirst-orderfusion,”IEEETransactionsonImageProcessing,vol.11,no.8,pp.923-931,Aug.2002)提出利用图像的一阶对比度信息来增强图像融合效果，这项工作被视为凸显视觉显著性的方法原型；GemmaPiella(参考文献[2]：G.Piella.“Avariationalapproachforimagefusionvisualization,”inProc.EuropeanSignalProcessingConference,Lausanne,Switzerland,2008,pp.1-5；参考文献[3]：G.Piella.“ImageFusionforEnhancedVisualization-AVariationalApproach,”InternationalJournalofComputerVision,vol.83,no.1,pp.1-11,Jan.2009)提出一种用于任意数量图像融合的变分框架，该框架可以保持显著信息并增强图像对比度，其基本思想是利用源图像的结构张量构建全重来获得融合结果的结构张量；Wang(参考文献[4]：W.W.Wang,P.L.Shui,X.C.Feng.“VariationalModelsforFusionandDenoisingofMultifocusImages,”IEEESignalProcessingLetters,vol.15,pp.65-68,Sep.2008)提出一种用于图像融合和去噪的变分模型，该变分模型利用局部平均梯度建立用于融合的加权函数族；Ma(参考文献[5]：J.Ma,C.Chen,C.Li,etal.“Infraredandvisibleimagefusionviagradienttransferandtotalvariationminimization,”Inf.Fusion,vol.31,pp.100-109,Feb.2016)提出一种基于梯度传递和全变差最小化的红外与可见光图像融合方法，在所建立的优化问题中，保真项保持红外图像的主要亮度分布，正则项保持可见光图像的梯度变量。图像的显著图反映的是这幅图像的“感兴趣区域”或其中的重要内容。现有变分融合方法主要利用图像梯度或局部对比度来保持显著信息，较少利用源图像的显著图。尽管一些基于多分辨率分析的融合方法利用显著图来制定融合策略，但这些方法往往依赖于基于显著图的“区域分割”，使得融合结果时常出现“块效应”，导致“显著性”与“融合”之间是“割裂”的。因此，在红外与可见光图像融合领域，亟需将源图像的显著图与图像融合方法进行有效整合。
技术实现思路
本专利技术提出了一种保持显著性信息的红外与可见光图像变分融合方法，该方法具体包括如下几个步骤：步骤一、获得两幅待融合源图像的显著图；步骤二、构造基于待融合源图像的显著图的权重函数，形成加权融合项；步骤三、构造加权结构张量，通过加权结构张量的最大特征值和相应的特征向量获得目标梯度，形成“梯度融合项”；步骤四、建立并求解保持显著性信息的图像融合变分优化问题。本专利技术的优点在于：本专利技术通过在公开数据集上的多组实验对比，证明本专利技术提出保持显著性信息的图像变分融合方法可以有效地增强源图像的显著性信息，在主客观评价方面均优于现有几种流行的图像融合方法。附图说明图1为本专利技术提供的保持显著性信息的红外与可见光图像变分融合方法整体步骤流程图；图2为本专利技术用于红外与彩色可见光图像融合的详细工作流程；图3为用于对比实验的七组实验数据(从左到右：“建筑”、“沙丘”、“住所”、“士兵”、“街道”、“白天”和“夜晚”)；图4为本专利技术与其它七种图像融合方法生成的融合结果(从上到下：DWT方法、NSCT方法、JSR方法、LP-SR方法、WLS方法、VM方法、GTF方法和本专利技术方法)；图5为实验结果的MI值对比(从左到右：DWT方法、NSCT方法、JSR方法、LP-SR方法、WLS方法、VM方法、GTF方法和本专利技术方法)；图6为实验结果的QG值对比(从左到右：DWT方法、NSCT方法、JSR方法、LP-SR方法、WLS方法、VM方法、GTF方法和本专利技术方法)；图7为实验结果的FMI值对比(从左到右：DWT方法、NSCT方法、JSR方法、LP-SR方法、WLS方法、VM方法、GTF方法和本专利技术方法)；图8为实验结果的EN值对比(从左到右：DWT方法、NSCT方法、JSR方法、LP-SR方法、WLS方法、VM方法、GTF方法和本专利技术方法)。具体实施方式图1为本专利技术方法的整体流程，为便于本领域技术人员理解和实施本专利技术，下面结合附图对本专利技术的各个步骤做更详细的描述。本专利技术提供一种保持显著性信息的红外与可见光图像变分融合方法，如图1所示流程，具体包括如下步骤：步骤一、获得两幅待融合源图像的显著图；如图2所示，本专利技术首先利用快速有效的显著性检测模型B—GBVS方法来获得两幅待融合源图像I1和I2的显著图S1和S2，所述的两幅待融合源图像为红外图像。对于具有RGB通道的彩色可见光图像，可以通过HIS变换将彩色可见光图像的RGB空间转换为HIS空间，得到I分量(亮度)、H分量(色度)和S分量(饱和度)；并将RGB图像的亮度分量(I分量)用于显著性检测模型A的输入，HIS变换的基本公式如下：其中，I代表亮度，H代表色度，S代表饱和度，v1、v2为颜色分量，此处为临时变量，R、G、B分别表示红色、绿色和蓝色。色度分量H和饱和度分量S作为保留项，用于步骤四的逆HIS变换。步骤二、本文档来自技高网...

【技术保护点】
1.一种保持显著性信息的红外与可见光图像变分融合方法，其特征在于：所述方法具体包括如下几个步骤：步骤一、获得两幅待融合源图像的显著图；首先利用显著性检测模型B来获得两幅待融合源图像I1和I2的显著图S1和S2，所述的两幅待融合源图像为红外图像；对于具有RGB通道的彩色可见光图像，通过HIS变换将彩色可见光图像的RGB空间转换为HIS空间，得到I分量、H分量和S分量；并将RGB图像的I分量用于显著性检测模型A的输入，HIS变换的基本公式如下：

【技术特征摘要】
1.一种保持显著性信息的红外与可见光图像变分融合方法，其特征在于：所述方法具体包括如下几个步骤：步骤一、获得两幅待融合源图像的显著图；首先利用显著性检测模型B来获得两幅待融合源图像I1和I2的显著图S1和S2，所述的两幅待融合源图像为红外图像；对于具有RGB通道的彩色可见光图像，通过HIS变换将彩色可见光图像的RGB空间转换为HIS空间，得到I分量、H分量和S分量；并将RGB图像的I分量用于显著性检测模型A的输入，HIS变换的基本公式如下：其中，I代表亮度，H代表色度，S代表饱和度，v1、v2为颜色分量，此处为临时变量，R、G、B分别表示红色、绿色和蓝色；色度分量H和饱和度分量S作为保留项，用于步骤四的逆HIS变换；步骤二、构造基于待融合源图像的显著图的权重函数，形成加权融合项；步骤三、构造加权结构张量，通过加权结构张量的最大特征值和相应的特征向量获得目标梯度，形成“梯度融合项”；步骤四、建立并求解保持显著性信息的图像融合变分优化问题。2.根据权利要求1所述的一种保持显著性信息的红外与可见光图像变分融合方法，其特征在于：步骤二所述的加权融合项构建形式如下：其中，I1(x,y)、I2(x,y)为两幅待融合源图像，If(x,y)为权重融合结果；ω1(x,y)和ω2(x,y)分别为显著图S1和显著图S2的权重函数。3.根据权利要求2所述的一种保持显著性信息的红外与可见光图像变分融合方法，其特征在于：所述的权重函数，定义如下：和为两幅待融合源图像的显著图S1和S2进行归一化后的显著图，(x,y)表示图像像素位置。4.根据权利要求1所述的一种保持显著性信息的红外与可见光图像变分融合方法，其特征在于：步骤三中所述的加权结构张量C(x,y)定义如下：上...

【专利技术属性】
技术研发人员：刘春辉，丁文锐，刘春蕾，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11