本发明专利技术公开了一种基于彩色传递与熵信息的红外与彩色可见光图像融合方法。其过程为：对彩色可见光图像的Ｒ、Ｇ、Ｂ三个通道图像求均值，得到灰度可见光图像；采用非采样Ｃｏｎｔｏｕｒｌｅｔ变换对灰度可见光图像及红外图像进行分解；构建基于红外图像与可见光物理特征的低频子带系数融合规则，和基于局部区域方向信息熵与区域能量相结合的带通方向子带系数融合规则，对源图像的变换系数进行组合，并对组合后的变换系数进行非采样Ｃｏｎｔｏｕｒｌｅｔ逆变换得到灰度融合图像；采用基于１αβ颜色空间的彩色传递方法将可见光图像的彩色信息传递到融合图像中，得到彩色融合图像。本发明专利技术既可有效提取可见光图像中的丰富背景信息及红外图像中的目标信息，又能够保持可见光图像中的自然彩色信息。
【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体的说是涉及一种图像融合方法，可用于对红外与彩色可见光图像进行融合。
技术介绍
由于红外与可见光成像系统的成像机理不同，在不同环境下得到的红外图像与可见光图像之间具有较大的互补性。可见光成像系统是通过吸收目标反射的可见光波段电磁波来实现对目标的探测，而红外成像技术主要是依靠目标本身或反射的热辐射成像的。可见光成像系统能够提供具有高空间分辨率的图像，能够提供有关场景的丰富背景信息。但可见光成像系统易受天气情况影响，一般应用于光线条件较好的情况下。而红外成像系具有能够穿透烟尘的能力，可以昼夜工作，能够很好地提供场景中目标的存在特性和位置特性，但成像整体效果对比度较低，在细节上不如可见光成像效果好。红外图像与可见光图像的融合，可以将红外图像的目标存在特性和位置特性与可见光图像的背景信息结合在一起，从而能够大大提高对环境的释义能力以及对目标的侦测能力，已经被广泛应用于场景监控、军事等领域。 目前在众多的红外与可见光图像融合技术中，基于小波变换的图像融合方法是应用非常广泛并且及其重要的一类方法，例如G.Pajares，J.M.de la Cruz，“A wavelet-based imagefusion tutorial”，Pattern Recognition，vol.37，No.9，2004，pp.1855-1872.及J.Lewis，R.O.’Callaghan，S.Nikolov，D.Bull，N.Canagarajah，“Pixel-and Region-based image fusionwith complex wavelets”，Information Fusion，vol.8No.2.，2007，pp.119-130.两篇文献公开的技术均属于基于小波变换的图像融合方法。由于采用小波对图像进行分析的过程与计算机视觉和人眼视觉系统中由粗到细认识事物的过程十分相似，因此，与传统的图像融合方法相比，基于小波变换的图像融合方法能够明显改善系统的融合性能。 尽管国内外学者对基于小波变换的红外与可见光图像融合方法进行了大量的研究工作，但目前基于小波变换的图像融合方法还存在以下不足 (1).多数图像融合方法主要是针对红外图像与灰度可见光图像的融合。然而，人眼对颜色的分辨能力远远超过对灰度级的分辨，所以彩色图像比灰度图像更利于目标的识别。现今的传感器技术能够很方便地获取自然彩色可见光图像，在对红外与可见光图像进行融合时，如果能够充分利用可见光图像的自然彩色信息，那么得到的彩色融合图像会更符合人眼视觉特性，从而能够进一步增强对环境的释义和对目标的侦测能力。 (2).采用由一维小波张量生成的二维可分离小波不能够实现对图像中的直线和曲线进行稀疏表示，并且二维可分离小波基是各向同性的，也无法精确地表达图像中边缘方向，因此，基于小波变换的图像融合方法在容易引入“人为”效应，从而在一定程度上降低了融合图像的空间质量。 (3).目前大多数基于小波变换的图像融合方法在制定各频率子带系数融合规则时，都是基于源图像中未受到任何噪声的干扰这一假设提出的。然而，在某些场合下，传感器图像，尤其是红外图像，不可避免地受到各种噪声的影响。因此，目前多数融合方法对噪声具有较高的敏感度，容易将噪声误作为有用信息传输到融合图像中，影响了融合性能。 专利技术的内容 本专利技术的目的在于克服上述已有技术的不足，提出一种基于彩色传递及熵信息的图像融合方法，以融合红外图像与彩色可见光图像。该专利技术不仅能够提取红外图像中的目标存在特性和位置特性以及可见光图像中的背景信息，还能够最大可能地保持可见光图像中的自然彩色信息。 本专利技术是这样实现的 本专利技术的关键技术是构建基于红外图像与可见光图像物理特征的加权平均低频子带系数融合规则和基于局部区域方向信息熵与局部区域能量相结合的带通方向子带系数融合规则，以组合源图像的变换子带系数，并采用基于1αβ颜色空间的彩色传递方法进行彩色传递以减少融合图像的颜色失真。 以两幅输入图像为例，本专利技术的具体实现方法包括如下步骤 (1).对彩色可见光图像Ivi_c的R、G、B三个颜色通道图像求均值得到其灰度分量Ivi_g； (2).对灰度图像Ivi_g和红外图像Iir分别进行非采样Contourlet变换分解，得到图像Ivi_g、Iir各自的非采样Contourlet变换系数； (3).对所述变换系数中的低频子带系数，利用构建的基于红外图像与可见光图像物理特征的低频融合公式进行组合 其中， 分别表示图像Ivi_g、Iir以及融合图像IF_g的非采样Contourlet变换低频子带系数，wIvi(k1，k2)、wIir(k1，k2)分别表示图像Ivi_g和Iir的权系数； (4).对所述变换系数中的各带通方向子带系数，利用构建的基于局部区域方向信息熵与区域能量相结合的带通融合公式进行组合 其中，Cj，lIvi_g(k1，k2)、Cj，lIir(k1，k2)、Cj，lF(k1，k2)分别表示图像Ivi_g、Iir以及融合图像IF_g在j尺度、l方向处的非采样Contourlet变换带通方向子带系数，ESj，l(k1，k2)为显著性度量因子Sj，l(k1，k2)在位置(k1，k2)处局部区域能量； (5).对组合后的变换系数进行非采样Contourlet逆变换，得到灰度融合图像IF_g； (6).采用基于1αβ颜色空间的彩色传递方法将源彩色可见光图像Iir_c中的自然彩色信息传递到灰度融合图像Iir_g中，得到最终的彩色融合图像IF_c。 本专利技术具有如下效果 1)能够将红外图像中的目标存在特性与可见光图像中的丰富背景信息有机地结合在一起。本专利技术构建的基于红外图像与可见光图像物理特征的加权平均低频子带系数融合公式，能够恰当地表征红外图像中的目标特性以及可见光图像中的背景信息；同时，相对于传统的小波变换，本专利技术采用的非采样Contourlet变换不仅具有多尺度和良好的空域和频域局部特性，还具有多方向特性以及平移不变特性，能够更好地提取源图像中的细节信息，使得红外图像中的目标存在特性和可见光图像中的背景信息有机地结合在一起； 2)能够有效避免将噪声传输到融合图像中，降低了融合方法对噪声的敏感度。本专利技术采用的局部区域方向信息熵能够很好地区分噪声和图像中的几何特征，使得融合方法最大可能地提取源图像中的有用细节信息的同时，有效避免将噪声传输到融合图像中； 3)能够使融合后的彩色图像最大可能地保持源彩色可见光图像中的自然彩色信息。本专利技术采用的1αβ颜色空间中，l、α和β通道之间具有最小的相关性，比较适合颜色信息处理，相对于采用简单的R、G、B颜色通道单独进行融合的方法，该融合方法颜色失真度较低，能够最大限度地保持彩色可见光图像中的自然彩色信息，得到具有更好视觉效果的融合图像； 附图说明 图1为本专利技术的图像融合方法过程图； 图2为本专利技术第一组仿真结果图，其中， 图2(a)为源彩色可见光图像， 图2(b)为源红外图像， 图2(c)为DWT_AVE方法融合结果图像， 图2(d)为DWFT_A本文档来自技高网...
【技术保护点】
一种基于彩色传递及熵信息的红外与彩色可见光图像融合方法，包括如下步骤： （１）．对彩色可见光图像Ｉｖｉ＿ｃ的Ｒ、Ｇ、Ｂ三个颜色通道图像求均值得到其灰度分量Ｉｖｉ＿ｇ； （２）．对灰度图像Ｉｖｉ＿ｇ和红外图像Ｉｉｒ分别进行非采样Ｃｏｎｔｏｕｒｌｅｔ变换分解，得到图像Ｉｖｉ＿ｇ、Ｉｉｒ各自的非采样Ｃｏｎｔｏｕｒｌｅｔ变换系数； （３）．对所述变换系数中的低频子带系数，利用构建的基于红外图像与可见光图像物理特征的低频融合公式进行组合： ＊＊＊ 其中，Ｃ↓［ｊ０］↑［Ｉｖｉ＿ｇ］（ｋ↓［１］，ｋ↓［２］）、Ｃ↓［ｊ０］↑［Ｉｉｒ］（ｋ↓［１］，ｋ↓［２］）、Ｃ↓［ｊ０］↑［Ｆ］（ｋ↓［１］，ｋ↓［２］）分别表示图像Ｉｖｉ＿ｇ、Ｉｉｒ以及融合图像ＩＦ＿ｇ的非采样Ｃｏｎｔｏｕｒｌｅｔ变换低频子带系数，ｗ↓［Ｉｖｉ］（ｋ↓［１］，ｋ↓［２］）、ｗ↓［Ｉｉｒ］（ｋ↓［１］，ｋ↓［２］）分别表示图像Ｉｖｉ＿ｇ和Ｉｉｒ的权系数； （４）．对所述变换系数中的各带通方向子带系数，利用构建的基于局部区域方向信息熵与区域能量相结合的带通融合公式进行组合： ＊＊＊ 其中，Ｃ↓［ｊ，ｌ］↑［Ｉｖｉ＿ｇ］（ｋ↓［１］，ｋ↓［２］）、Ｃ↓［ｊ，ｌ］↑［Ｉｉｒ］（ｋ↓［１］，ｋ↓［２］）、Ｃ↓［ｊ，ｌ］↑［Ｆ］（ｋ↓［１］，ｋ↓［２］）分别表示图像Ｉｖｉ＿ｇ、Ｉｉｒ以及融合图像ＩＦ＿ｇ在ｊ尺度、ｌ方向处的非采样Ｃｏｎｔｏｕｒｌｅｔ变换带通方向子带系数，ＥＳ↓［ｊ，ｌ］（ｋ↓［１］，ｋ↓［２］）为显著性度量因子Ｓ↓［ｊ，ｌ］（ｋ↓［１］，ｋ↓［２］）在位置（ｋ↓［１］，ｋ↓［２］）处局部区域能量； （５）．对组合后的变换系数进行非采样Ｃｏｎｔｏｕｒｌｅｔ逆变换，得到灰度融合图像ＩＦ＿ｇ； （６）．采用基于１αβ颜色空间的彩色传递方法将源彩色可见光图像Ｉｉｒ＿ｃ中的自然彩色信息传递到灰度融合图像Ｉｉｒ＿ｇ中，得到最终的彩色融合图像ＩＦ＿ｃ。...
【技术特征摘要】
【专利技术属性】
技术研发人员：郭宝龙，张强，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87[中国|西安]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。