基于谱图小波变换的红外与可见光图像融合方法及其装置制造方法及图纸

本发明专利技术公开了一种基于谱图小波变换的红外与可见光图像融合方法，按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。本发明专利技术还公开了一种基于谱图小波变换的红外与可见光图像融合装置，通过本发明专利技术能够更好地表示不规则区域图像；采用双边滤波获得图像融合的权重，有效地提升融合图像的清晰度、对比度及信息量等，能够得到融合效果更好的图像。

【技术实现步骤摘要】
基于谱图小波变换的红外与可见光图像融合方法及其装置
本专利技术属于图像融合处理
，具体涉及一种基于谱图小波变换的红外与可见光图像融合方法及其装置。
技术介绍
图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。随着新的信息理论的不断发展及国外内学者对图像融合不断深入全面地研究，图像融合研究取得了较大的进步。近年来，国内外学者提出了许多图像融合方法，其中，基于多尺度变换的图像融合方法是目前被广泛采用的方法，如文章《Imagesequencefusionusingashift-invariantwavelettransform》，ImageProcessing,1997.Proceedings.,InternationalConferenceon.IEEE,1997,3:288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想。此后，KorS等人便提出了基于提升小波变换的特征级图像融合方法，参见文章《Featurelevelfusionofmultimodalmedicalimagesinliftingwavelettransformdomain》，EngineeringinMedicineandBiologySociety,2004.IEMBS'04.26thAnnualInternationalConferenceoftheIEEE.IEEE,2004,1:1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。随着非下采样轮廓波变换(NSCT)的兴起，学者们已将NSCT应用于图像融合中，参见《Imagefusionbasedonnonsubsampledcontourlettransformforinfraredandvisiblelightimage》，InfraredPhysics&Technology,2013,61:94-100.该方法获得的融合图像细节较丰富，纹理较清晰，视觉效果优于前两种方法，这是由于NSCT具有：(1)高度冗余性，与有用信息有关的NSCT系数在各个细节子带内呈现稀疏性分布；(2)NSCT采用的是具有各向异性的Contourlet基，是的各个细节子带“描述”的是源图像在不同方向上的细节信息，因此具有多方向选择性；而且，这种基于NSCT的图像融合方法对低频子带系数和带通方向子带系数分别采用基于区域视觉特性和交互梯度融合规则。但NSCT也有自身的不足：由于NSCT采用的方向滤波器为扇形滤波器的非下采样滤波器组，通过此滤波器获得带通方向子带系数；从而使得基于NSCT的图像融合方法的计算量较大，不利于实际应用。为了克服NSCT的不足，GlennEasley等便提了《Sparsedirectionalimagerepresentationsusingthediscreteshearlettransform》(NSST)，其优势在于：剪切变换对剪切操作没有方向数目的限制、剪切操作的支撑没有大小限制，而且，离散剪切变换的逆变换仅仅需要剪切滤波器的合成，而不是方向滤波器组的逆向合成；因此，NSST不仅能够更好地对源图像进行稀疏表达，而且其运行速度也比NSCT快。鉴于NSST的上述优势，学者们便已将NSST理论引入到图像融合中，参见文章《Techniqueforgray-scalevisuallightandinfraredimagefusionbasedonnon-subsampledshearlettransform》，InfraredPhysics&Technology,2014,63:110-118；该方法对经NSST分解得到的低频子带系数和高频子带系数分别采用区域能量均值和局部方向对比度的融合规则进行融合，所得到的融合图像相对基于NSCT所得的融合图像，清晰度和空间活跃度有所提升，但是信息量、对比度等依然相对较低，整体效果还是不尽人意。
技术实现思路
本专利技术的目的是提供一种基于谱图小波变换的红外与可见光图像融合方法及其装置，能够对不规则区域图像进行很好地稀疏表示，充分利用图像的空间一致性，提高融合图像的清晰度、对比度、信息量等，以得到图像质量更好的融合图像。为达到上述目的，本专利技术采取的技术方案为：本专利技术实施例提供一种基于谱图小波变换的红外与可见光图像融合方法，该方法为：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。上述方案中，所述对红外图像与可见光图像进行4层谱图小波进行分解获得低频子带系数和高频子带系数为：对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数lI、红外图像I的高频子带系数可见光图像V的低频子带系数lV、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。上述方案中，所述根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合之前，该方法还包括：对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像HI和可见光图像V的高通滤波图像HV：HI＝I*LHV＝V*L其中，L是一个11×11的拉普拉斯滤波器；对所述获得到的红外图像I的高通滤波图像HI和可见光图像V高通滤波图像HV的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像HI和HV的显著特性图XI与XV：其中，G为大小为(2μg+1)(2δg+1)的高斯低通滤波器，参数μg与δg任意取值，这里参数μg与δg均为5，δg表示标准差。上述方案中，所述根据融合规则对所述获得的低频子带系数和不同尺度上的高频子带系数进行融合为：根据所述显著特性图XI与XV获得红外图像I与可见光图像V融合的权重图QI和QV:如果在像素位置m处在像素m处权重图QI取1，否则权重图QI取0；如果在像素位置m处在像素m处权重图QV取1，否则权重图QV取0；其中，与分别为红外图像I与可见光图像V在像素位置m处的显著性特征值；对所述获得红外图像I与可见光图像V融合的权重图QI与QV分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数lI和lV融合权重图WI和WV：其中本文档来自技高网...

【技术保护点】
一种基于谱图小波变换的红外与可见光图像融合方法，其特征在于：该方法为：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

【技术特征摘要】
1.一种基于谱图小波变换的红外与可见光图像融合方法，其特征在于：该方法为：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像；所述对红外图像与可见光图像进行4层谱图小波进行分解获得低频子带系数和高频子带系数为：对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数lI、红外图像I的高频子带系数可见光图像V的低频子带系数lV、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4；所述根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合之前，该方法还包括：对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像HI和可见光图像V的高通滤波图像HV：HI＝I*LHV＝V*L其中，L是一个11×11的拉普拉斯滤波器；对所述获得到的红外图像I的高通滤波图像HI和可见光图像V的高通滤波图像HV的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像HI和HV的显著特性图XI与XV：其中，G为大小为(2μg+1)(2δg+1)的高斯低通滤波器，参数μg与δg任意取值，这里参数μg与δg均为5，δg表示标准差。2.根据权利要求1所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述根据融合规则对所述获得的低频子带系数和不同尺度上的高频子带系数进行融合为：根据所述显著特性图XI与XV获得红外图像I与可见光图像V融合的权重图QI和QV:如果在像素位置m处在像素m处权重图QI取1，否则权重图QI取0；如果在像素位置m处在像素m处权重图QV取1，否则权重图QV取0；其中，与分别为红外图像I与可见光图像V在像素位置m处的显著性特征值；对所述获得红外图像I与可见光图像V融合的权重图QI与QV分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数lI和lV融合权重图WI和WV：其中，σu与σv分别是双边滤波中控制空间距离和灰度距离的参数，其中，σu取10，σv取10；双边滤波选择的滤波窗口大小为9×9。3.根据权利要求2所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像为：对所述获得的红外图像I和可见光图像V的低频子带系数lI和lV进行加权融合，获得融合低频子带系数Cl：Cl(i,j)＝WI(i,j)lI(i,j)+WV(i,j)lV(i,j)其中，(i,j)为像素的空间位置；根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图QI和QV分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和的融合权重图和其中，σu与σv分别是双边滤波中控制空间距离和灰度距离的参数，其中，σu取10000，σv取10000；双边滤波选择的滤波窗口大小为9×9；对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数其中，(i,j)为像素的空间位置；对所述获得的红外图像I和可见光图像V融合后的低频子带系数Cl和高频子带系数进行谱图小波逆变换，获得融合后的图像F...

【专利技术属性】
技术研发人员：秦翰林，延翔，韩姣姣，周慧鑫，牟媛，李佳，马琳，曾庆杰，金纯，吕恩龙，刘上乾，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61