基于梯度置信变分模型的红外图像融合增强方法技术

本发明专利技术公开了一种基于梯度置信变分模型的红外图像融合增强方法，主要解决现有全变分融合方法中出现部分源图像目标丢失的问题。其实现步骤是：1.获取红外图像u和可见光图像v；2.构造红外图像u和可见光图像v的多尺度结构张量加权梯度；3.用平均图像初始化第1次迭代的融合图像，设置最大迭代次数N；4.分别构建融合图像的亮度保真项和梯度保真项；5.构建由亮度保真项和梯度保真项组成的能量泛函；6.求解能量泛函最小化问题，获得第t+1次迭代的融合图像；7.重复步骤4至步骤6，直至迭代次数达到N次，输出融合结果。本发明专利技术具有更好的目标保持性能，更丰富的细节特性及更好的视觉效果，可用于目标识别。

【技术实现步骤摘要】
基于梯度置信变分模型的红外图像融合增强方法
本专利技术属于数字图像处理领域，具体涉及一种红外图像融合增强方法，可用于目标识别。
技术介绍
图像融合是将同一场景多传感器源图像信息进行融合的技术。在环境条件不理想的情况下，如烟，雾，雨，低亮度等，单一传感器不足以提供充足信息，从而严重影响到后续的特征提取与分析等处理。而来自多个传感器的多源图像能够提供互补和冗余信息，通过图像融合技术，可以获得视觉效果较好的融合图像。针对图像融合问题，该领域的研究者进行了多方面的探索和研究，提出了多种基于数字信号处理技术的融合方法。现存的图像融合方法主要有：简单融合法，多尺度多分辨率分解法和变分法。简单融合法有加权平均法和灰度值选大选小法，这种方法计算简单但是效果有限。多尺度多分辨分解的典型模型是拉普拉斯金字塔变换法，与简单融合法相比融合效果有较大改善。近两年提出的基于全变分的图像融合方法，如JiayiMa,ChenChen,ChangLi,JunHuang,Infraredandvisibleimagefusionviagradienttransferandtotalvariationminimization,InformationFusion31(2016)100-109.，该方法的融合效果虽比其他传统方法更加优异，但却在某些情形下会丢失源图像的一些图像信息，对后续的目标检测和识别应用造成不利影响。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于梯度置信变分模型的红外图像融合增强方法，以自适应地从两张源图像中提取各自包含的有用的信息，得到具有丰富细节信息的融合图像，提高对后续的目标检测和识别的效果。为了实现上述目标，本专利技术的技术方案包括如下：(1)获取红外图像u和可见光图像v；(2)构造红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv其中，▽s是多尺度梯度算子，▽su和▽sv分别为红外图像u和可见光图像v的多尺度梯度，Ws,u和Ws,v分别是▽su和▽sv的权重；(3)迭代计算融合图像：(3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；(3b)构建融合图像的亮度保真项其中，下标t为迭代序号，为2范数；(3c)构建融合图像的梯度保真项其中，αs为空间距离权，其取值随着指数项s的增大而减小，0＜α＜1；β为增强因子；||·||1为1范数；为融合图像的多尺度梯度；(3d)构建由亮度保真项和梯度保真项组成的能量泛函Et：其中，λ为规整参数；(3e)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像其中，Δt为迭代步长，为梯度保真项对的导数；(4)判断迭代次数是否小于最大迭代次数N，如果迭代次数小于最大迭代次数，则重复步骤(3b)至(3e)；否则，迭代结束，输出融合图像。本专利技术与现有技术相比，具有以下优点：1.本专利技术由于采用红外图像u和可见光图像v的平均图像作为亮度保真项中的逼近图像，改善了传统全变分算法中丢失部分目标信息的缺点；2.本专利技术由于在梯度保真项中引入多尺度结构张量加权梯度，使得融合图像能够同时保留可见光图像和红外图像中更多的细节信息，与全变分融合方法只从可见光图像提取细节信息相比，目标和细节保持能力有了明显的改善；3.本专利技术通过引入增强因子，提高图像对比度，使得融合图像具有更好的视觉效果。附图说明图1是本专利技术的实现框图；图2是待增强的红外测试图像；图3是与图2为同一场景的可见光图像；图4是采用现有全变分方法对图2和图3进行融合后的输出图像；图5是采用本专利技术的方法对图2和图3进行融合后的输出图像。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。参照图1，本专利技术的图像融合方法，将基于结构张量加权的多尺度梯度作为梯度保真项，具体包括如下步骤：步骤1，获取红外图像u和可见光图像v。本实施例采用开源数据库TNOImageFusionDataset中名称为“Lake”的红外图像和可见光图像作为待融合图像，其中红外图像u如附图2所示，可见光图像如附图3所示。步骤2，计算红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)。2a)计算红外图像u的多尺度梯度▽su和可见光图像v的多尺度梯度▽sv：▽su＝(u-fs,xu，u-fs,yu)T▽sv＝(v-fs,xv，v-fs,yv)T其中，尺度值s＝1,2,3...30，fs,xu表示将红外图像u沿着x轴平移s个像素，fs,yu表示将红外图像u沿着y轴平移s个像素，fs,xv表示将可见光图像v沿着x轴平移s个像素，fs,yv表示将可见光图像v沿着y轴平移s个像素，T表示转置操作；2b)计算红外图像u的细节信息丰富度ωu,s：2b1)利用如下公式计算5*5的高斯卷积核K：其中xc为核中心坐标；σ为核函数宽度参数，σ＝15；表示2范数。2b2)计算红外图像u的多尺度结构张量ST(u)：其中，为红外图像u的结构张量ST(u)的第1行第1列分量，ju,12＝us,xus,y*K为红外图像u的结构张量ST(u)的第1行第2列分量，ju,21＝us,xus,y*K为红外图像u的结构张量ST(u)的第2行第1列分量，为红外图像u的结构张量ST(u)的第2行第2列分量；us,x为红外图像u的多尺度梯度▽su的x轴分量，us,y为红外图像u的多尺度梯度▽su的y轴分量；*表示卷积运算；2b3)计算红外图像u的多尺度结构张量ST(u)的两个特征值μu,s,1和μu,s,2：2b4)计算红外图像u的细节信息丰富度ωs,u：ωs,u＝(μu,s,1-μu,s,2)2，2c)计算可见光图像v的细节信息丰富度ωv,s：2c1)计算可见光图像v的多尺度结构张量ST(v)：其中，为可见光图像v的结构张量ST(v)的第1行第1列分量，jv,12＝vs,xvs,y*K为可见光图像v的结构张量ST(v)的第1行第2列分量，jv,21＝vs,xvs,y*K为可见光图像v的结构张量ST(v)的第2行第1列分量，为可见光图像v的结构张量ST(v)的第2行第2列分量；vs,x为可见光图像v的多尺度梯度▽sv的x轴分量，vs,y为可见光图像v的多尺度梯度▽sv的y轴分量；*表示卷积运算；2c2)计算可见光图像v的多尺度结构张量ST(v)的两个特征值μv,s,1和μv,s,2：2c3)计算可见光图像v的细节信息丰富度ωs,v：ωs,v＝(μv,s,1-μv,s,2)2；2d)利用红外图像u的细节信息丰富度ωs,u和可见光图像v的细节信息丰富度ωs,v计算红外图像u的多尺度梯度权重Ws,u和可见光图像v的多尺度梯度权重Ws,v：其中，eps是一个小数值的预定义常数，用以防止分母为0的情况。2e)计算红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv。步骤3，迭代计算融合图像3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；3b)构建融合图像的亮度保真项其中，下标t为迭代序号，为2范数；3c)计算融合图像的梯度保真项3c1)计算融合图像的多尺度梯度其中，T表示转置操作；表示将融合图本文档来自技高网...

【技术保护点】
一种基于梯度置信变分模型的红外图像融合增强方法，包括：(1)获取红外图像u和可见光图像v；(2)构造红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv其中，▽s是多尺度梯度算子，▽su和▽sv分别为红外图像u和可见光图像v的多尺度梯度，Ws,u和Ws,v分别是▽su和▽sv的权重；(3)迭代计算融合图像：(3a)用平均图像

【技术特征摘要】
1.一种基于梯度置信变分模型的红外图像融合增强方法，包括：(1)获取红外图像u和可见光图像v；(2)构造红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv其中，▽s是多尺度梯度算子，▽su和▽sv分别为红外图像u和可见光图像v的多尺度梯度，Ws,u和Ws,v分别是▽su和▽sv的权重；(3)迭代计算融合图像：(3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；(3b)构建融合图像的亮度保真项其中，下标t为迭代序号，为2范数；(3c)构建融合图像的梯度保真项其中，αs为空间距离权，其取值随着指数项s的增大而减小，0＜α＜1；β为增强因子；||·||1为1范数；为融合图像的多尺度梯度；(3d)构建由亮度保真项和梯度保真项组成的能量泛函Et：其中，λ为规整参数；(3e)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像其中，Δt为迭代步长，为梯度保真项对的导数；(4)判断迭代次数是否小于最大迭代次数N，如果迭代次数小于最大迭代次数，则重复步骤(3b)至(3e)；否则，迭代结束，输出融合图像。2.根据权利要求1所述的方法，其中步骤(2)中红外图像u和可见光图像v的多尺度梯度▽su和▽sv，按如下公式计算：▽su＝(u-fs,xu，u-fs,yu)T▽sv＝(v-fs,xv，v-fs,yv)T其中fs,xu表示将红外图像u沿着x轴平移s个像素，fs,yu表示将红外图像u沿着y轴平移s个像素，fs,xv表示将可见光图像v沿着x轴平移s个像素，fs,yv表示将可见光图像v沿着y轴平移s个像素，T表示转置操作。3.根据权利要求1所述的方法，其中步骤(2)中红外图像u的多尺度梯度权重Ws,u和可见光图像v的多尺度权重Ws,v，按如下步骤计算：(2a)计算红外图像u的细节信息丰富度ωu,s：(2a1)计算红外图像u的多尺度结构张量ST(u)：其中，为红外图像u的结构张量ST(u)的第1行第1列分量，ju,12＝us,xus,y*K为红外图像u的结构张量ST(u)的第1行第2列分量，ju,21＝us,xus,y*K为红外图像u的结构张量ST(u)的第2行第1列分量，为红外图像u的结构张量ST(u)的第2行第2列分量；us,x为红外图像u的多尺度梯度▽su的x轴分量，us,y为红外图像u的多尺度梯度▽su的y轴分量；*表示卷积运算；K为5*5的高斯核，其表达式为：其中xc为核中心坐标；σ为核函数宽度参数；表示2范数；(2a2)计算红外图像u的多尺度结构张量ST(u)的两个特征值μu,s,1和μu,...

【专利技术属性】
技术研发人员：赖睿，李永薛，章刚玄，张剑贤，岳高宇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61