本发明专利技术涉及一种基于梯度域导向滤波和改进PCNN的图像融合方法，属于图像处理领域。首先，根据图像的结构、清晰度以及对比度显著性这三个互补的图像特征对源图像进行检测，得到初始决策图，此决策图模型能够有效、准确地度量特征的显著性，大大提高方法的性能；然后，为了充分利用图像的空间一致性，同时抑制图像中的块效应，采用梯度域导向滤波对初始决策图进行优化，得到优化决策图；其次，对优化决策图和待融合图像进行加权操作，得到最优决策图；最后，为了使融合的图像更符合人眼的视觉特性，采用改进的PCNN对优化的决策图进行处理，得到最终的融合图。本发明专利技术解决了传统图像融合方法的方法复杂、效率低以及过度依赖人工设计的问题，同时图像的融合质量进一步提高。
【技术实现步骤摘要】
基于梯度域导向滤波和改进PCNN的图像融合方法
本专利技术属于图像处理领域，具体涉及一种多源图像融合方法，可以应用于各种民用的图像处理系统。
技术介绍
图像融合是指利用一定的技术将两幅或者多幅多源图像的重要信息进行合并的过程，目的是使所获得的融合图像能够充分利用不同源图像信息，以便更准确全面描述场景信息。作为图像融合技术中一个重要组成部分，红外与可见光图像融合后的图像清晰度更高、信息量更大、获取目标和场景的信息更全面且更适合人类视觉感知，已经在军事、工业和民用等领域得到应用。在民用领域中，将红外与可见光融合技术应用在汽车夜视系统中，可以提高汽车在浓雾、大雨等恶劣天气条件下行车的安全性。近年来，由于深度学习在计算机视觉与图像处理领域中取得的相关成果，使得许多学者开始研究将深度学习应用到图像融合方面。文献“LiS,KangX,HuJ.ImageFusionwithGuidedFiltering[J].IEEETransactionsonImageProcessing,2013,22(7):2864-2875.”提出了一种基于引导滤波的方法，它能以高计算效率获得更好的结果。然而，该方法通过拉普拉斯算子直接生成像素显著度来构造最终的融合权重图，并不能很好地表示源图像视觉上可辨别的特征。此外，由于引导滤波器使用局部线性模型，不能在某些边缘附近很好地表示图像从而产生光晕伪影。文献“江泽涛，吴辉，周晓玲.基于改进引导滤波和(DualChannelSpikingCorticalModel，DCSCM)DCSCM的红外与可见光图像融合方法[J].光学学报,2018,32(2):021002.”则将改进的导向滤波与DCSCM相结合，提出了一种融合方法，但该方法中引导滤波权重因子为常数，容易导致图像在边缘处细节信息模糊。针对上述文献存在问题，本专利技术提出基于梯度域导向滤波和改进的脉冲耦合神经网络(GradientDomainGuidedFilterandimprovedPulseCoupledNeuralNetwork，GDGF-PCNN)的融合方法。
技术实现思路
要解决的技术问题针对融合方法所获得的融合图像产生光晕伪影以及对比度低的问题，充分利用导向滤波器的边缘平滑和边缘梯度保持特性以及(pulsecoupledneuralnetwork，PCNN)PCNN模型的利于视觉感知的特点，提出一种基于梯度域导向滤波和改进的脉冲耦合神经网络(GradientdomainguidedfilterandimprovedPCNN，GDGF-PCNN)的融合方法，较好的保留了图像的边缘、纹理和细节信息，避免了目标边缘的光晕伪影现象，而且更利于视觉观察，达到了很好的融合效果。技术方案一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤如下：步骤1：多视觉特征的初始决策图构造首先，将源图像In进行高斯滤波，得到包含强度变化的近似分量然后将源图像与近似分量相减得到包含细节信息的细节分量表达式如下：式中*表示卷积操作，Gr,σ表示大小为(2r+1)×(2r+1)，标准差为σ的高斯滤波器；将输入图像的多视觉特征初始决策图分为三个关键评价特征进行构造：清晰度决策图、对比度决策图以及结构显著性决策图：1)清晰度决策图源图像In的清晰度的数学表达式为：式中表示拉普拉斯算子，其数学表达式为：图像的清晰度决策图表示为：式中N表示源图像数量，表示像素为k时的清晰度值；2)对比度决策图源图像In的局部对比度的数学表达式为：式中表示以(x,y)为中心的窗口的均值，p×q表示窗口大小；然后，对局部对比度LCn进行局部加权得到对比度图：CSn＝LCn*Gr,σ(7)图像的对比度决策图表示为：式中N表示源图像数量，表示像素为k时的对比度值；3)结构显著性决策图基于局部窗口W的梯度协方差矩阵表示为：式中Ix(X)和Iy(X)分别表示点X＝(x,y)沿x和y方向的梯度，为了得到图像的局部结构描述，对上式进行特征值分解：式中和为矩阵C的特征值；图像结构显著性的定义为：式中α用于确定结构中边角的重要性，α>-1；图像的结构显著性决策图表示为：式中N表示源图像数量，表示像素为k时的结构显著性值。步骤2：基于梯度域导向滤波的决策图优化将GDGF应用于步骤1中每个基于视觉特征的决策图D1,n、D2,n和D3,n，将相应的源图像In的近似分量和细节分量作为引导图像以生成每个特征的最优决策图，即：式中r1和r2为GDGF的参数，m＝(1,2,3)；通过结合三个特征的决策图，得到源图像的优化决策图，即：式中和表示得到的近似分量和细节分量的决策图；对得到的近似分量和细节分量的决策图进行加权处理，得到最终的融合分量，即：最后，将融合的近似分量和细节分量相加得到最优决策图，即：步骤3：基于改进PCNN的融合权重图构造首先将外部激励S送入到改进的PCNN中，改进的PCNN的具体实施步骤如下：1.对于PCNN网络，网络中的任何神经元由N(i,j)表示，其中i和j表示N(i,j)的位置坐标，将PCNN应用于图像处理，PCNN的大小等于二维图像的输入大小，即像素点与神经元一一对应，因此，将网络的外部激励输入矩阵S归一化到[0,1]范围中。2.分别初始化PCNN网络的内部激活状态Uij＝0，网络输出Yij＝0以及n＝1，网络的动态阈值的初值Tij由公式(20)计算得到：上式中，Smax表示外部激励输入矩阵S中的最大值，Skl表示与Ykl对应迭代次数的输入，La表示拉普拉斯算子；3.分别利用公式(21)-(25)计算Fij[n]反馈输入、Lij[n]链接输入，Uij[n]内部激活状态、动态阈值Tij[n]、Yij[n]输出以及Rij最终的输出：Fij[n]＝Sij[n](21)Uij[n]＝Fij[n](1+βLij[n])(22)式中，β表示连接系数，αT表示Tij[n]的衰减时间常数，VT分别表示Tij的固有电压；4.如果公式(24)中计算得到Y＝0，则进行下一步计算；如果Y≠0，则令n＝n+1，然后退回到上一步进行循环；5.根据公式(25)计算改进PCNN的输出R，并将R归一化到[0,1]，即：6.最后，将上一步得到的R与门限值进行比较，得到一个融合映射图Fm；步骤4：图像融合计算融合映射图Fm和源图像Iij之间的差的绝对值，表达式如下：如果则选择位置(i,j)处的源图像IA的像素作为融合图本文档来自技高网...
【技术保护点】
1.一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤如下：/n步骤1：多视觉特征的初始决策图构造/n首先，将源图像I
【技术特征摘要】
1.一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤如下：
步骤1：多视觉特征的初始决策图构造
首先，将源图像In进行高斯滤波，得到包含强度变化的近似分量然后将源图像与近似分量相减得到包含细节信息的细节分量表达式如下：
式中*表示卷积操作，Gr,σ表示大小为(2r+1)×(2r+1)，标准差为σ的高斯滤波器；
将输入图像的多视觉特征初始决策图分为三个关键评价特征进行构造：清晰度决策图、对比度决策图以及结构显著性决策图：
1)清晰度决策图
源图像In的清晰度的数学表达式为：
式中表示拉普拉斯算子，其数学表达式为：
图像的清晰度决策图表示为：
式中N表示源图像数量，表示像素为k时的清晰度值；
2)对比度决策图
源图像In的局部对比度的数学表达式为：
式中表示以(x,y)为中心的窗口的均值，p×q表示窗口大小；然后，对局部对比度LCn进行局部加权得到对比度图：
CSn＝LCn*Gr,σ(7)
图像的对比度决策图表示为：
式中N表示源图像数量，表示像素为k时的对比度值；
3)结构显著性决策图
基于局部窗口W的梯度协方差矩阵表示为：
式中Ix(X)和Iy(X)分别表示点X＝(x,y)沿x和y方向的梯度，为了得到图像的局部结构描述，对上式进行特征值分解：
式中和为矩阵C的特征值；
图像结构显著性的定义为：
式中α用于确定结构中边角的重要性，α>-1；
图像的结构显著性决策图表示为：
式中N表示源图像数量，表示像素为k时的结构显著性值；
步骤2：基于梯度域导向滤波的决策图优化
将GDGF应用于步骤1中每个基于视觉特征的决策图D1,n、D2,n和D3,n，将相应的源图像In的近似分量和细节分量作为引导图像以生成每个特征的最优决策图，即：
式中r1和r2为GDGF的参数，m＝(1,2,3)；
通过结合三个特征的决策图，得到源图像的优化决策图，即：
式中和表示得到的近似分量和细节分量的决策图；
对得到的近似分量和细节分量的决策图进行加权处理，得到最终的融合分量，即：
最后，将融...
【专利技术属性】
技术研发人员：王健，刘洁，秦春霞，杨珂，魏江，冷月香，刘少华，
申请(专利权)人：西北工业大学，西安爱生技术集团公司，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。