一种红外图像与可见光图像的融合方法技术

本发明专利技术公开了一种红外图像与可见光图像的融合方法，包含以下步骤：步骤1)对输入的红外图像和可见光图像进行显著性检测；步骤2)将红外图像和可见光图像作为外部激励和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。本发明专利技术将红外图像与可见光图像同时输入到一个PCNN模型中，并以显著值为指导进行加权，从而实现了一种高效的非线性图像融合方法。

【技术实现步骤摘要】

本专利技术属于图像融合
，特别是涉及航空系统中红外图像与可见光图像融合技术的应用。
技术介绍
本专利技术主要针对红外图像与可见光图像融合技术在航空系统中的应用设计了一种高效的红外图像与可见光图像融合算法。红外成像传感器与可见光成像传感器相比，红外成像传感器具有穿透烟尘能力强，并可以昼夜工作等优点，可见光图像则包含较多的边缘以及纹理信息。红外图像与可见光图像间信息存在冗余和互补。应用图像融合技术来更有效的分析和处理这些信息可以带来的效益有：●实现多个成像传感器的信息共享、优势互补，增强作战飞机的态势感知能力；●丰富了目标搜索、探测、跟踪、识别的手段，提高目标识别的可靠性；●图像传感器大多工作方式为无源，支持隐蔽探测、隐蔽接敌，提升了飞机隐身与反隐身能力；●采用智能算法处理多源图像，减轻了飞行员的工作负荷；●提高航电系统综合化程度以及资源利用率。一种简单的图像融合方法是对源图像的对应像素进行平均加权，但同时也带来了一些负面的影响，如降低图像的对比度。近年来，许多学者发现基于多分辨率分析的方法具有良好的图像表示能力，并被广泛的应用于图像融合之中，如金字塔算法、小波变换、多尺度几何小波等。虽然基于多分辨率分析的方法能够获得较好的融合性能，但算法的计算复杂度较大，尤其是基于多尺度几何小波的图像融合算法，虽然效果最佳，但很难做到实时。图像显著性检测可以得到代表图像显著性的标量图，关注于找出人类观察者第一眼所注意到的固定点或对象，图像中越显著的像素点将具有更大的标量值，而通过显著图来指导融合权重的分配则可以获得比普通平均加权更好的融合结果，使原始图像中的显著区域在融合图像中更好的凸显出来，针对可见光与红外图像的特点，通过显著性检测来指导融合，可以将可见光图像的边缘细节信息以及红外图像中的目标信息更好的融入到融合图像中，从而获得较好的融合效果。脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)是模拟猫的视觉皮层细胞对视觉信号的处理机制而产生的一类新型神经网络模型，其信息处理的模式与人类视觉处理过程十分相似，并且可以根据不同的应用来对模型进行相应的改变，在图像处理领域有广泛的应用。在图像融合领域，基于PCNN模型的图像融合算法大致有三种类型，直接利用PCNN模型在空域进行融合的算法；将PCNN模型与多分辨率分析相结合的方法；双通道的PCNN模型等。直接利用PCNN模型的方法一般都需要多个PCNN模型，与多分辨率分析相结合的方法需要多分辨率分解与逆变换的过程，因此这些算法一般都具有较高的计算复杂度。虽然基于双通道PCNN模型的图像融合算法仅使用了一个PCNN模型从而使算法具有较高的效率，但其融合结果并不是对原始图像的加权平均，物理意义并不清晰，而且对于PCNN模型的非线性特性并没有充分利用。
技术实现思路
本专利技术所要解决的问题是提供一种高效的红外图像与可见光图像融合算法，提出了一种红外图像与可见光图像的融合方法，具有较大显著性值的像素在融合图像中将具有更大的权重；并设计了一种基于改进PCNN模型的图像融合框架，两幅图像同时输入到一个PCNN模型中，并以显著值为指导进行加权，从而实现了一种高效的非线性图像融合算法。本专利技术的专利技术目的通过以下技术方案实现：一种红外图像与可见光图像的融合方法，包含以下步骤：步骤1)、对输入的红外图像和可见光图像进行显著性检测；C(i,j)=Σ(m,n)∈Ωω(m,n,i,j)d(m,n,i,j)Ψ(m,n,i,j),]]>其中，C(i,j)代表图像I中像素点(i,j)的对比度函数，Ω代表像素点(i,j)的邻域，(m,n)是像素点(i,j)邻域的坐标值，ω代表空间分布的重要度函数，d代表像素灰度差值的重要度函数，ψ代表像素点在整幅图像中稀有程度的函数；步骤2)、将红外图像和可见光图像作为外部激励SA、SB和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。依据上述特征，所述空间分布的重要度函数ω的公式为：ω(m,n,i,j)=12πδ2e-((m-i)2+(n-j)2)/(2δ2).]]>所述像素灰度差值的重要度函数d的公式为：d(m,n,i,j)＝|I(i,j)-I(m,n)|。所述像素在整幅图像中稀有程度的函数ψ的公式为：ψ(m,n,i,j)=(Σ(i,j)∈I|I(m,n)-I(i.j)|-min)/(max-min).]]>依据上述特征，所述PCNN模型为：HijA[n]=SijA+Σk,lwijklYkl[n-1]]]>HijB[n]=SijB+Σk,lmijklYkl[n-1]]]>Uij[n]=αijAHijA[n]+αijBHijB[n]+gain]]>Yij[n]=Uij[n]-Surij[n],Uij[n]>Tij[n]0,otherwise]]>Tij[n]=e-αTtij[n-1]+VTYij[n],]]>其中，HA和HB代表两个对称的输入，αA和αB为两个输入的权重系数，其具体的值由显著图来决定，gain为人工添加的增益，U为神经元的内部活动信号，T为动态阈值，Y为神经元的脉冲输出信号，VT为动态阈值的放大系数，αT为动态阈值衰减系数，M和W为内部连接矩阵，Sur代表周围神经元的输入，kijkl＝wijkl＝mijkl，Surij＝∑klkijklYkl[n-1]。依据上述特征，所述步骤2)中图像融合的步骤为：步骤2.1)初始化参数和矩阵，U＝Y＝O＝0，T＝100，gain＝10，K＝M＝W＝[0.1091 0.1049 0.1091；0.1409 0 0.1409；0.1091 0.1049 0.1091]。步骤2.2)、Sur=Y⊗K;]]>HA＝SA+Sur；HB＝SB+Sur；U＝αAHA+αBHB+gain；如果Uij＞Tij，则Yij＝Uij-Surij，否则Yij＝0；T=e-αTT+VTY;]]>gain＝gain-2；Oij＝Yij；步骤2.3)、如果所有的神经元全部点火，则进入下一步，否则返回步骤2.2；步骤2.4)、O为融合框架的最终输出。依据上述特征，所述αA=θAθA+&本文档来自技高网...

【技术保护点】
一种红外图像与可见光图像的融合方法，包含以下步骤：步骤1)、对输入的红外图像和可见光图像进行显著性检测；C(i,j)=Σ(m,n)∈Ωω(m,n,i,j)d(m,n,i,j)ψ(m,n,i,j),]]>其中，C(i,j)代表图像I中像素点(i,j)的对比度函数，Ω代表像素点(i,j)的邻域，(m,n)是像素点(i,j)邻域的坐标值，ω代表空间分布的重要度函数，d代表像素灰度差值的重要度函数，ψ代表像素点在整幅图像中稀有程度的函数；步骤2)、将红外图像和可见光图像作为外部激励SA、SB和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。

【技术特征摘要】
1.一种红外图像与可见光图像的融合方法，包含以下步骤：
步骤1)、对输入的红外图像和可见光图像进行显著性检测；
C(i,j)=Σ(m,n)∈Ωω(m,n,i,j)d(m,n,i,j)ψ(m,n,i,j),]]>其中，C(i,j)代表图像I中像素点(i,j)的对比度函数，Ω代表像素点(i,j)的邻
域，(m,n)是像素点(i,j)邻域的坐标值，ω代表空间分布的重要度函数，d代表
像素灰度差值的重要度函数，ψ代表像素点在整幅图像中稀有程度的函数；
步骤2)、将红外图像和可见光图像作为外部激励SA、SB和周围神经元的输
出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最
终图像。
2.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特
征在于所述空间分布的重要度函数ω的公式为：
ω(m,n,i,j)=12πδ2e-((m-i)2+(n-j)2)/(2δ2).]]>3.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特
征在于所述像素灰度差值的重要度函数d的公式为：
d(m,n,i,j)＝|I(i,j)-I(m,n)|。
4.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特
征在于所述像素在整幅图像中稀有程度的函数ψ的公式为：
ψ(m,n,i,j)=(Σ(i,j)∈I|I(m,n)-I(i,j)|-min)/(max-min).]]>5.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特
征在于所述PCNN模型为：
HijA[n]=SijA+Σk,lwijklYkl[n-1]]]>HijB[n]=SijB+Σk,lwijk...

【专利技术属性】
技术研发人员：金星，刘坤，赵军，王祎璠，詹轶，
申请(专利权)人：中国航空无线电电子研究所，上海海事大学，
类型：发明
国别省市：上海;31