【技术实现步骤摘要】
一种多传感图像融合方法及系统
[0001]本专利技术涉及图像融合
，具体涉及一种多传感图像融合方法及系统。
技术介绍
[0002]图像融合是一个综合同一场景多传感源图像信息的技术。来自多个传感器的多源图像能够提供互补或冗余的信息，利用互补信息可使获得的融合图像包含更丰富的细节及更全面的信息。由于利用了来自多传感器的多源图像，所以，融合后图像对场景的描述比任何单一源图像都更全面、更精确。
[0003]基于红外图像和可见光图像比较容易获取且有很好的信息互补性，其中，红外图像主要依靠物体自身的热辐射进行成像，突出背景中隐藏的热目标，其不受光照条件、天气的影响，但对比度较低，纹理细节不丰富。可见光图像通过反射可见光进行成像纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差。因此红外图像与可见光图像融合是多传感多源头图像融合领域中的一个热门研究方向。
[0004]目前的可见光图像与红外图像融合技术主要基于像素级和特征级的融合，像素级的融合技术研究主要是基于多尺度变换融合的技术，特征...
【技术保护点】
【技术特征摘要】
1.一种多传感图像融合方法，其特征在于，该方法包括：根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；采用小波变换法分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；包括：采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果；采用小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果。2.根据权利要求1所述的一种多传感图像融合方法，其特征在于，所述衍生增强图像包括白平衡衍生图像、对比度增强衍生图像和伽马校正衍生图像。3.根据权利要求2所述的一种多传感图像融合方法，其特征在于，采用灰度世界假设理论来获取所述可见光图像的白平衡衍生图像；根据所述可见光图像中的亮度减去所述可见光图像的平均亮度值，得到亮度差值；根据所述亮度差值，采用因子线性增强亮度来获取对比度增强衍生图像；利用非线性色调操作，采用伽马校正系数，对所述可见光图像中的亮度或三色激励值进行编码或解码得到对比度增强的图像，从而获取伽马校正衍生图像。4.根据权利要求2所述的一种多传感图像融合方法，其特征在于，所述平均权重策略的融合公式为：Ff(x,y)=λ1Vf(x,y)+λ2If(x,y)+ λ3(w1Df1(x,y) + w2Df2(x,y) + w3Df3(x,y))式中，Ff (x,y)为第一融合结果，即融合后低频部分(x,y)处的像素值；Vf(x,y)为可见光图像低频部分(x,y)处的像素值；If(x,y)为红外图像低频部分(x,y)处的像素值；Df1(x,y)、Df2(x,y)、Df3(x,y)分别为三种衍生增强图像低频部分(x,y)处的像素值；w1为白平衡衍生图像低频部分像素的权重，w2为对比度增强衍生图像低频部分像素的权重，w3为伽马校正衍生图像低频部分像素的权重；λ1为可见光图像低频部分像素的权重，λ2为红外图像低频部分像素的权重，λ3为衍生增强图像低频部分像素的权重。5.根据权利要求1所述的一种多传感图像融合方法，其特征在于，所述第一路深度神经网络、第二路深度神经网络均包括依次连接的编码器、融合层和解码器；所述编码器，用于对输入的图像进行特征提取，得到图像特征；融合层，用于对编码器提取到的图像特征进行融合，得到融合后的图像特征；解码器，用于对融合后的图像特征进行重...
【专利技术属性】
技术研发人员：李非桃，庄游彬，冉欢欢，李和伦，陈春，李宝龙，唐鑫鹏，薛雨，陈益，
申请(专利权)人：四川赛狄信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。