基于图像增强和权重优化的红外与可见光图像融合方法技术

本发明专利技术涉及图像处理技术领域，公开了基于图像增强和权重优化的红外与可见光图像融合方法，本申请采用了一种新的权重图构造方法，能够更充分地提取输入图像的重要特征；在加权融合之前对源图像进行增强，以解决加权融合容易导致细节和特征不足的缺陷，此外，对权重系数的优化使本方法比传统的加权融合方法相比更具鲁棒性。本方法生成的融合图像有着良好的特征与细节表现，并且不会产生伪影。并且不会产生伪影。并且不会产生伪影。

【技术实现步骤摘要】
基于图像增强和权重优化的红外与可见光图像融合方法


[0001]本专利技术涉及图像处理
，更具体地说，它涉及基于图像增强和权重优化的红外与可见光图像融合方法。

技术介绍

[0002]红外传感器能有效地捕捉高温目标，即使在遮挡或弱光条件下也能获得可用的图像。但红外图像存在场景细节不完整、清晰度差的问题。与红外图像不同，可见光图像通常细节丰富，但其成像效果受光照条件的影响很大，对环境要求较高。在一些恶劣环境，如光照不足或有烟雾干扰的情况下，需要同时使用红外传感器与可见光传感器捕获图像，也即获得多源图像，以获得更完整的目标场景信息。然而，多源图像需要更多的存储空间，同时也需要更多的时间来查看。红外与可见光图像融合可以克服红外传感器的成像缺陷和可见光传感器的环境限制，生成包含更有效信息的图像。
[0003]在像素级图像融合领域，基于深度学习的方法和基于多尺度变换的方法是目前常用的两种方法。基于深度学习的方法存在着训练时间长、缺乏真实参考图像等问题。基于多尺度变换的方法包括金字塔、多尺度几何分析和小波等方法。通常，这些基于多尺度变换的方法首先将源图像分解为不同尺度，以便更好地处理细节和特征，然后利用设定的规则在这些尺度上进行处理、融合和反变换，得到融合后的图像。虽然基于MST的方法通常能很好地保留图像细节，但它们计算复杂度高，可能会在边缘附近产生伪影。在传统的基于多尺度变换的融合方法中，基础层是使用“平均”规则融合的，这可能导致对比度损失，特别是在处理多源图像融合任务时。为了实现对不同源图像信息的合理利用，学者们提出了一些基于优化的融合方法，将融合问题转化为优化问题。这些基于优化的方法可能会使融合后的图像在迭代过程中过于平滑，缺乏良好的细节和特征性能。
[0004]因此，本申请提出一种基于图像增强和权重优化的红外与可见光图像融合方法，以解决上述技术问题。

技术实现思路

[0005]为了克服现有技术中所存在的上述缺陷，本专利技术提供了基于图像增强和权重优化的红外与可见光图像融合方法，采用了一种新的权重图构造方法，能够更充分地提取输入图像的重要特征；在加权融合之前对源图像进行增强，以解决加权融合容易导致细节和特征不足的缺陷，此外，对权重系数的优化使本方法比传统的加权融合方法相比更具鲁棒性。本方法生成的融合图像有着良好的特征与细节表现，并且不会产生伪影。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：基于图像增强和权重优化的红外与可见光图像融合方法，包括以下步骤：
[0007]S1、采用红外传感器获得目标场景的红外图像，采用可见光传感器获得目标场景的可见光图像；
[0008]S2、生成红外图像和可见光图像的权重图：
[0009]1)生成红外图像权重图：对可见光图像通过改进的灰度反转得到权重图B，将红外图像本身和权重图B平均得到红外图像权重图；
[0010]2)生成可见光图像权重图：对红外图像通过改进的灰度反转得到权重图A，将可见光图像本身和权重图A平均得到可见光图像权重图；
[0011]S3、图像增强：
[0012]1)增强红外图像的对比度；
[0013]2)增强可见光图像的对比度和亮度；
[0014]S4、利用蒲公英优化器分别确定可见光图像和红外图像的权重系数并进行权重优化，通过加权融合生成融合图像。
[0015]进一步的，步骤S3中所述红外图像的对比度通过使用有效图像导向滤波进行增强。
[0016]进一步的，步骤S3中所述可见光图像的对比度和亮度通过使用基于视网膜理论的多相算法结合蒲公英优化器实现自适应增强。
[0017]综上所述，本专利技术具有以下有益效果：本申请采用了一种新的权重图构造方法，能够更充分地提取输入图像的重要特征；在加权融合之前对源图像进行增强，以解决加权融合容易导致细节和特征不足的缺陷，此外，对权重系数的优化使本方法比传统的加权融合方法相比更具鲁棒性。本方法生成的融合图像有着良好的特征与细节表现，并且不会产生伪影。
附图说明
[0018]图1是本专利技术实施例中基于图像增强和权重优化的红外与可见光图像融合方法的流程图；
[0019]图2是本专利技术实施例中红外与可见光图像权重图的构建流程图；
[0020]图3是本专利技术实施例中TNO数据集上的实验结果图。
具体实施方式
[0021]以下结合附图1
‑
3对本专利技术作进一步详细说明。
[0022]实施例1：基于图像增强和权重优化的红外与可见光图像融合方法，如图1和图2所示，包括以下步骤：
[0023]S1、采用红外传感器获得目标场景的红外图像，采用可见光传感器获得目标场景的可见光图像；
[0024]S2、生成红外图像和可见光图像的权重图：
[0025]1)生成红外图像权重图：对可见光图像通过改进的灰度反转得到权重图B，将红外图像本身和权重图B平均得到红外图像权重图；
[0026]2)生成可见光图像权重图：对红外图像通过改进的灰度反转得到权重图A，将可见光图像本身和权重图A平均得到可见光图像权重图；
[0027]S3、图像增强：
[0028]1)增强红外图像的对比度，所述红外图像的对比度通过使用有效图像导向滤波进行增强；
[0029]2)增强可见光图像的对比度和亮度，所述可见光图像的对比度和亮度通过使用基于视网膜理论的多相算法结合蒲公英优化器实现自适应增强；
[0030]S4、利用蒲公英优化器分别确定可见光图像和红外图像的权重系数并进行权重优化，通过加权融合生成融合图像。
[0031]如图3所示，为本方法在TNO数据集上的部分实验结果图，其中，图3(a)是红外图像，图3(b)是可见光图像，图3(c)是融合图像。观察可知，图3中，红外图像有明显的行人和交通信息，可见光图像有着商店招牌和窗口轮廓以及其他细节信息，融合图像保留了两张图像的特征与细节信息，能清楚地看到商店招牌和行人信息，并且没有产生伪影。
[0032]实施例2：基于图像增强和权重优化的红外与可见光图像融合算法，包括三个部分，分别是权重图构建、图像增强和权重优化。
[0033](a)权重图构建
[0034]在多数情况下，红外图像中的物体和背景可以清晰区分，并且重要特征都有着很好的表现。因此，本申请将红外图像本身视为其权重图的一部分。红外图像的权重图是将红外图像本身和图2中的权重图B平均得到。红外图像的权重图由下式生成：
[0035]W
B
＝max(I
VI
)
‑
I
VI
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0036][0037]其中，W
B
是图2中的权重图B，max(I
VI
)是由红外图像最大值构成的与红外图像一样尺寸的矩阵，W
IR
是红外图像的权重图，I
IR
与I
VI
分别代表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像增强和权重优化的红外与可见光图像融合方法，其特征在于，包括以下步骤：S1、采用红外传感器获得目标场景的红外图像，采用可见光传感器获得目标场景的可见光图像；S2、生成红外图像和可见光图像的权重图：1)生成红外图像权重图：对可见光图像通过改进的灰度反转得到权重图B，将红外图像本身和权重图B平均得到红外图像权重图；2)生成可见光图像权重图：对红外图像通过改进的灰度反转得到权重图A，将可见光图像本身和权重图A平均得到可见光图像权重图；S3、图像增强：1)增强红外图像的对比度；2...

【专利技术属性】
技术研发人员：竺德，张勇康，高清维，卢一相，孙冬，赵大卫，
申请(专利权)人：安徽大学，
类型：发明
国别省市：