一种基于超分辨的红外与可见光图像融合方法及系统技术方案

本发明专利技术提供了一种基于超分辨的红外与可见光图像融合方法及系统，包括获取待融合的红外图像和可见光图像；基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，获得高分辨率红外图像；基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取；基于预设融合规则，对获得的高分辨率红外图像和可见光图像的低频信息和高频信息分别进行融合，获得融合的低频信息和高频信息；基于融合的低频信息和高频信息，进行小波系数提取；对获取的小波系数进行小波逆变换，获得红外图像与可见光图像的融合图像。红外图像与可见光图像的融合图像。红外图像与可见光图像的融合图像。

【技术实现步骤摘要】
一种基于超分辨的红外与可见光图像融合方法及系统


[0001]本专利技术属于图像融合
，尤其涉及一种基于超分辨的红外与可见光图像融合方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]图像融合是将不同的图像进行数据合并，实现融合多个图像中的冗余信息互补，进一步优化图像来实现对图像的更多分析。图像融合技术发展至今，可以分为三个不同的融合层次：像素级融合、特征级融合、决策级融合。并且在不同融合层次上方法也可以分成基于传统的图像处理方法、基于深度学习的方法等。
[0004]图像融合是使用多源的通道信息来合成最终的图像结果，提高图像中包含的信息。图像融合技术一般可以分为三个步骤：多源通道图像配准、图像预处理、信息融合。专利技术人发现，目前图像融合技术主要存在以下技术问题：
[0005](1)对于多源通道图像，获取图像时一般只是使用可见光图像或者红外图像，而且对于图像的输入有严格的限定条件，要求图像经过配准操作且分辨率、尺寸均保持一致，对于不同分辨率的红外图像与可见光图像融合，现有方法无法进行有效处理；
[0006](2)图像预处理通常使用图像的平均值、熵值、标准偏差等对图像特征进行反映，现有的信息融合时采用空间域或者变换域的方法来进行实现，在不同层级进行信息融合需要不同的算法，代表性的方法为小波变换方法，当前在信息融合领域存在的主要问题在于无法有效选取最佳小波基函数和最佳小波分解层数。

技术实现思路

[0007]本专利技术为了解决上述问题，提供了一种基于超分辨的红外与可见光图像融合方法及系统，所述方案基于生成对抗网络与小波变换进行图像融合，有效保证了融合精度及融合效率。
[0008]根据本专利技术实施例的第一个方面，提供了一种基于超分辨的红外与可见光图像融合方法，包括：
[0009]获取待融合的红外图像和可见光图像；
[0010]基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，获得高分辨率红外图像；
[0011]基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取；
[0012]基于预设融合规则，对获得的高分辨率红外图像和可见光图像的低频信息和高频信息分别进行融合，获得融合的低频信息和高频信息；
[0013]基于融合的低频信息和高频信息，进行小波系数提取；
[0014]对获取的小波系数进行小波逆变换，获得红外图像与可见光图像的融合图像。
[0015]进一步的，所述生成对抗网络的训练，具体为：
[0016]构建训练数据集，数据集中的样本包括低分辨率图像及其对应高分辨率图像组成的数据对；
[0017]利用所述训练数据集对所述生成对抗网络进行训练，其输入为低分辨率图像，输出为高分辨率图像；
[0018]获得训练好的生成对抗网络。
[0019]进一步的，所述基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，仅利用所述生成对抗网络的生成器。
[0020]进一步的，基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取，具体为：基于小波变换分别对所述高分辨率红外图像及可见光图像进行低通和高通滤波，获得图像的低频和高频信息。
[0021]进一步的，所述融合规则包括低频信息融合规则和高频信息融合规则，其中，所述低频信息融合规则具体为：
[0022]C
J
(F，p)＝aC
J
(A，p)+(l
‑
a)C
J
(B，p)，0≤a≤1；
[0023]高频信息融合规则具体为：
[0024][0025]其中，C
J
(F，p)、C
J
(A，p)、C
J
(B，p)分别表示融合后图像F、源图像A、源图像B在J层小波分解时的系数，a为调节参数，p为图像在坐标系中的位置。
[0026]进一步的，所述小波系数提取，具体为：基于所述融合规则，对小波系数进行阈值化处理，保留高于预设阈值的小波系数。
[0027]根据本专利技术实施例的第二个方面，提供了一种基于超分辨的红外与可见光图像融合系统，包括：
[0028]数据获取单元，其用于获取待融合的红外图像和可见光图像；
[0029]红外图像超分辨单元，其用于基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，获得高分辨率红外图像；
[0030]小波变换单元，其用于基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取；
[0031]图像融合单元，其用于基于预设融合规则，对获得的高分辨率红外图像和可见光图像的低频信息和高频信息分别进行融合，获得融合的低频信息和高频信息；
[0032]小波系数提取单元，其用于基于融合的低频信息和高频信息，进行小波系数提取；
[0033]小波逆变换单元，其用于对获取的小波系数进行小波逆变换，获得红外图像与可见光图像的融合图像。
[0034]根据本专利技术实施例的第三方面，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的一种基于超分辨的红外与可见光图像融合方法。
[0035]根据本专利技术实施例的第四方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的一种
基于超分辨的红外与可见光图像融合方法。
[0036]与现有技术相比，本专利技术的有益效果是：
[0037](1)本专利技术提供了一种基于超分辨的红外与可见光图像融合方法及系统，所述方案使用生成对抗网络对红外图像首先进行超分辨处理，对比于传统算法都是通过插值来进行图像的缩放，使融合的图像具有相同的尺寸，往往不能很好的反映红外图像的真实信息，使用生成对抗神经网络比插值方法，可以得到更好的红外图像，更真实的反映红外图像的高频信息，进而有效提高融合的精确度。
[0038](2)本专利技术所述融合方法中，图像融合部分只需要使用阈值筛选的小波系数，通过小波逆变换即可获得融合后的图像，降低了融合的计算复杂度，提高了融合效率。
[0039](3)本专利技术提供的融合方法可以在红外图像与可见光图像分辨率不同的情况下，输出效果更好的融合后图像。
[0040]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0041]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0042]图1为本专利技术实施例一中所述的小波变换分解图像示意图；
[0043]图2为本专利技术实施例一中所述红外与可见光图像融合方法流程图；
[0044]图3为本专利技术实施例一中所述生成对抗神经网络对红外图像超分辨；...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨的红外与可见光图像融合方法，其特征在于，包括：获取待融合的红外图像和可见光图像；基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，获得高分辨率红外图像；基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取；基于预设融合规则，对获得的高分辨率红外图像和可见光图像的低频信息和高频信息分别进行融合，获得融合的低频信息和高频信息；基于融合的低频信息和高频信息，进行小波系数提取；对获取的小波系数进行小波逆变换，获得红外图像与可见光图像的融合图像。2.如权利要求1所述的一种基于超分辨的红外与可见光图像融合方法，其特征在于，所述生成对抗网络的训练，具体为：构建训练数据集，数据集中的样本包括低分辨率图像及其对应高分辨率图像组成的数据对；利用所述训练数据集对所述生成对抗网络进行训练，其输入为低分辨率图像，输出为高分辨率图像；获得训练好的生成对抗网络。3.如权利要求1所述的一种基于超分辨的红外与可见光图像融合方法，其特征在于，所述基于预先训练的生成对抗网络对所述红外图像进行超分辨处理，仅利用所述生成对抗网络的生成器。4.如权利要求1所述的一种基于超分辨的红外与可见光图像融合方法，其特征在于，基于小波变换分别对所述高分辨率红外图像及可见光图像进行低频和高频信息提取，具体为：基于小波变换分别对所述高分辨率红外图像及可见光图像进行低通和高通滤波，获得图像的低频和高频信息。5.如权利要求1所述的一种基于超分辨的红外与可见光图像融合方法，其特征在于，所述融合规则包括低频信息融合规则和高频信息融合规则。6.如权利要求5所述的一种基于超分辨的红外与可见光图像融合方法，其特征在于，所述低频信息融合规则具体为：C
J
(F，p)＝aC
J
(A，p)+(1
‑...

【专利技术属性】
技术研发人员：杨阳，王绍庆，刘云霞，
申请(专利权)人：山东大学，
类型：发明
国别省市：