结合改进NSCT变换和深度学习的红外与可见光图像融合方法技术

本发明专利技术涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。本发明专利技术的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。该方法结合结合改进NSCT变换和深度学习进行红外与可见光图像融合，以生成符合人眼视觉系统的融合结果图。采用改进型非下采样轮廓波变换NSCT对待融合图像进行自适应分解，对相应尺度的子带图像利用深度学习确定融合权重。采用本发明专利技术方案融合红外图像与可见光图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。使人产生更完整的场景感知。使人产生更完整的场景感知。

【技术实现步骤摘要】
结合改进NSCT变换和深度学习的红外与可见光图像融合方法


[0001]本专利技术涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。

技术介绍

[0002]不同光谱的图像传感器有时会具有较好的互补特性。比如，红外图像传感器是根据物体红外辐射的差异成像，反映的是物体的热辐射特性，由于红外图像的获取不依赖于外部光线，能够克服天气环境等的影响，并极好地获得夜间或雾天等情况下的目标信息，故具有全天候工作的特点。而可见光图像传感器是根据物体对可见光的不同反射能力成像，反映的是物体表面的可见光反射特性，可见光图像的细节纹理信息通常比较丰富，图像的获取易受光照、天气以及目标被遮挡等因素的影响，导致无法较好地获取目标信息，不具有全天候工作的特点。红外图像通常对比度和分辨率较低，缺乏细节信息，而可见光图像通常具有较高的对比度和分辨率，边缘纹理等细节信息比较丰富。由于二者各自应用的局限性，单一的可见光或红外传感器技术已经不能满足要求越来越高的应用场景要求。而由于红外图像和可见光图像具有良好的互补特性，实践表明，在很多场景中将这两种传感器获取的图像进行有效地融合处理，能够充分保留各自传感器的优点，克服各自应用的不足之处，获得对于场景全面准确的图像描述，达到对信息的充分利用，同时提高系统分析决策的准确性和可靠性。
[0003]近年来，基于多分辨、多尺度的图像融合算法一直是图像融合研究的热点。现有的图像多尺度分析方法主要包括金字塔变换、小波变换、轮廓波变换、非下采样轮廓波变换和NSCT变换等。金字塔变换中图像分解的各尺度之间存在相关性，使得图像融合效果不理想。小波变换是一种正交分解的方法，可提取图像低频信息和水平、垂直及对角三个方向的高频信息，小波变换具有方向性和时频特征，小波变换的问题在于：分解方向仅有三个，不能很好地满足人眼识别特性的需求，同时小波变换存在信号能量泄漏，在边缘处的能量和频率会出现较严重的失真，在图像融合中会出现边缘效应。轮廓波变换具有多方向性和时频特征，但存在Gibbs现象，影响融合图像的质量。非下采样轮廓波变换改善了Gibbs现象，但是图像融合速度较慢。传统NSCT变换的各个滤波器相互不结合，具有多尺度、多方向、消除Gibbs现象和位移不变性的优点，但存在计算量大、分解效率低下等弊端。现有的快速NSCT变换将多个滤波器两两结合，在保留传统NSCT变换多尺度、多方向、消除Gibbs现象和位移不变性的基础上做了进一步改进，根据图像信号特征对图像进行自适应分解，得到一系列的高频子带图像和低频子带图像，各子带图像之间具有较强的局部正交性，能够有效地表示图像的特征信息，尽管运行速度相比传统NSCT变换有所加快，而且也能够获取较好的图像分解效果，但由于运行速度提高程度有限，应用于图像融合时，仍然速度较慢。
[0004]总之，现有的各种图像融合算法因存在各种不足，均难以快速有效地进行红外图像与可见光图像的图像融合。

技术实现思路

[0005]本专利技术的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。
[0006]为解决上述技术问题，本专利技术提供的技术解决方案如下：
[0007]一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特殊之处在于，包括以下步骤：
[0008]1)图像分解
[0009]采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个尺度、方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；
[0010]所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；
[0011]2)融合权重获取
[0012]基于深度学习方式，获取红外融合权重与可见光融合权重；
[0013]3)图像融合与重构
[0014]3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；
[0015]3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。
[0016]进一步地，步骤1)中，所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。
[0017]进一步地，步骤1)中，所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H0(X),H1(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G0(X),G1(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：
[0018][0019][0020]所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U0(X),U1(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V0(X),V1(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：
[0021][0022][0023]所述融合滤波器组为：
[0024]F(z)＝H0(X
i
)*G0(X
i
)*U0(X
i
)*V0(X
i
)
[0025]其中，H0(X
i
)为NSPFB低通分解滤波器集合{H0(X)}中的一个低通分解滤波器；G0(X
i
)为NSPFB高通分解滤波器集合{G0(X)}中的一个高通分解滤波器；U0(X
i
)为NSDFB扇形分解滤波器集合{U0(X)}中的一个扇形分解滤波器；V0(X
i
)为棋盘分解滤波器集合{V0(X)}中的一个棋盘分解滤波器。
[0026]进一步地，2.1)从Image Net数据集上获取相同数量的红外图像和可见光图像，将红外图像和张可见光图像均按照预定比例分为训练数据和测试数据；将红外图像的训练数据和可见光图像的训练数据的集合作为训练数据集；将红外图像的测试数据和可见光图像的测试数据的集合作为测试数据集；对训练数据集和测试数据集分别进行预处理；
[0027]2.2)构建基于VGG
‑
19深度卷积神经的融合规则预测网络模型；
[0028]2.3)利用步骤2.1)预处理后的训练数据集对步骤2.2)构建的基于VGG
‑
19深度卷积神经的融合规则预测网络模型进行训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于，包括以下步骤：1)图像分解采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个尺度、方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；2)融合权重获取基于深度学习方式，获取红外融合权重与可见光融合权重；3)图像融合与重构3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。2.根据权利要求1所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：步骤1)中，所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。3.根据权利要求2所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：步骤1)中，所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H0(X),H1(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G0(X),G1(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：项式函数：所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U0(X),U1(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V0(X),V1(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：数，用f(x)替换X：所述融合滤波器组为：F(z)＝H0(X
i
)*G0(X
i
)*U0(X
i
)*V0(X
i
)其中，H0(X
i
)为NSPFB低通分解滤波器集合{H0(X)}中的一个低通分解滤波器；G0(X
i
)为
NSPFB高通分解滤波器集合{G0(X)}中的一个高通分解滤波器；U0(X
i
)为NSDFB扇形分解滤波器集合{U0(X)}中的一个扇形分解滤波器；V0(X
i
)为棋盘分解滤波器集合{V0(X)}中的一个棋盘分解滤波器。4.根据权利要求3所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于，步骤2)的具体方法如下：2.1)从Image Net数据集上获取相同数量的红外图像和可见光图像，将红外图像和张可见光图像均按照预定比例分为训练数据和测试...

【专利技术属性】
技术研发人员：王曰尧，刘伟，郭德福，王鹏，闫福文，陈继铭，
申请(专利权)人：西安中科立德红外科技有限公司，
类型：发明
国别省市：