基于全卷积神经网络的红外-可见光图像目标级融合方法技术

本发明专利技术涉及图像处理技术领域，具体地说，涉及基于全卷积神经网络的红外

【技术实现步骤摘要】
基于全卷积神经网络的红外
‑
可见光图像目标级融合方法


[0001]本专利技术涉及图像处理
，具体地说，涉及基于全卷积神经网络的红外
‑
可见光图像目标级融合方法。

技术介绍

[0002]传统图像融合是对图像的全局特征信息包括复杂非必需的背景信息进行处理，这可能会引入大量的噪声和伪影，同时还耗费很多的时间。
[0003]传统的图像融合虽然也是高低频子代的图像融合，但是现有的技术中，还是存在不少的问题，例如：低频子带包含源图像大部分能量，保留了源图像大部分特征，虽然通过绝对值取大法和加权平均法能实现低频子带融合，但是上述方法本身局限性影响到融合图像的效果。绝对值取大法是通过比较红外
‑
可见光图像在相同像素点上变换系数绝对值的大小，选取绝对值较大的变换系数作为图像在该像素点上系数值。由于该方法只考虑了像素点变换系数绝对值大小，未考虑其他影响因素，因此会导致重要信息丢失和融合图像边缘不平滑。加权平均法是将可见光和红外图像的变换系数通过相应权重比例整合到融合图像中，该方法虽然能有效提高融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全卷积神经网络的红外
‑
可见光图像目标级融合方法，其特征在于，包括如下步骤：S1、利用非下采样剪切波变换NSST对红外
‑
可见光源图像进行多尺度和多方向分解，得到低频子带系数和高频子带系数；其中，多尺度和多方向分解能使不同尺度空间上重叠特征充分分离；S2、对于低频子带系数，采用区域能量和融合策略进行融合；S3、对于高频子带系数，利用改进FCN模型提取细节层的多层特征，得到特征映射图，选择最大加权平均融合策略对其进行融合；S4、进行NSST逆变换得到融合图像。2.根据权利要求1所述的基于全卷积神经网络的红外
‑
可见光图像目标级融合方法，其特征在于，所述S2中，采用区域能量和融合策略进行融合还包括以下步骤：区域能量和算法能结合相邻区域信息，对区域中心元素能量大小进行评估，最终选择能量较大的元素；基于区域能量值公式，计算区域能量大小，判断融合系数活动水平，能量越大表示保留信息越多；其中，区域能量值公式为：其中，I表示金字塔，α、β分别为邻域窗口的长和宽，(i，j)为邻域的中心点；利用区域能量大小判断融合系数活动水平，能量越大表示保留信息越多；融合系数计算公式为：其中，LF
F
表示红外
‑
可见光图像的融合系数，LF
A
表示红外图像的融合系数，LF
B
表示可见光图像的融合系数，E
A
表示红外图像的区域能量值，E
B
表示可见光图像的区域能量值。3.根据权利要求1所述的基于全卷积神经网络的红外
‑
可见光图像目标级融合方法，其特征在于，所述S3中，对于高频子带系数的融合，还包括以下步骤：高频子图像主要包含图像边缘特征和纹理细节信息，这些信息直接影响融合图像分辨率和清晰度；将红外
‑
可见光图像高频子带输入训练好的FCN模型中提取图像深度特征，并生成高频子带特征映射图，通过最大加权平均融合策略得到高频子带权重图；其计算公式为：Fsub(i，j)＝max(α1sub
A
+α2sub
B
)；其中，sub
A
、sub
B
分别表示输入的红外
‑
可见光图像的高频子图像，α1、α2分别表示sub
A
、sub
B
的权重值。4.根据权利要求3所述的基于全卷积神经网络的红外
‑
可见光图像目标级融合方法，其特征在于，所述S3中，FCN模型包括：用于特征提取的7个模块，记为模块1～7，以及卷积层、relu层、池化层和反卷积层；其中：在每个卷积层中，交替使用非线性映射提取特征，利用在线难例样本挖掘法放宽正负
样本的约束，扩充训练集的范围，针对多特征图存在重叠问题，采用线性非极大值抑制法避免漏检目标特征；采用relu层作为激活函数加速模型训练过程，在模块1、模块2和模块5中，池化层位于relu层之后；在FCN浅层网络中提取图像的颜色、边缘和纹理等基础特征对融合图像质量至关重要，针对随着网络层的加深，这些特征很容易丢失的问题，将2个1
×
1卷积的跳转连接添加到FCN模型中，在保留浅层网络图像特征的同时，避免增加计算复杂度；在模块7后增加3个反卷积层对所学到的所有特征进行上采样，以对所有多尺度特征进行融合，并添加多个跳跃结构，跳跃结构的作用在于优化结果；针对将全卷积结果直接进行上采样后得到的结果是比较粗糙的问题，需要通过把不同池化层的输出结果进行上采样之后，实现优化输出；对于一个神经网络中存在的一些恒等函数，Skip Layer在不影响这个神经网络的整体性能下，使得对这些恒等函数的学习更加容易，提高整体的学习效率；然后使用Softmax函数计算输出块的概率分布。5.根据权利要求4所述的基于全卷积神经网络的红外
‑
可见光图像目标级融合方法，其特征在于，所述S3中，FCN模型特征提取部分还包括7个卷积层和3个池化层，为增强输入图像特征的平移不变性，设置所有卷积层大小为3
×
3，步长为1，池化层大小为2
×
2，步长为2；将图像融合看作是分类问题，设置反卷积层的核数为2；根据输入图像大小和反卷积层的上采样功能，设置...

【专利技术属性】
技术研发人员：常荣，李邦源，方明，米啸云，崔跃东，耿飞，易亮，
申请(专利权)人：云南电网有限责任公司玉溪供电局，
类型：发明
国别省市：