一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法制造技术

本发明专利技术公开了一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，该算法构建了一种端到端的融合模型架构，同时，提出了基于双注意力机制的融合网络和基于Boosting模型集成训练策略，融合网络的训练采用一种新的二阶段的训练策略，第一阶段训练双注意力机制融合网络，第二阶段对不同时间节点的模型进行Boositing集成，实现保存更多可见光图像的细节信息和红外图像的显著信息。见光图像的细节信息和红外图像的显著信息。见光图像的细节信息和红外图像的显著信息。

【技术实现步骤摘要】
一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法


[0001]本专利技术涉及图像数据融合
，具体涉及一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法。

技术介绍

[0002]图像融合是图像处理任务中的一个热点研究课题，由于成像原理的原因，不同的视觉传感器只能获取场景的部分信息，以红外(IR)与可见光(VIS)图像融合(VIF)任务为例，可见光图像可以描述场景丰富的细节信息，而红外图像则描述目标场景中的热辐射信息，这两种图像可以共同提供互补的场景信息，其中红外图像具有明显的热辐射信息，对于实际场景下的目标和背景有着良好的区别能力，尤其是在光照条件较差和有障碍物的场景下，也可以进行正常工作，然而，红外图像却存在缺乏纹理特征的问题，对于细节信息无法有效地进行描述，而包含大量细节信息的可见光图像更符合人类的主观视觉系统，
[0003]故，通过对红外和可见光图像提取重要、互补的特征信息，从而生成场景信息更全面、视觉感知能力更强、目标显著性更高的融合图像(VIF)便显得较为重要；
[0004]传统VIF算法可分为基于多尺度变换的VIF算法、基于表示学习(稀疏表示、低秩表示)的VIF算法，其中基于多尺度变换的融合方法由于高度依赖手工特征，使得不同的特征可能需要不同的融合策略，复杂且不适合的融合策略使得最终融合图像中存在大量伪影(图像模糊、细节丢失、融合图像的感知力较差)；
[0005]基于表示学习的方法大体上由4个步骤组成，首先通过滑动窗口操作将源图像(IR&VIS)分解成重叠的补丁图像，再对每个补丁图像进行编码，从高质量图像数据中学习超完备字典，并基于超完备字典得到(SR/LRR)系数，最后，设计相应的融合策略融合(SR/LRR)系数从而得到融合结果；
[0006]虽然使得最终的融合图像相较于基于多尺度变换的方法极大减少了融合图像中的视觉伪影，提高了错配源图像的融合鲁棒性，但字典学习操作却存在时间花费过大的问题；
[0007]鉴于以上，本申请提供一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法。

技术实现思路

[0008]针对上述情况，为克服现有技术之缺陷，本方案提出一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，该算法构建了一种端到端的融合模型架构，同时，提出了基于双注意力机制的融合网络和基于Boosting模型集成训练策略，融合网络的训练采用一种新的二阶段的训练策略，第一阶段训练双注意力机制融合网络，第二阶段对不同时间节点的模型进行Boositing集成，实现保存更多可见光图像的细节信息和红外图像的显著信息。
[0009]一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，包括自编码器网络和双注意力机制融合网络且自编码器网络包括编码器网络和解码器网络，所述训练过程包括以下步骤：
[0010]S1：采用合适的损失函数通过编码器网络、解码器网络训练双注意力机制融合网络；
[0011]S2：在步骤S1的基础上，对不同时间点的双主意机制融合网络进行Boosting集成训练；
[0012]所述编码器网络通过接收输入红外图像I
ir
和可见光图像I
vis
生成多尺度深度特征和双注意力机制融合网络将生成的多尺度深度特征和进行融合得到融合后的深度特征所述解码器网络对融合后的深度特征进行图像重建生成融合图像I
fuse
。
[0013]上述技术方案有益效果在于：
[0014]该算法构建了一种端到端的融合模型架构，同时，提出了基于双注意力机制的融合网络和基于Boosting模型集成训练策略，融合网络的训练采用一种新的二阶段的训练策略，第一阶段训练双注意力机制融合网络，第二阶段对不同时间节点的模型进行Boositing集成，从而保存更多可见光图像的细节信息和红外图像的显著信息，实现了最大限度保留图像上特征信息的融合结果。
附图说明
[0015]图1为本专利技术可见光、红外图像融合过程示意图；
[0016]图2本专利技术双注意力机制融合网络架构示意图；
[0017]图3为本专利技术步骤S2中训练框架示意图；
[0018]图4为本专利技术Boosting模型集成训练过程示意图；
[0019]图5为本专利技术DAFN
‑
Boosting与RFN融合网络融合结果对比示意图。
具体实施方式
[0020]有关本专利技术的前述及其他
技术实现思路
、特点与功效，在以下配合参考附图1至图5对实施例的详细说明中，将可清楚的呈现，以下实施例中所提到的结构内容，均是以说明书附图为参考。
[0021]本方案提出了一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，本方案通过研究传统道路场景下的红外与可见光图像融合任务，开发出一种新的基于深度学习的融合策略，与自编码器构成一种新的融合方法，从而保存更多可见光图像的细节信息和红外图像的显著信息，实现了最大限度保留图像上特征信息的融合结果，其具体过程如下：
[0022]一、融合算法整体架构
[0023]本方案提出的融合架构是一个端到端的网络，该网络包括三个部分，即编码器、解码器和双注意力机制融合网络，如附图1所示，编码器网络通过接受输入图像，即红外图像I
ir
(Visible Image)和可见光图像I
vis
(Infrared Image)，从而生成多尺度深度特征(和
)，编码器网络由一个卷积层和4个编码器块组成，每个编码器块都包含两个卷积层，一个ReLU激活函数和一个最大池化层；
[0024]双注意力机制融合网络将在输入的源图像对中所提取的多尺度深度特征(和)进行融合，得到融合后的深度特征双注意力机制融合网络实现了细粒度的局部融合与粗粒度的全局融合，融合算法能够更好的融合多模态图像局部特征和全局信息；
[0025]解码器网络根据从双注意力机制融合网络输出的多尺度融合特征进行图像重建，从而生成融合图像I
fuse
，解码器网络由6个解码器块和1个卷积层构成，本方案中提出的融合算法架构中的自编码器网络结构根据RFN
‑
Nest和Nest Fuse所提出的嵌套结构所构造，详细结构如表1所示：
[0026]表1自编码器网络架构
[0027][0028]二、双注意力机制融合网络架构
[0029]本方案所提出的双注意力机制融合网络(下文称DAFN)，在残差网络结构的基础上，引入SE注意力机制和Split注意力机制提高融合网络在通道和空间维度上的特征融合性能，使得解码器网络得到更加全面的多尺度融合特征，DAFN的模型结构如附图2所示，双注意力机制融合网络包含8个卷积层、2个SE注意力模块和2个Split注意力模块，其中和表示从编码器网络中所提取的第i个尺度的多模态深度特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，包括自编码器网络和双注意力机制融合网络且自编码器网络包括编码器网络和解码器网络，所述训练过程包括以下步骤：S1：采用合适的损失函数通过编码器网络、解码器网络训练双注意力机制融合网络；S2：在步骤S1的基础上，对不同时间点的双主意机制融合网络进行Boosting集成训练；所述编码器网络通过接收输入红外图像I
ir
和可见光图像I
vis
生成多尺度深度特征和双注意力机制融合网络将生成的多尺度深度特征和进行融合得到融合后的深度特征所述解码器网络对融合后的深度特征进行图像重建生成融合图像I
fuse
。2.根据权利要求1所述的一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，所述编码器网络包括一个卷积层和四个编码器块且每个编码器块包括两个卷积层、一个ReLU激活函数、一个最大池化层。3.根据权利要求1所述的一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，所述解码器网络包括六个解码器块、一个卷积层。4.根据权利要求1所述的一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，在残差网络结构的基础上，引入SE注意力机制和Split注意力机制从而构成双注意力机制融合网络架构。5.根据权利要求1所述的一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法，其特征在于，所述S1中选用损失函数L
RFN
训练双注意力机制融合网络且该损失函数在本方案中定义为L
DAFN
L
DAFN
＝αL
detail
+L
feature
ꢀꢀꢀꢀꢀ
(64)L
detail
和L
feature
分别代表背景细节保留损失函数和目标特征增强损失函数，α是L
detail
和L
feature
之间的权衡参数；L
detail
的目的在于保留可见光图像中的细节信息和结构特征，L
detail
的定义如下：L
detail
＝1
‑
SSIM(O，I
vi
)
ꢀꢀ
(6.5)损失函数L
feature
旨在约束融合结构的深层特征，用以保留显著特征，该损失函数定义如下：其中，M表示多尺度深度特征...

【专利技术属性】
技术研发人员：司海平，董萍，高畅，赵雨洋，王云鹏，王健，杜君，
申请(专利权)人：河南农业大学，
类型：发明
国别省市：