【技术实现步骤摘要】
本申请涉及图像处理，具体而言，涉及一种目标和语义感知的图像融合模型、训练方法及使用方法。
技术介绍
1、多传感器集成系统在无人机精确作战和自动驾驶等智能技术中不可或缺。随着传感器制造水平的提高，综合利用多模态图像进行复杂现实世界场景分析变得越来越重要。目前广泛使用的可见光和红外传感器各有其局限性。可见光传感器难以在弱光条件下有效突出目标，而红外传感器则不受这个问题的影响，但场景分辨率低，对纹理细节的捕捉能力差。然而，多模态图像融合可以通过综合多种来源的数据来解决这些问题，弥补单模态数据的信息损失，增强人类和机器视觉的理解和感知能力。此外，图像融合有望更准确地呈现目标和场景，从而对目标检测和语义分割等下游任务产生积极影响。
2、因此，有必要寻求一种多模态图像融合方法，在融合图像中充分保留原图像的有用特征，提高图像的融合精度。
技术实现思路
1、本申请的目的在于提供一种目标和语义感知的图像融合模型、训练方法及使用方法，能够通过充分提取图像中的全局和局部信息对图像进行融合处理，在融合...
【技术保护点】
1.一种目标和语义感知的图像融合模型，用于对配准的可见光图像和红外光图像进行融合处理，其特征在于，包括两个残差分散注意力基层编码器（1）、两个局部显著性特征提取块（2）、第一细节显著块（3）、第一邻域注意力块（4）和残差分散注意力基层解码器（5）；
2.根据权利要求1所述的目标和语义感知的图像融合模型，其特征在于，所述残差分散注意力基层编码器（1）包括依次连接的第一残差分散注意力块（101）和基于卷积的第一特征提取块（102）。
3.根据权利要求1所述的目标和语义感知的图像融合模型，其特征在于，所述局部显著性特征提取块（2）包括相互独立的第二细...
【技术特征摘要】
1.一种目标和语义感知的图像融合模型，用于对配准的可见光图像和红外光图像进行融合处理，其特征在于，包括两个残差分散注意力基层编码器（1）、两个局部显著性特征提取块（2）、第一细节显著块（3）、第一邻域注意力块（4）和残差分散注意力基层解码器（5）；
2.根据权利要求1所述的目标和语义感知的图像融合模型，其特征在于，所述残差分散注意力基层编码器（1）包括依次连接的第一残差分散注意力块（101）和基于卷积的第一特征提取块（102）。
3.根据权利要求1所述的目标和语义感知的图像融合模型，其特征在于，所述局部显著性特征提取块（2）包括相互独立的第二细节显著块（201）和第二邻域注意力块（202），所述第二细节显著块（201）用于从对应的所述分层特征图像中提取所述显著特征图，所述第二邻域注意力块（202）用于从对应的所述分层特征图像中提取所述细节特征图。
4.根据权利要求3所述的目标和语义感知的图像融合模型，其特征在于，所述第一细节显著块（3）和所述第二细节显著块（201）均包括输入层（6）、第一分支、第二分支和输出层（7），所述第一分支和所述第二分支的输入端均与所述输入层（6）连...
【专利技术属性】
技术研发人员：李小松，徐宇燊，接玉婵，刘洋，陈健伸，谭海曙，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。