基于分级匹配引导特征增强网络的小样本RGB-T分割方法和系统技术方案

本发明专利技术公开了基于分级匹配引导特征增强网络的小样本RGB‑T分割方法和系统，涉及图像分割技术领域。本发明专利技术提出了层次匹配引导特征增强网络(HMFENet)，该网络从查询和支持图像中提取多尺度、多层次特征，并建立密集级联匹配以提升分割性能。同时，引入互信息最小化约束减少模态间冗余，增强特征互补性。实验结果表明，层次匹配引导特征增强网络(HMFENet)在1类(1‑shot)小样本语义分割设置中取得了性能的显著提升，验证了所提出方法的有效性，达到了最先进的结果。

【技术实现步骤摘要】

本专利技术涉及图像分割，特别是涉及可见光图像和热红外图像结合的语义分割方法。

技术介绍

1、语义分割是场景理解的关键任务，旨在为图像中的每个像素分配类别标签，在自动驾驶、医学影像和军事等领域应用广泛。然而，目前应用单一可见光图像分割方法的环境适应性和鲁棒性仍然相对有限，便逐渐引入可见光图像和热红外图像(rgb-t)双模态语义分割方法。红外热(tir)图像能够突出目标，但在捕捉细节方面表现不佳。可见光(rgb)图像具有丰富的纹理细节，但易受场景亮度影响。通过整合这两种模态的信息，便可以在不利环境下实现更加可靠的语义分割。

2、目前，基于监督学习的语义分割技术受限于对大量标注数据的需求，特别是rgb-t图像数据集。同时，面对少量训练数据，这些方法泛化能力不足。为此，引入小样本学习(fsl)来完成语义分割任务，称为小样本分割(fss)。fss算法可划分为基于原型和基于匹配这两种技术路线，但原型结构最初是为图像分类任务提出的，当应用于语义分割这种像素级预测任务时，平均化操作会导致信息的大量损失，出现过拟合问题。因此，可采用基于匹配的方法使用卷积作为度量本文档来自技高网...

【技术保护点】

1.基于分级匹配引导特征增强网络的小样本RGB-T分割方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于分级匹配引导特征增强网络的小样本RGB-T分割方法，其特征在于：步骤1中分别获取N个目标类别下以及3N个基本类别下的多对分辨率大小为H×W场景相同的热红外图像IT、可见光图像IR和对应的掩码M，分别将基本类别和目标类别下的数据集分为训练集Dtr和测试集Dte，Dte用于构建需求分割任务，Dtr用于构建一系列模拟分割任务，每个任务都含一个支持集和一个查询集其中和Ms分别表示RGB和TIR模态下的支持图像以及对应的支持掩码，和Mq分别表示RGB和TIR模态下的查询图像...

【技术特征摘要】

1.基于分级匹配引导特征增强网络的小样本rgb-t分割方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于分级匹配引导特征增强网络的小样本rgb-t分割方法，其特征在于：步骤1中分别获取n个目标类别下以及3n个基本类别下的多对分辨率大小为h×w场景相同的热红外图像it、可见光图像ir和对应的掩码m，分别将基本类别和目标类别下的数据集分为训练集dtr和测试集dte，dte用于构建需求分割任务，dtr用于构建一系列模拟分割任务，每个任务都含一个支持集和一个查询集其中和ms分别表示rgb和tir模态下的支持图像以及对应的支持掩码，和mq分别表示rgb和tir模态下的查询图像以及对应的查询掩码。

3.如权利要求1所述的基于分级匹配引导特征增强网络的小样本rgb-t分割方法，其特征在于：步骤2.1的具体实现方式如下；

4.如权利要求1所述的基于分级匹配引导特征增强网络的小样本rgb-t分割方法，其特征在于：步骤2.3中，基于注意力机制的相关块，分别建立rgb模态下查询特征和支持特征之间的多层关系向量以及tir模态下查询特征和支持特征的多层关系向量具体实现方式如下：

5.如权利要求1所述的基于分级匹配引导特征增强网络的小样本rgb-t分割方法，其特征在于：步骤2.4中利用混合器模块分别将多层关系向量转化成中间掩码，混合器模块由串联的5层网络组成，第一层、第三层和第五层是卷积块，结构相同，是由卷积和relu操...

【专利技术属性】
技术研发人员：樊凡，杨璐潞，周翔宇，马泳，黄珺，张灿，
申请(专利权)人：武汉大学，
类型：发明
国别省市：