一种基于热感图像和可见光图像特征融合的场景语义分割方法技术

本发明专利技术公开了一种基于热感图像和可见光图像特征融合的场景语义分割方法，本发明专利技术方法将同一场景的可见光和热感图像成对输入到训练好的语义分割模型中得到图像中物体的分割结果，该分割模型包括：双分支主干特征提取网络Segfomer，用于对输入的数据进行全局特征的提取；辅助特征选择模块，用于对主干特征提取网络提取的层级特征进行两个模态之间相互补充特征信息；跨模态特征融合模块，进行模态间的特征进一步融合，得到一个丰富的语义信息特征；逐级特征融合解码器模块，实现解码器的精细化上采样；多损失监督模块，用于监督模型的学习。本发明专利技术能够有效地利用可见光图像和热感图像的特点，挖掘它们之间的互补特征，在保持模型较小参数量的同时，有效提高场景语义分割模型的分割精度和泛化能力。模型的分割精度和泛化能力。模型的分割精度和泛化能力。

【技术实现步骤摘要】
一种基于热感图像和可见光图像特征融合的场景语义分割方法


[0001]本专利技术涉及基于深度学习语义分割
，尤其涉及一种基于热感图像和可见光图像特征融合的场景语义分割方法。

技术介绍

[0002]随着计算机视觉、机器人等技术的发展，以机器人、无人车为代表的无人系统在各个领域得到了广泛应用。为了实现无人系统的自主导航，环境感知是非常重要的环节，对于机器人与外界环境的理解、交互起重要的作用。环境感知主要有目标检测和语义分割两种方法，语义分割相比目标检测实现像素级的分割，能给出更多的语义信息，更有利帮助无人系统识别和理解周围环境的目标。在现有的语义分割方法中，针对现有的RGB图像数据集，其分割的结果往往是无法达到很好的效果，其鲁棒性差，在目标之间相互遮挡、光照条件差、天气气候不佳等环境下，分割性能往往不佳。
[0003]为了提高现有场景语义分割方法的鲁棒性，不少研究者将热感图像引入语义分割中，利用红外热成像相机与可见光相机成像机制不同，通过物体辐射的热量获取红外信息，可以增强对光线与天气变化的鲁棒性，热红外信息对于光照条件差产生的识别模糊本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于热感图像和可见光图像特征融合的场景语义分割方法，其特征在于，热感图像和可见光图像输入到训练好的语义分割模型，得到图像中每一类目标的分割结果，所述基于热感图像和可见光图像特征融合的场景语义分割方法包括：主干特征提取网络A，采用Segformer网络用于对输入的可见光图像提取不同层级的特征，其中，Segformer网络是层次化的Transformer编码器，包含了四层特征提取编码器，记为LayerAi(i＝1,2,3,4)，对应所提取的特征有四个层级，记为主干特征提取网络B，采用Segformer网络用于对输入的热感图像提取不同层级的特征，记为LayerBi(i＝1,2,3,4)，对应所提取的特征有四个层级，记为辅助特征选择模块，放置于主干特征提取网络A的每一层特征提取编码器之后，记为放置于主干特征提取网络B的每一层特征提取编码器之后，记为的输入为和输出为的输入为和输出为跨模态特征融合模块，一共有四个，记为CMFFM
i
(i＝1,2,3,4)，其输入为和输出为逐级特征融合解码器模块，一共有四层解码器，记为SFFDM
i
(i＝1,2,3,4)；SFFDM4的输入为输出为SFFDM
i
(i＝1,2,3)的输入是和输出为多损失监督模块，监督前景分割预测、语义分割预测、轮廓分割预测用于实现定位、分割、细化边缘目标。2.根据权利要求1所述的基于热感图像和可见光图像特征融合的场景语义分割方法，其特征在于，所述辅助特征选择模块包括拼接模块、通道注意力模块、空间注意力模块和辅助特征融合模块；所述拼接模块用于将输入特征P
main
和另一个输入特征P
assist
在通道维度上进行拼接处理，得到特征P1；特征P1并行输入到通道注意力模块和空间注意力模块分别得到两个特征输出P
C
和Ps；将特征P
main
、P
C
和Ps输入到辅助特征融合模块得到最后的输出特征F
out
。3.根据权利要求1所述的基于热感图像和可见光图像特征融合的场景语义分割方法，其特征在于，所述跨模态特征融合模块包括1
×
1卷积模块、分组卷积模块、密集级联语义信息模块和残差连接；所述1
×
...

【专利技术属性】
技术研发人员：朱江，陈寒梅，张杰，许海霞，李赛斯，田淑娟，李艳春，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：