基于多尺度特征融合的图像语义分割方法、装置及介质制造方法及图纸

本申请公开了一种基于多尺度特征融合的图像语义分割方法、装置及介质，涉及图像处理技术领域，该方法包括获取待分割图像；将待分割图像输入至训练后的图像语义分割网络中，得出图像语义分割结果；图像语义分割网络采用改进的SegFormer网络，在编码器和解码器的桥接处引入多尺度特征融合模块；多尺度特征融合模块用于根据编码器输出的语义信息融合不同尺度特征，输出多个不同尺度的融合特征图；解码器用于对多个不同尺度的融合特征图进行特征融合，得出所述图像语义分割结果。本申请在图像语义分割网络中引入了多尺度特征融合模块，能够帮助分割网络更好地理解和处理不同尺度上的图像信息，从而提高分割结果的精度。

【技术实现步骤摘要】

本申请涉及图像处理，特别是涉及一种基于多尺度特征融合的图像语义分割方法、装置及介质。

技术介绍

1、图像分割是许多视觉理解系统的重要组成部分。它涉及将图像（或视频帧）分割成多个片段或对象。图像分割在广泛的应用中发挥着核心作用，包括医学图像分析、自动驾驶车辆、视频监控和增强现实等等。

2、语义分割（semantic segmentation）作为计算机视觉中的一个核心任务，其主要目标是为图像中的每个像素赋予一个语义标签，进而实现对图像的像素级分类。这一任务在多个领域中具有广泛应用，如自动驾驶、医学影像分析、遥感图像处理等。传统的图像分割方法多侧重于基于像素的简单区域划分，通常依赖于边缘检测、区域生长或阈值分割等技术。这些方法虽能有效地处理一些简单场景，但在复杂背景下的效果却不尽如人意，且缺乏足够的语义信息，无法应对实际应用中的精细化需求。随着深度学习在计算机视觉领域的广泛应用，语义分割技术得到了前所未有的关注和发展。近年来，卷积神经网络（cnn）和其变体已成为语义分割领域的主流技术，并取得了显著的进展。然而，随着任务复杂度的增加，如何有效地提取并本文档来自技高网...

【技术保护点】

1.一种基于多尺度特征融合的图像语义分割方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述多尺度特征融合模块包括：N个多尺度特征融合组；N为编码器的编码层的数量；

3.根据权利要求1或2所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述改进的SegFormer网络还包括空间细节增强模块、乘法单元和第二加法单元；所述空间细节增强模块包括依次连接的卷积组合和空间注意力机制单元；卷积组合包括依次连接的多个第二卷积单元；

4.根据权利要求1所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所...

【技术特征摘要】

1.一种基于多尺度特征融合的图像语义分割方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述多尺度特征融合模块包括：n个多尺度特征融合组；n为编码器的编码层的数量；

3.根据权利要求1或2所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述改进的segformer网络还包括空间细节增强模块、乘法单元和第二加法单元；所述空间细节增强模块包括依次连接的卷积组合和空间注意力机制单元；卷积组合包括依次连接的多个第二卷积单元；

4.根据权利要求1所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述编码器包括依次连接的多个编码层；所述编码层采用transformer块。

5.根据权利要求1或2所述的基于多尺度特征融合的图像语义分割方法，其特征在于，所述解码器包括依次连接的多个解码层；相邻两个解码层之间设有拼接层；各拼接层的输入还分别包括多尺度特征融...

【专利技术属性】
技术研发人员：杨刚，梁宇轩，戴丽珍，王嘉艺，杨辉，陆荣秀，徐芳萍，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：