一种基于深度学习实时的交通场景语义分割方法技术

本发明专利技术公开了一种基于深度学习实时的交通场景语义分割方法，涉及计算机视觉技术领域，包括以下步骤：预先建立基础实时语义分割网络框架，用于对图像进行分割并构建分层的特征；进行获取图像像素类别，并获取粗糙的语义分割图；基于获取的粗糙的语义分割图通过精细粒度细化模块结构对语义分割图进行精细化微调；再基于轻量级语义分割优化模块执行通道的裁剪和特征信息的优化；获取精细的语义分割结果并作为输出。本发明专利技术实现了实时高效率交通场景处理能力，不仅采用基于多重粒度的实时语义分割网络的新颖框架，该框架以粗糙到精细的方式对图像进行分割，通过混合注意力特征聚合、精细粒度细化模块和轻量级语义分割优化模块，实现更准确的分割，适应性强。适应性强。适应性强。

【技术实现步骤摘要】
一种基于深度学习实时的交通场景语义分割方法


[0001]本专利技术涉及计算机视觉
，具体来说，涉及一种基于深度学习实时的交通场景语义分割方法。

技术介绍

[0002]语义分割在计算机和多媒体领域是一种重要的基础工作，其目的是为图像中每个像素分配一个语义类别。具体来说，就是从图像的每个像素中分辨出目标对象是何种类别，首先要从图像中将目标检测出来，识别出不同种类目标、目标与背景的界限，使用one
‑
hot编码对像素进行数学表达，编码后用不同的颜色表示不同类别的语义。语义分割有着广泛的应用，包括自动驾驶，遥感影像分析，场景解析，多媒体分析等等。
[0003]近几年，基于深度卷积神经网络(CNNs)的语义分割取得了重大的进展。一般采用空间特征金字塔池化(FPN)的方式，将特征信息进行语义分割。
[0004]目前，对于实时语义分割的研究，主要集中在注意机制(Attention)、语义特征聚合和多尺度特征融合等方面，在此基础上提高空间细节上的丰富度。因此如何选择合适的图像分辨率，选择单独的组件还是整体进行处理，是目前语义分割方法面临的挑战。降低计算复杂度提高效率和提高语义分割的有效性是实时语义分割的两个重要因素。
[0005]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]针对相关技术中的问题，本专利技术提出一种基于深度学习实时的交通场景语义分割方法，通过对多尺度几何语义特征细节与高层语义之间潜在的相关性进行建模，提出了一种高效的多粒度语义融合分割网络(MGFSNet)，能够快速准确地实现实时语义分割，从而更快更好的分割交通场景，以克服现有相关技术所存在的上述技术问题。
[0007]本专利技术的技术方案是这样实现的：
[0008]一种基于深度学习实时的交通场景语义分割方法，包括以下步骤：
[0009]预先建立基础实时语义分割网络框架，用于对图像进行分割并构建分层的特征；
[0010]进行获取图像像素类别，并获取粗糙的语义分割图；
[0011]基于获取的粗糙的语义分割图通过精细粒度细化模块结构对语义分割图进行精细化微调；
[0012]再基于轻量级语义分割优化模块执行通道的裁剪和特征信息的优化，其中包括低分辨率功能图处理、通道压缩处理和简化单元处理；
[0013]获取精细的语义分割结果并作为输出。
[0014]进一步的，所述语义分割网络框架为多粒度语义融合分割网络(MGFSNet)框架。
[0015]进一步的，所述多粒度语义融合分割网络(MGFSNet)框架，包括骨干网(ResNet
‑
18)、混合注意力特征聚合(HAFA)、精细粒度细化模块(FGRM)和轻量级语义分割优化模块(LWAF)。
[0016]进一步的，所述进行预测图像像素类别，包括以下步骤：
[0017]预先采用轻量级骨干网(ResNet
‑
18)来抽取不同尺度的语义特征，其中，采样尺度分别为原始输入图像的1/8、1/16和1/32；
[0018]进行通过混合注意力特征聚合(HAFA)结构，融合三个尺度的语义特征生成一个粗糙的语义分割图。
[0019]进一步的，所述精细粒度细化模块，包括细节特征图生成、类别感知权重学习和语义标签图细化；
[0020]所述细节特征图生成，用于从注意力特征(HAFA)中提取关键几何边界细节；
[0021]所述类别感知权重学习，用于对多尺度特征元素和类别之间的相关性进行建模，基于相关性获取分割结果；
[0022]所述语义标签图细化，用于构建具有细节特征的基于类别的融合组，在类别感知权重的控制下生成精细的语义分割图。
[0023]本专利技术的有益效果：
[0024]本专利技术基于深度学习实时的交通场景语义分割方法，通过预先建立基础实时语义分割网络框架；进行获取图像像素类别，并获取粗糙的语义分割图；基于获取的粗糙的语义分割图通过精细粒度细化模块结构精细划分；再基于轻量级语义分割优化模块执行通道的裁剪和特征信息的增加，获取精细的语义分割结果并作为输出，实现了实时高效率交通场景处理能力，不仅采用基于多重粒度的实时语义分割网络的新颖框架，该框架以粗糙到精细的方式对图像进行分割，通过混合注意力特征聚合、精细粒度细化模块和轻量级语义分割优化模块，实现更准确的分割，适应性强。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是根据本专利技术实施例的一种基于深度学习实时的交通场景语义分割方法的流程示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]根据本专利技术的实施例，提供了一种基于深度学习实时的交通场景语义分割方法。
[0029]如图1所示，根据本专利技术实施例的基于深度学习实时的交通场景语义分割方法，包括以下步骤：
[0030]预先建立基础实时语义分割网络框架，用于对图像进行分割并构建分层的特征；
[0031]进行获取图像像素类别，并获取粗糙的语义分割图；
[0032]基于获取的粗糙的语义分割图通过精细粒度细化模块结构对语义分割图进行精细化微调；
[0033]再基于轻量级语义分割优化模块执行通道的裁剪和特征信息的优化，其中包括低分辨率功能图处理、通道压缩处理和简化单元处理；
[0034]获取精细的语义分割结果并作为输出。
[0035]其中，所述语义分割网络框架为多粒度语义融合分割网络(MGFSNet)框架。
[0036]其中，所述多粒度语义融合分割网络(MGFSNet)框架，包括骨干网(ResNet
‑
18)、混合注意力特征聚合(HAFA)、精细粒度细化模块(FGRM)和轻量级语义分割优化模块(LWAF)。
[0037]其中，所述进行预测图像像素类别，包括以下步骤：
[0038]预先采用轻量级骨干网(ResNet
‑
18)来抽取不同尺度的语义特征，其中，采样尺度分别为原始输入图像的1/8、1/16和1/32；
[0039]进行通过混合注意力特征聚合(HAFA)结构，融合三个尺度的语义特征生成一个粗糙的语义分割图。
[0040]其中，所述精细粒度细化模块，包括细节特征图生成、类别感知权重学习和语义标签图细化；
[0041]所述细节特征图生成，用于从注意力特征(HAFA)中提取关键几何边界细节；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习实时的交通场景语义分割方法，其特征在于，包括以下步骤：预先建立基础实时语义分割网络框架，用于对图像进行分割并构建分层的特征；进行获取图像像素类别，并获取粗糙的语义分割图；基于获取的粗糙的语义分割图通过精细粒度细化模块结构对语义分割图进行精细化微调；再基于轻量级语义分割优化模块执行通道的裁剪和特征信息的优化，其中包括低分辨率功能图处理、通道压缩处理和简化单元处理；获取精细的语义分割结果并作为输出。2.根据权利要求1所述的基于深度学习实时的交通场景语义分割方法，其特征在于，所述语义分割网络框架为多粒度语义融合分割网络框架。3.根据权利要求2所述的基于深度学习实时的交通场景语义分割方法，其特征在于，所述多粒度语义融合分割网络框架，包括骨干网、混合注意力特征聚合、精细粒度细化模块和轻量级语义分割优化模块。4....

【专利技术属性】
技术研发人员：梁仕华，付文伟，宋俊，汪颖，赵晶，
申请(专利权)人：乘方大数据技术北京有限责任公司，
类型：发明
国别省市：