一种基于注意力残差学习的道路场景语义分割方法技术

本发明专利技术公开了一种基于注意力残差学习的道路场景语义分割方法，应用于图像处理领域，具体步骤在于：选取训练集；构建神经网络，所述神经网络包括RGB图像通道和热图像通道，分别获取所述RGB图像和所述热图像的特征，并将所述特征依次经控制门模块和注意力残差模块处理；将选取的图像输入到所述神经网络中进行训练，得到训练集中对应的每幅分割预测图；计算训练集中的每幅所述RGB图像对应的所述分割预测图构成的集合与对应的所述真实标签图像构成的集合之间的损失函数值；重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。本发明专利技术其具有较高的分割准确性，并且适用范围广。

【技术实现步骤摘要】
一种基于注意力残差学习的道路场景语义分割方法
本专利技术涉及图像处理
，更具体的说是涉及一种基于注意力残差学习的道路场景语义分割方法。
技术介绍
语义分割在智能交通系统中有许多重要的应用，从交通场景理解、多目标障碍检测到视觉导航。目前最常用的语义分割方法有SVM、AdaBoost、randomforest等算法。这些算法主要针对二值化分类任务，对特定物体进行检测和识别，如路面、车辆、行人。这些传统的机器学习方法往往需要专家进行特征工程，从而阻碍了不同场景下语义分割机器学习技术的快速发展。近年来，深度学习取得了突破性进展，在图像处理领域得到了广泛的应用。深度学习方法的一个优点是，它们有助于避免设计特征提取器。这使得它们可以应用于不同的任务，如语义分割，目标检测，图像分类。研究表明，深度学习技术特别适用于涉及复杂自然数据的任务，包括来自交通场景的图像数据。基于GPU的并行计算技术的发展有助于解决这一问题深度学习方法需要高计算复杂度的问题，从而使基于像素的交通场景语义分割成为可能。目前，深度学习的应用大大提高了图像分类任务的准确率。许多深度神经网络如AlexNet，VGGnet，GoogLeNet在图像分类任务上都取得了很好的效果；最近的算法已经尝试使这些深度网络适应语义像素明智的分割任务，并且取得了一定的成就，考虑到为了实现户外交通场景分割存在的挑战在于交通场景更加复杂多变，系统需要获取更大距离上的深度信息，在恶劣的光照条件或者距离较远，深度相机受到限制。大多数已有的方法都需要精确的深度图作为场景分割的输入，这严重限制了方法的应用。因此，如何提供一种适用范围广、分割准确性高的道路场景语义分割方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于注意力残差学习的道路场景语义分割方法，其具有较高的分割准确性，并且适用范围广。为了达到上述目的，本专利技术采用如下技术方案：一种基于注意力残差学习的道路场景语义分割方法，具体步骤在于：选取N幅RGB图像以及对应的热图像和真实标签图像，并构成训练集；构建神经网络，所述神经网络包括RGB图像通道和热图像通道，分别获取RGB图像和热图像的特征，并将所述特征依次经控制门模块和注意力残差模块处理；将训练集中的每幅RGB图像和热图像作为原始输入图像，输入到所述神经网络中进行训练，得到训练集中对应的每幅分割预测图；计算训练集中的每幅RGB图像对应的分割预测图构成的集合与对应的真实标签图像构成的集合之间的损失函数值；重复训练并计算损失函数值，确定损失函数值中最小值；所述最小值对应的权值矢量和偏置项对应作为所述神经网络的最优权值矢量和最优偏置项。进一步，所述RGB图像通道包括五个第一神经网络块；五个所述第一神经网络块依次连接，上一级所述第一神经网络块的输出，作为下一级所述第一神经网络块的输入。进一步，所述热图像通道包括五个第二神经网络块；上一级所述第二神经网络块经所述控制门模块处理分别作为下一级所述第二神经网络块的输入和所述注意力残差模块的输入。进一步，所述控制门模块包括五个；第一级所述控制门模块以获取RGB图像和热图像的特征作为第一级输入；第一级所述控制门模块的输出作为第一级注意力残差模块的输入；同时经第二神经网络块作为下一级所述控制门模块的输入。进一步，所述注意力残差模块包括四个；第一级所述控制门模块的输出和所述第二级注意力残差模块的输出作为第一级注意力残差模块的输入。进一步，所述控制门模块包括依次设置的第1神经网络层、第2神经网络层、第3神经网络层；其中，第一输入和第二输入的叠连结果分别输入到所述第1神经网络层和所述第2神经网络层；所述第1神经网络层与所述叠连结果相乘再加上所述第一输入，得到第一输出；所述叠连结果输入所述第2神经网络层，所述第2神经网络层的输出与叠连结果相乘再加上所述第二输入，得到第二输出；同时所述第2神经网络层的输出作为所述第3神经网络层的输入；所述第3神经网络层的输出与第二输出相乘再加上第一输出为所述控制门模块的输出。进一步，所述注意力残差模块，其输入包括第三输入和第四输入，由依次设置的第4神经网络层、第5神经网络层、第6神经网络层，第7神经网络层和第8个神经网络层；将所述第三输入和所述第四输入的叠连结果分别作为所述第4神经网络层、所述第5神经网络层、所述第6神经网络层的输入，将其三者的输出叠连在一起输入到所述第7神经网络层，得到第三输出；所述第四输入作为第8神经网络层的输入，其输出与所述第三输出相乘，得到第四输出，将第四输入与所述第四输出加和。进一步，所述损失函数值采用交叉熵函数作为损失函数获得。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于注意力残差学习的道路场景语义分割方法，本专利技术方法是通过加载预训练模型MobileNetv2的参数来学习多级语义信息，使模型提取到的特征包含了更多的上下文信息的同时又具有很高的分割效率，并提高了模型的分割性能；本专利技术方法在RGB通道嵌入了控制门模块，控制门模块使跨模态信息有效融合，通过自适应地对热图像的信息进行过滤，极大地缩小了特征融合的难度，并且控制门模块可以与任何前馈模型一起以端到端的方式进行训练；本专利技术方法中注意力残差模块的使用，使模型对于图像语义的高级认知得以保留，避免了在上采样融合过程中低级特征对高级特征的抵消作用，并且多尺度的带孔卷积有效解决了网络学习内容的匮乏、单一等问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术的总体实现图框图；图2为本专利技术的控制门模块的框图；图3为本专利技术的注意力残差模块的框图；图4为本专利技术的方法流程图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于注意力残差学习的道路场景语义分割方法，如图4所示，该方法流程具体步骤如下：步骤S101：选取N幅RGB图像以及对应的热图像和真实标签图像，并构成训练集；步骤S102：构建神经网络，所述神经网络包括RGB图像通道和热图像通道，分别获取RGB图像和热图像的特征，并将所述特征依次经控制门模块和注意力残差模块处理；步骤S103：将训练集中的每幅RGB图像和热图像作为原始输入图像，输入到所述神经网络中进行训练，得到训练集中对应的每幅分割预测图；步骤S104：计算训练集中的每幅RGB图像对应的分割预测图构成的集合与对应的真实标签图像构成的本文档来自技高网...

【技术保护点】
1.一种基于注意力残差学习的道路场景语义分割方法，其特征在于，具体步骤在于：/n选取N幅RGB图像以及对应的热图像和真实标签图像，并构成训练集；/n构建神经网络，所述神经网络包括RGB图像通道和热图像通道，分别获取所述RGB图像和所述热图像的特征，并将所述特征依次经控制门模块和注意力残差模块处理；/n将所述训练集中的每幅所述RGB图像和所述热图像作为原始输入图像，输入到所述神经网络中进行训练，得到所述训练集中对应的每幅分割预测图；/n计算所述训练集中的每幅所述RGB图像对应的所述分割预测图构成的集合与对应的所述真实标签图像构成的集合之间的损失函数值；/n重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。/n

【技术特征摘要】
1.一种基于注意力残差学习的道路场景语义分割方法，其特征在于，具体步骤在于：
选取N幅RGB图像以及对应的热图像和真实标签图像，并构成训练集；
构建神经网络，所述神经网络包括RGB图像通道和热图像通道，分别获取所述RGB图像和所述热图像的特征，并将所述特征依次经控制门模块和注意力残差模块处理；
将所述训练集中的每幅所述RGB图像和所述热图像作为原始输入图像，输入到所述神经网络中进行训练，得到所述训练集中对应的每幅分割预测图；
计算所述训练集中的每幅所述RGB图像对应的所述分割预测图构成的集合与对应的所述真实标签图像构成的集合之间的损失函数值；
重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。


2.根据权利要求1所述的一种基于注意力残差学习的道路场景语义分割方法，其特征在于，所述RGB图像通道包括五个第一神经网络块；五个所述第一神经网络块依次连接，上一级所述第一神经网络块的输出，作为下一级所述第一神经网络块的输入。


3.根据权利要求2所述的一种基于注意力残差学习的道路场景语义分割方法，其特征在于，所述热图像通道包括五个第二神经网络块；上一级所述第二神经网络块经所述控制门模块处理分别作为下一级所述第二神经网络块的输入和所述注意力残差模块的输入。


4.根据权利要求3所述的一种基于注意力残差学习的道路场景语义分割方法，其特征在于，所述控制门模块包括五个；第一级所述控制门模块以获取RGB图像和热图像的特征作为第一级输入；第一级所述控制门模块的输出作为第一级注意力残差模块的输入；同时经第二神经网络块作为下一级所述控制门模块的输入。


5.根据权利要求4所述的一种基于注意力残差学习的道路场景语义分割方法，其特征在于，所述注意力残差模块包括四个；第一级所述控制门模块...

【专利技术属性】
技术研发人员：周武杰，吕营，强芳芳，周扬，雷景生，杨胜英，郭翔，马骁，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33