基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法技术

本发明专利技术公开了基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法，步骤包括：S1、创建非结构化道路场景样本数据集，包括非结构化道路图片集和对应包含有语义标注的图片集；S2、基于Deeplabv3+网络，在ResNet

【技术实现步骤摘要】
基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法


[0001]本专利技术涉及机器视觉图像分割
，特别涉及基于Deeplabv3+网络的非 结构化道路自适应注意力语义分割方法。

技术介绍

[0002]无人驾驶车辆通过各种传感器对周围环境进行感知，根据道路信息作出相应 的决策规划。环境感知是无人驾驶研究的关键技术之一，主要通过视觉传感器获 取车辆周围局部环境的道路细节信息，采用语义分割、模式识别等技术，为智能 车辆局部自主决策及路径规划提供必要的可行驶区域信息，尤其是针对高速公 路、城市干道等结构化场景中，其道路分割已经取得了出色的表现能力以及初步 的商业化实际应用。
[0003]然而，我国建设环境多为非结构化道路，其环境具有复杂多变、结构多变等 特点，现有的结构化道路分割方法难以直接应用。为了进一步提高我国陆地智能 车辆的机动能力和整体作战能力，亟需对非结构化可行驶区域道路分割作进一步 深入研究。
[0004]基于深度学习的语义分割是当今计算机视觉领域研究的关键问题之一，其通 过对图片进行逐像素分类来实现若干个具有某种语义信息属性的像素级划分区 域，基于深度学习的语义分割网络模型有：FCN、SegNet、U
‑
Net以及DeepLab 系列等。FCN将传统卷积网络后面的全连接层替换为卷积层，实现了任意尺寸输 入，并使用了反卷积操作恢复空间分辨率。SegNet及U
‑
Net采用编码
‑
解码模块 结构，编码模块提取语义特征图片，解码模块恢复至原始分辨率。DeepLab系列 网络模型是当前应用最广泛的语义分割算法之一，其中DeepLabv3+网络较为成 熟，该网络采用ASPP模块通过不同空洞尺寸的空洞卷积捕获多尺度上下文信息， 保证丰富感受野的同时维持了分辨率，但是在复杂多变的非结构化道路场景理解 中，其很难有效细化不同区域同类目标全局语义信息，导致语义分割不够精准、 网络模型泛化性弱、鲁棒性差。因此，如何解决这些问题对于非结构化可行驶区 域道路分割具有重要的研究意义和实际应用价值。

技术实现思路

[0005]本专利技术的目的是提供一种非结构化道路可行驶区域复杂场景的基于 Deeplabv3+网络的非结构化道路自适应注意力语义分割方法。
[0006]为此，本专利技术技术方案如下：
[0007]基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法，步骤如 下：
[0008]S1、创建非结构化道路场景样本数据集，包括非结构化道路图片集和对应包 含有语义标注的图片集；
[0009]S2、基于Deeplabv3+网络，在ResNet
‑
18网络的各block模块之后增加CBAM 模块，构建形成基于Deeplabv3+网络的非结构化道路自适应注意力语义分割算法 模型；
[0010]S3、利用步骤S1创建的非结构化道路场景样本数据集对非结构化道路自适 应注
意力语义分割算法模型进行迭代训练；其中，
[0011](1)设置参数学习率lr＝0.001，权重衰减weight_decay＝0.0001；
[0012](2)设置损失函数为交叉熵损失函数CrossEntropyLoss，其公式为 式中，R
N
为采集第N帧图片 对应的语义标注PNG格式属性图片，为对应于R
N
预测后的图片。
[0013]进一步地，步骤S1的具体实施步骤为：
[0014]S101、获取由N帧非结构化道路图片构成的非结构化道路图片集M： M＝{M1,M2,M3,M4,M5,...,M
N
}；
[0015]S102、利用语义标注工具labelimg对步骤S101中各图片中不同类别进行语 义标注，得到包含有语义标注的JSON图片集Q：Q＝{Q1,Q2,Q3,Q4,Q5,...,Q
n
}；其 中，N为采集样本训练数据集的规模，M
N
为采集第N帧的图片，Q
n
为包含有语 义标注的第N帧JSON图片；
[0016]2)将包含有语义标注的JSON图片集Q中的图片统一转换为PNG图片，得 到PNG图片集R：R＝{R1,R2,R3,R4,R5,...,R
N
}，其中，R
N
为PNG图片集中的第N 帧图片。
[0017]进一步地，对非结构化道路图片集M和PNG图片集R中的各图片进行相同 尺寸和分辨率的裁切处理。
[0018]进一步地，在步骤S3中，基于由非结构化道路图片集M为原始图片，对应 PNG图片集R为标签图片构成N个图片组，将其按7:1:2的比例随机划分训练集、 验证集和测试集，并分别用于模型的训练、验证和测试中。
[0019]与现有技术相比，该基于Deeplabv3+网络的非结构化道路自适应注意力语义 分割方法通过在Deeplabv3+网络的骨干特征提取网络中引入自适应注意力 CBAM，有效解决了复杂环境场景下非结构化道路可行驶区域语义分割精度不足 的问题，并通过增强卷积空间和通道维度特征自适应表达能力，实现有效细化不 同类别上下文信息，尤其在物体边缘处可以实现细粒度推理，提升复杂环境下非 结构化道路可行驶区域语义分割的鲁棒性以及算法网络模型的泛化性，满足智能 车辆对非结构化道路可行驶区域复杂场景的理解力要求。
附图说明
[0020]图1为本专利技术的基于Deeplabv3+网络的非结构化道路自适应注意力语义分割 方法的流程图；
[0021]图2为本专利技术的基于Deeplabv3+网络的非结构化道路自适应注意力语义分割 方法模型；
[0022]图3为采用本专利技术的基于Deeplabv3+网络的非结构化道路自适应注意力语义 分割方法测试的图片、采用Deeplabv3+网络测试的图片以及原始图片的对比图。
具体实施方式
[0023]下面结合附图及具体实施例对本专利技术做进一步的说明，但下述实施例绝非对 本专利技术有任何限制。
[0024]如图1所示，该基于Deeplabv3+网络的非结构化道路自适应注意力语义分割 方法
的具体实施方式如下：
[0025]S1、创建非结构化道路场景样本数据集，包括非结构化道路图片集和对应包 含有语义标注的图片集；
[0026]该步骤S1的具体实施步骤如下：
[0027]S101、获取非结构化道路场景样本数据集：
[0028]从车辆原始行车记录仪视频中提取N帧非结构化道路图片构成的非结构化 道路图片集M：M＝{M1,M2,M3,M4,M5,...,M
N
}；在本实施例中，N＝5600；
[0029]S102、对原始图片集进行处理得到包含有语义标注的图片集：
[0030]1)利用语义标注工具labelimg对步骤S101得到的图片集M每张图片中道 路、石头、人、车辆、水坑、土坑和树枝进行语义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法，其特征在于，步骤如下：S1、创建非结构化道路场景样本数据集，包括非结构化道路图片集和对应包含有语义标注的图片集；S2、基于Deeplabv3+网络，在ResNet
‑
18网络的各block模块之后增加CBAM模块，构建形成基于Deeplabv3+网络的非结构化道路自适应注意力语义分割算法模型；S3、利用步骤S1创建的非结构化道路场景样本数据集对非结构化道路自适应注意力语义分割算法模型进行迭代训练；其中，(1)设置参数学习率lr＝0.001，权重衰减weight_decay＝0.0001；(2)设置损失函数为交叉熵损失函数CrossEntropyLoss，其公式为式中，R
N
为采集第N帧图片对应的语义标注PNG格式属性图片，为对应于R
N
预测后的图片。2.根据权利要求1所述的基于Deeplabv3+网络的非结构化道路自适应注意力语义分割方法，其特征在于，步骤S1的具体实施步骤为：S101、获取由N帧非结构化道路图片构成的非结构化道路图片集M：M＝{M1,M2,M3,M4,M5,...,M
N
}；S...

【专利技术属性】
技术研发人员：杨璐，朱俊涛，方博汇，张海凤，王冰倩，刘佳琦，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：