一种自动驾驶汽车实时语义分割模型构建方法技术

本发明专利技术涉及一种自动驾驶汽车实时语义分割模型构建方法，包括以下步骤：构建数据集，并将数据集划分为训练集、验证集和测试集；搭建卷积神经网络和transformer网络，并将二者相融合构成编码器中的一个特征提取阶段；重复堆叠四个相同的特征提取阶段，构成完整的编码器网络；搭建U型解码器网络，设计上采样模块；将编码器网络和解码器网络相结合，构成实时语义分割模型。同时构建教师网络，结合知识蒸馏策略，训练实时语义分割模型；将训练好的模型权重保存，并在数据集的验证集上对实时语义分割模型性能进行验证。与现有技术相比，本发明专利技术解决了实时语义分割中速度和精度不平衡的问题，得到兼顾速度和精度的实时语义分割模型。得到兼顾速度和精度的实时语义分割模型。得到兼顾速度和精度的实时语义分割模型。

【技术实现步骤摘要】
一种自动驾驶汽车实时语义分割模型构建方法


[0001]本专利技术涉及自动驾驶车辆场景理解领域，尤其是涉及一种自动驾驶汽车实时语义分割模型构建方法。

技术介绍

[0002]语义分割是计算机视觉中一项基本但关键的任务，它的目标是为图像中的每个像素预测一个特定的标签，便于更加全面充分地了解整个图像场景所包含的信息。许多基于深度学习的全卷积网络已经取得了很高的分割精度，但将其应用于自动驾驶车辆时依然存在着模型推理速度较慢的问题。因此构建一个满足实时性要求同时又有着较高分割精度的语义分割模型，对于交通场景解析有着极其重要的研究意义。
[0003]基于深度学习的语义分割网络主要包括两大类：第一类是基于纯卷积网络的，2015年Long等人提出的全卷积网络(fully convolutional network，FCN)是一种基于编
‑
解码器的结构，基于此结构，后来出现了快速分割卷积网络、双分支语义网络和高效残差分解卷积网络等众多方法。这些方法堆叠大量复杂的卷积模块，大大提升了分割精度，同时卷积层参数较少，模型也十分地轻量。它们存在的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，包括以下步骤：构建数据集，并将所述数据集划分为训练集、验证集和测试集；搭建卷积神经网络和transformer网络，并将二者相融合构成编码器中的一个特征提取阶段；重复堆叠四个相同的特征提取阶段，构成完整的编码器网络；搭建U型解码器网络，设计上采样模块；将所述编码器网络和所述解码器网络相结合，构成实时语义分割模型。2.根据权利要求1所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，还包括以下步骤：构建教师网络，结合知识蒸馏策略，训练所述实时语义分割模型；将训练好的模型权重保存，并在所述数据集的验证集上对实时语义分割模型性能进行验证。3.根据权利要求1所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，所述特征提取阶段包括降采样模块及特征提取模块；所述降采样模块用于降低输入特征图的尺寸；所述特征提取模块用于学习输入特征图所包含的特征信息。4.根据权利要求3所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，所述降采样模块包括卷积降采样层和序列化层。5.根据权利要求3所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，所述特征提取模块包括两个transformer层和两个卷积层；所述transformer层用于提取输入图像的全局上下文信息；所述卷积层用于提取输入图像的局部信息；特征提取模块中表达式为：特征提取模块中表达式为：特征提取模块中表达式为：其中，x表示降采样模块输出的序列，transformer1和transformer2分别表示两个transformer层操作，reshape表示将序列恢复为特征图的操作，为经过两个transformer层后输出的特征图，cnn1和cnn2分别表示两个卷积网络层操作，为经过两个卷积网络后输出的特征图，y表示当前特征提取阶段输出的特征图。6.根据权利要求5所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，所述transformer层包含两个正则化层LN、两个残差层、一个多头自注意层EMSA及一个前馈网络层FFN，特征提取过程如下：特征提取过程如下：其中，x为transformer层的输入序列，为经过一个正则化层和一个多头自注意层后得到的输出序列，y为输入序列经过一个正则化层和一个前馈网络层后得到的输出序列；所述多头自注意层采用一个卷积降采样层降低中间计算向量的维度，进而减小整个多
头自注意层的计算负担；所述前馈网络层FFN包括卷积层、线性层和激活函数层。7.根据权利要求1所述的一种自动驾驶汽车实时语义分割模型构建方法，其特征在于，所述解码器网络包括两个上采样模块，所述上采样模块用于恢复特征图尺寸；所述上采样模块包括一个深度卷积层、一个卷积核尺寸为1的卷积层和一个双线性插值上采样模块；所述上采样模块具有自注意结构，以实现特征增强；特征图经过上采样模块的表达式为：特征图经过上采样模块的表达式为：K＝reshape(dsconv(x))V＝reshape(dsconv(x))V＝reshape(dsconv(x))其中，x为上采样模块的输入特征图，up_block表示上采样模块，为经过上采样模块后的输出特征图，reshape表示将特征图转化为序列数据结构，Q为转化为序列后的特征矩阵，dsconv表示深度可分离卷积层；K、v为特征矩阵，d
k
为特征矩阵K的维度，softmax函数用于将输出结果归一化，linear为线性层，y为输出特征图。8.根据权利要求2所述的一种自动驾驶汽车实时语义分割模型构建方法...

【专利技术属性】
技术研发人员：范佳琦，高炳钊，冉亚兵，褚洪庆，
申请(专利权)人：同济大学，
类型：发明
国别省市：