一种用于交通路面的多要素语义分割方法技术

本发明专利技术公开了一种用于交通路面的多要素语义分割方法，包括：获取目标图片集；目标图片集中的每个目标图片均包括可行驶区域、车道线和路面交通标志；对目标图片集的目标图片进行标签标注，并将标注后的目标图片集划分为训练集和测试集；构建实时语义分割网络模型；利用训练集对实时语义分割网络模型进行训练，得到训练好的实时语义分割网络模型；利用训练好的实时语义分割网络模型对测试集进行测试，得到交通路面的语义分割结果。本发明专利技术中能够将可行驶区域分割、车道线检测和道路路面交通标志检测整合到同一个实时语义分割网络模型中同时进行处理，能够取得较好的分割效果和较快的推理速度，从而减少推理消耗的时间，节省计算资源。源。源。

【技术实现步骤摘要】
一种用于交通路面的多要素语义分割方法


[0001]本专利技术涉及智能自动驾驶汽车环境感知
，尤其涉及一种用于交通路面的多要素语义分割方法。

技术介绍

[0002]智能汽车的环境感知系统需要提取道路路面环境，道路路面环境主要指车辆周围的地理环境与道路交通信息，如可行驶区域、车道线和道路路面交通标志。其中，对可行驶区域的准确分割可以使车辆获得在路面中的相对位置，保证车辆在安全区域内行驶；准确的车道线检测有助于实现道路要素的精确发现和实时感知，是地图构建中路面信息发现的重要技术；对于道路路面交通标志的准确检测，尤其是对直行箭头、左转箭头、右转箭头、直行左转箭头、直行右转箭头、人行横道和菱形减速标志的精确感知，有利于车辆在行驶过程中做出规范性制动，进一步结合高精度地图可以辅助实现路径规划。
[0003]在可行驶区域分割领域，大多使用语义分割的方法，如FCN、SegNet、PSPNet、SNE
‑
RoadSeg等。其中，FCN首次将全卷积网络引入语义分割领域，即将图形级别的分类进一步延伸到像素级别的分类，但是该网络没有充分考虑像素与像素之间的关系，从而缺乏空间一致性。SegNet通过在解码器的最大池化过程中计算对应编码器的非线性上采样，从而省去上采样的学习过程。PSPNet融合了四种不同金字塔尺寸的特征形成一个包含不同子区域之间的不同尺度信息的模块，能够充分利用上下文关系。SNE
‑
RoadSeg是基于表面法向量提取的道路可行驶区域分割方法，该网络类似于U
‑
Net(U
‑
Net证明了使用跳跃连接有利于提高整个空间的分辨率)的编码和解码，在上采样部分融入表面法线估计器SNE的模块，该方法在自由空间检测方面表现优异。
[0004]用于车道线检测的方法主要包括基于分割的方法、基于锚定的方法和基于曲线拟合的方法。基于分割的方法包括使用逐层卷积实现了消息在行和列像素之间的传递的SCNN以及使用自注意力蒸馏模块来聚合上下文信息的Enet
‑
SAD。基于锚定的方法包括LaneATT、UFLD等。其中，LaneATT为了聚合全局信息提出了新的基于锚的注意力机制，UFLD是基于行锚的方法实现了超快的车道线检测速度，同时该网络也是第一个提出行分类的方法，行分类虽然保证了检测的速度，但是检测效果不是很好，尤其在车辆变道是会出现无法检测的问题。基于曲线拟合的方法与单纯的点回归不同，其使用参数对车道线曲线进行建模并对这些参数进行回归，该方法比较经典的网络有PolyLaneNet，然而曲线拟合的方法在对高阶系数误差进行预测时会出现车道线变形的状况。
[0005]用于道路路面交通标志检测的方法大致分为两类，一类是手工方法，另一类是基于深度学习的对象检测方法。手工方法大多是手动提取目标对象的基本特征，例如颜色、边缘和纹理，这在很大程度上依赖于作者设计的方法。例如，Tang等人利用了具有感兴趣区域(ROI)限制的定向梯度直方图(HOG)和支持向量机(SVM)，这证明了数据集上的良好性能。与手工方法相比，基于深度学习的方法在道路标记的特征提取中显示出更好的结果和稳定性。例如，基于CNN的目标检测明显提高了各种情况下的性能。例如，VPGNet是一种端到端模
型，用于检测路面上的消失点和道路标记。例如，Hoang等人基于自适应ROI和RetinaNet检测并分类了道路上的箭头和自行车标记。结果表明，自适应ROI优于其他方法。例如，为了追求实时检测，Zhang等人提出了一种由三个模块组成的方法：预处理、道路标记检测和分割。第二阶段采用了结合暹罗注意力模块的轻量级网络，以提高准确性并增强对道路标记的敏感性。对于分割模块，分割的对象可以达到像素级的精度，并且计算成本更低。例如，Ye等人提出了一个两阶段模型，YOLOv2与空间变压器网络(STN)相结合，以解决道路标记的失真问题。即使采用两阶段模型，该方法也能以较少的计算量获得良好的性能。总之，基于深度学习的方法比传统的特征提取方法更稳健和更稳定，并且可以以更高的精度应用于不同的场景。
[0006]以上所提及的网络模型都拥有良好的检测性能，然而它们都是只能单独处理这三个任务，单个任务接续处理必然比多个任务共同处理所消耗的时间更长，而且在嵌入式设备上进行部署往往需要考虑延迟以及有限的计算资源。

技术实现思路

[0007]为解决
技术介绍
中存在的技术问题，本专利技术提出一种用于交通路面的多要素语义分割方法。
[0008]本专利技术提出的一种用于交通路面的多要素语义分割方法，包括：
[0009]获取目标图片集；目标图片集中的每个目标图片均包括可行驶区域、车道线和路面交通标志；
[0010]对目标图片集的目标图片进行标签标注，并将标注后的目标图片集划分为训练集和测试集；
[0011]构建实时语义分割网络模型；
[0012]利用训练集对实时语义分割网络模型进行训练，得到训练好的实时语义分割网络模型；
[0013]利用训练好的实时语义分割网络模型对测试集进行测试，得到交通路面的语义分割结果。
[0014]进一步地，实时语义分割网络模型包括：语义分支、细节分支、多尺度融合模块和交叉指导聚合模块；
[0015]其中，细节分支提取训练集中的目标图片的浅层细节信息，得到包含有细节信息的低级特征；
[0016]语义分支对预处理后的目标图片进行语义提权，得到包含有语义信息的多尺度高级特征；
[0017]多尺度融合模块用于将多尺度高级特征进行融合，得到多尺度融合特征；
[0018]交叉指导聚合模块用于将低级特征和多尺度融合特征进行融合，得到目标图片的特征图。
[0019]进一步地，语义分支用于获得目标图片的分辨率1/4、1/8、1/16和1/32的特征图。
[0020]进一步地，语义分支的骨干网络为ResNet
‑
18。
[0021]进一步地，细节分支用于获得目标图片的分辨率1/2、1/4和1/8的特征图。
[0022]进一步地，多尺度融合模块包括三个并联的卷积单元、融合层以及一个3
×
3的卷
积层，其中，卷积单元的步长为2且卷积核分别为7
×
7、5
×
5、3
×
3。
[0023]进一步地，实时语义分割网络模型还包括高效通道注意力模块，高效通道注意力模块用于将多尺度高级特征进行通道注意力分配，获得具有通道注意力的多尺度高级特征，并将具有通道注意力的多尺度高级特征添加至多尺度融合特征图中。
[0024]进一步地，高效通道注意力模块是在SE模块的基础上去除全连接层，并在全局平均池化层之后使用1
×
1卷积层。
[0025]进一步地，1
×
1卷积层的卷积核为动态卷积核。
[0026]进一步地，交叉指导聚合模块包括两个指导聚合模块，其中一个指导聚合模块用于在保留完整上下文语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于交通路面的多要素语义分割方法，其特征在于，包括：获取目标图片集；目标图片集中的每个目标图片均包括可行驶区域、车道线和路面交通标志；对目标图片集的目标图片进行标签标注，并将标注后的目标图片集划分为训练集和测试集；构建实时语义分割网络模型；利用训练集对实时语义分割网络模型进行训练，得到训练好的实时语义分割网络模型；利用训练好的实时语义分割网络模型对测试集进行测试，得到交通路面的语义分割结果。2.根据权利要求1所述的用于交通路面的多要素语义分割方法，其特征在于，实时语义分割网络模型包括：语义分支、细节分支、多尺度融合模块和交叉指导聚合模块；其中，细节分支提取训练集中的目标图片的浅层细节信息，得到包含有细节信息的低级特征；语义分支对预处理后的目标图片进行语义提权，得到包含有语义信息的多尺度高级特征；多尺度融合模块用于将多尺度高级特征进行融合，得到多尺度融合特征；交叉指导聚合模块用于将低级特征和多尺度融合特征进行融合，得到目标图片的特征图；优选地，语义分支用于获得目标图片的分辨率1/4、1/8、1/16和1/32的特征图；优选地，语义分支的骨干网络为ResNet
‑
18；优选地，细节分支用于获得目标图片的分辨率1/2、1/4和1/8的特征图。3.根据权利要求2所述的用于交通路面的多要素语义分割方法，其特征在于，多尺度融合模块包括三个并联的卷积单元、融合层以及一个3
×
3的卷积层，其中，卷积单元的步长为2且卷积核分别为7
×
7、5
×
5、3
×
3。4.根据权利要求2所述的用于交通路面的多要素语义分割方法，其特征在于，实时语义分割网络模型还包括高效通道注意力模块，高效通道注意力模块用于将多尺度高级特征进行通道注意力分配，获得...

【专利技术属性】
技术研发人员：王海，张桂荣，蔡英凤，吴逸飞，陈龙，李祎承，刘擎超，
申请(专利权)人：镇江市江苏大学工程技术研究院汉得利常州电子股份有限公司，
类型：发明
国别省市：