一种智能车辆车道线语义分割的方法及系统技术方案

本发明专利技术提供了一种智能车辆车道线语义分割的方法及系统，包括：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；将输入图片输入特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；将第二次卷积后的图片数据执行预设倍上采样操作，输出车道线的语义分割图像。本发明专利技术充分利用现有的硬件资源，在保证图像像素点的预测准确度同时不会增加硬件的开销。

【技术实现步骤摘要】
一种智能车辆车道线语义分割的方法及系统
本专利技术涉及计算机视觉领域，具体地，涉及一种智能车辆车道线语义分割的方法及系统，更为具体地，涉及一种基于冗余的特征提取信息实现车道线语义分割的方法。
技术介绍
车道线语义分割是计算机视觉技术在智能车辆领域的应用，协助智能车辆在行驶过程中识别车道线以及构建和更新高精度地图。车道线语义分割技术的核心是对于智能车辆在行驶过程中采集到的一帧图片，实现图片上每一个像素点所属类别的分类。卷积操作在特征提取方面的成功，推动了卷积神经网络应用于语义分割领域。当前编码-解码架构的神经网络被广泛应用于图像像素点分类问题，其中编码部分通过一系列的卷积操作提取图片中重要的特征信息，而解码部分通过一系列的上采样操作从上述重要的特征信息构建最终的语义分割输出图片。虽然编码-解码架构的神经网络能够在一定程度上解决图像像素点分类问题，但是图像像素点分类错误是困扰语义分割技术更好地应用于智能车辆领域的一大问题。专利文献CN109766878A(申请号：201910287099.0)公开了一种车道线检测的方法和设备，涉及自动驾驶
，用以解决目前车道线检测准确性较低，鲁棒性较差的问题，专利文献CN109766878A公开了将鸟瞰特征图中栅格的最大高度值、平均反射强度和点云数量统计密度作为darknet的输入进行特征提取；通过FPN融合低层特征高分辨率和高层特征的高语义信息确定车道线点的特征信息；根据特征信息确定在点云地图中与鸟瞰特征图中的车道线点相对应的车道线点；将点云地图中的车道线点中反射强度大于平均反射强度阈值的车道线点作为车道线特征点，并根据点云地图中的车道线特征点进行几何模型拟合确定车道线。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种智能车辆车道线语义分割的方法及系统。根据本专利技术提供的一种智能车辆车道线语义分割的方法，包括:步骤M1：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；步骤M2：将输入图片输入至特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；步骤M3：将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；步骤M4：将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；步骤M5：将第二次卷积后的图片数据执行预设倍上采样操作，输出车道线的语义分割图像。优选地，所述特征提取网络包括x层卷积层，递进式地对图像中像素点间信息特征进行提取。优选地，特征提取网络第一层和最后一层输出的特征提取信息分别执行卷积核为1x1的卷积操作。优选地，所述预设倍上采样操作包括双线性插值运算。优选地，所述合并包括以通道数为标准进行特征数据张量的拼接。优选地，所述卷积操作不改变图像数据的高度和宽度。根据本专利技术提供的一种智能车辆车道线语义分割的系统，包括:模块M1：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；模块M2：将输入图片输入至特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；模块M3：将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；模块M4：将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；模块M5：将第二次卷积后的图片数据执行预设倍上采样操作，输出车道线的语义分割图像。优选地，所述特征提取网络包括x层卷积层，递进式地对图像中像素点间信息特征进行提取。优选地，所述预设倍上采样操作包括双线性插值运算。优选地，所述合并包括以通道数为标准进行特征数据张量的拼接；所述卷积操作不改变图像数据的高度和宽度。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术充分利用现有的硬件资源，在保证图像像素点的预测准确度同时不会增加硬件的开销；2、本专利技术充分利用现有的软件资源，不会额外增加软件开发的难度；3、与现有的技术相比，在增加图像像素点的预测准确度同时减低计算的开销；4、有利于快速落地与产品化。5、本专利技术充分考虑第一层特征图和最后一次四倍上采样特征图所包含信息的重要性，通过特征图合并的冗余操作实现对图像语义分割准确度的提升。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的方法流程图图2为本专利技术的网络框架图图3为本专利技术的透视变换图像图4为本专利技术的语义分割输出图像具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。为了提升图像像素点分类的准确度，本专利技术提供一种基于冗余的特征提取信息实现车道线语义分割的方法，将神经网络编码部分提取的图像特征信息多次应用于神经网络的解码部分，能够有效地提高图像像素点分类的准确度，从而满足智能车辆行驶以及高精度地图构建和更新所需的要求。实施例1根据本专利技术提供的一种智能车辆车道线语义分割的方法，包括:步骤M1：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；将输入图像进行相应的透视变换获取合适角度的路面图片；步骤M2：将透视变换后的路面图片输入至特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；步骤M3：将最后一层特征提取图执行四倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；步骤M4：将最后一层输出的特征提取图执行四倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；步骤M5：将第二次卷积后的图片数据执行四倍上采样操作，输出车道线的语义分割图像。所述特征提取网络由卷积操作、ReLU、批标准化等组成的卷积神经网络，用于提取图片中的特征信息。具体地，所述特征提取网络包括x层卷积层，递进式地对图像中像素点间信息特征进行提取。具体地，特征提取网络第一层和最后一层输出的特征提取信息分别执行卷积核为1x1的卷积操作，减少计算的工作量同时降低对memory的存储空间开销。具体地，所述四倍上采样操作包括双线性插值运算或者其他可替换的四倍上采样操作。具体地，所述合并包括以通道数为标准进行特征数据张量的拼接。具体地，所述卷积操作不改变图像数据的高度和宽度。<本文档来自技高网...

【技术保护点】
1.一种智能车辆车道线语义分割的方法，其特征在于，包括:/n步骤M1：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；/n步骤M2：将输入图片输入至特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；/n步骤M3：将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；/n步骤M4：将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；/n步骤M5：将第二次卷积后的图片数据执行预设倍上采样操作，输出车道线的语义分割图像。/n

【技术特征摘要】
1.一种智能车辆车道线语义分割的方法，其特征在于，包括:
步骤M1：选取智能车辆在行驶过程中采集到的视频中一帧图片作为输入图片；
步骤M2：将输入图片输入至特征提取网络进行特征提取，获取特征提取网络第一层特征提取图和最后一层特征提取图；
步骤M3：将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作，得到卷积后的图片信息；
步骤M4：将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作，获得第二次卷积后的图片信息；
步骤M5：将第二次卷积后的图片数据执行预设倍上采样操作，输出车道线的语义分割图像。


2.根据权利要求1所述的智能车辆车道线语义分割的方法，其特征在于，所述特征提取网络包括x层卷积层，递进式地对图像中像素点间信息特征进行提取。


3.根据权利要求1所述的智能车辆车道线语义分割的方法，其特征在于，特征提取网络第一层和最后一层输出的特征提取信息分别执行卷积核为1x1的卷积操作。


4.根据权利要求1所述的智能车辆车道线语义分割的方法，其特征在于，所述预设倍上采样操作包括双线性插值运算。


5.根据权利要求1所述的智能车辆车道线语义分割的方法，其特征在于，所述将最后一层特征提取图执行预设倍上采样操作，并与第一层特征提取图合并并执行卷积操作中合并和将最后一层输出的特征提取图执行预设倍上采样操作与第一层特征提取图、卷积后的图片信息合并并执行卷积操作中合并包括以通道数为标准进行特征数据张量的拼接。

<...

【专利技术属性】
技术研发人员：刘冶，张希，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31