车道线虚线角点实时检测方法、系统、终端及介质技术方案

本发明专利技术提供了一种车道线虚线角点实时检测方法及系统，其中方法包括：构建语义分割神经网络模型，并将获取的车道图像输入至语义分割神经网络模型，输出得到带有语义标签的语义分割图；基于语义分割图，获取图中所有语义标签为虚线的连通区域，记录每一个连通区域对应的边界信息，其中每一个连通区域对应一个虚线白块；获取每一个车道图像的灰度图像，并在灰度图像上基于连通区域对应的边界信息对虚线白块进行角点检测，得到每一个虚线白块的角点，完成车道线虚线角点实时检测。同时提供了一种相应的终端及介质。本发明专利技术可节省大量的人力和计算资源成本，且在不同的场景下都可以保持准确性和稳定性。持准确性和稳定性。持准确性和稳定性。

【技术实现步骤摘要】
车道线虚线角点实时检测方法、系统、终端及介质


[0001]本专利技术涉及自动驾驶
，具体地，涉及一种车道线虚线角点实时检测方法、系统、终端及介质。

技术介绍

[0002]在当前自动驾驶
内，车道线的视觉感知任务主要包括车道线曲线检测与车道线语义分割，这两种方式主要关注整体车道线的曲线表达与像素标签，而对车道线虚线白块的角点的感知关注较少。通过车道线语义分割图中像素标签跳变处，可以得到虚线端点，但是位置准确度较差。
[0003]而一些单独针对虚线端点的检测方案，则需要额外的数据采集、标注和训练，且网络模型很难达到与车道线感知任务相当的稳定性和泛化性，容易出现漏检测、误检测、检测位置误差大等问题。另外，这些方案只能检测出前后的两个端点，而虚线白块存在一定宽度，检测出的虚线端点容易在宽度内左右跳动，导致前后帧检测位置不一致。若要检测出白块的四个角点，则对数据的视角、成像质量、标注质量有着极高的要求，难以广泛应用。而且传统的基于规则的视觉角点提取方法，无法将虚线白块的角点与图像中其他角点相区分。且对整张图像提取角点计算量过大，无法实时运行。
[0004]经过检索发现：
[0005]申请号为201811468062.X的中国专利技术专利申请《一种虚线车道线端点检测模型的训练方法》，提供了一种车辆压线判断方法，其中用到了虚线车道线检测模型的训练方法，该训练方法通过对虚线车道线的端点进行标注来表示车道线位置，并且在初始神经网络模型基础上，采用微调的方法，利用道路样本图像，对神经网络进行训练。该训练方法采用一种神经网络模型来检测虚线端点，需要进行数据采集、数据标注、模型训练等工作，需要大量的人力和计算资源；该方法采用神经网络输出虚线端点，受限于数据量和数据标注的难度，检测到的点通常准确程度不够，漏检误检概率较大，对于训练数据集没有覆盖到的光照、路面材质、视角等，神经网络的输出质量极难保证，且虚线白块存在一定宽度，网络检测到的端点会在白块横向上波动，难以保证前后帧的检测结果属于物理世界同一个点。
[0006]申请号为202010511414.6的中国专利技术专利申请《车道线角点检测方法及装置》，获得包含车道线的待检测图像；将所述待检测图像输入至预先训练得到的神经网络模型中进行处理，生成待检测图像中的车道线实例结果、车道线块两端识别结果以及车道线块两端像素位置到该像素位置对应端两个角点的距离矩阵；根据所述车道线实例结果、车道线块两端识别结果以及车道线块两端像素位置到该像素位置对应端两个角点的距离矩阵，确定待检测图像中的车道线角点位置。该方法及装置也是采用神经网络检测车道线角点，需要对角点进行额外的标注和训练，这种方式同样需要较高的人力和计算资源成本。

技术实现思路

[0007]本专利技术针对现有技术中存在的上述不足，提供了一种基于图像空间的车道线虚线
角点实时检测方法、系统、终端及介质。
[0008]根据本专利技术的一个方面，提供了一种车道线虚线角点实时检测方法，包括：
[0009]构建语义分割神经网络模型，并将获取的车道图像输入至所述语义分割神经网络模型，输出得到带有语义标签的语义分割图；
[0010]基于所述语义分割图，获取图中所有语义标签为虚线的连通区域，记录每一个所述连通区域对应的边界信息，其中每一个所述连通区域对应一个虚线白块；
[0011]获取每一个所述车道图像的灰度图像，并在所述灰度图像上基于所述连通区域对应的边界信息对虚线白块进行角点检测，得到每一个虚线白块的角点，完成车道线虚线角点实时检测。
[0012]可选地，所述构建语义分割神经网络模型，包括：
[0013]获取自动驾驶任务中基础的车道线感知任务的标注数据，构建训练数据集；利用所述训练数据集训练语义分割神经网络，得到语义分割神经网络模型；
[0014]或者
[0015]采用已训练的车道线语义分割网络作为语义分割神经网络模型。
[0016]可选地，所述将获取的图像输入至所述语义分割神经网络模型，输出得到带有语义标签的语义分割图，包括：
[0017]将得到的一帧图像输入至所述语义分割神经网络模型，输出一张带有语义标签的语义分割图，其中，所述语义分割图中的每一个像素对应一个语义标签，所述语义标签用于表明该像素点是否属于虚线。
[0018]可选地，所述基于所述语义分割图，获取图中所有语义标签为虚线的连通区域，记录每一个所述连通区域对应的边界信息，包括：
[0019]获取所述语义分割图中的一个当前像素点；若所述当前像素点所对应的语义标签不是虚线或为已访问过的点，则跳过该像素点；否则基于所述当前像素点初始化一个连通区域，同时记录所述连通区域的上下边界和左右边界信息，将所述当前像素点记录为已访问点；
[0020]采用深度优先搜索方法，遍历所述当前像素点上下左右邻域内的像素点，若所述邻域内的像素点所对应的语义标签不是虚线或为已访问过的点，则跳过该像素点；否则，将该像素点加入所述连通区域，并更新所述连通区域的上下边界和左右边界信息，将该像素点记录为已访问点，并将该像素点设为当前像素点；重复该步骤，直到没有新的语义标签为虚线的点加入当前的连通区域；
[0021]按照顺序，遍历所述语义分割图中的所有像素点，重复上述步骤，直至得到图中所有语义标签为虚线的连通区域，得到的每一个所述连通区域对应一个虚线白块。
[0022]可选地，所述记录所述连通区域的上下边界和左右边界信息，包括：
[0023]记录所述连通区域的最大行数和最小行数，即为所述连通区域的上下边界；
[0024]记录最大行所对应的最大列数和最小列数以及最小行所对应的最大列数和最小列数，即为所述连通区域的左右边界。
[0025]可选地，所述遍历所述语义分割图中的所有像素点的顺序为：按照从上到下、从左到右的顺序。
[0026]可选地，在所述灰度图像上基于所述连通区域对应的边界信息对虚线白块进行角
点检测，得到每一个虚线白块的角点，包括：
[0027]计算所述灰度图像中所有语义标签为虚线的像素点的平均灰度值，作为预期虚线灰度值；计算所述灰度图像中所有语义标签为路面的像素点的平均灰度值，作为预期路面灰度值；根据预期虚线灰度值与所述预期路面灰度值之间差值，得到虚线白块与路面的灰度差异阈值；
[0028]对于所述连通区域的边界信息，按照顺序遍历每一个像素点，并根据所述灰度差异阈值，判断当前像素点是否为所述连通区域的角点：
[0029]如果是，则得到所述连通区域所对应的虚线白块的角点；
[0030]如果不是，则在相应边界信息的一定范围内，按照上述步骤重新进行像素点的搜索和判断，直至找到所述连通区域所对应的虚线白块的角点。
[0031]可选地，所述判断当前像素点是否为所述连通区域的角点，包括：
[0032]当所述当前像素点的灰度值与所述预期虚线灰度值的差值的绝对值大于设定差值阈值时，跳过该当前像素点；否则，判断该当前像素点与周围本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线虚线角点实时检测方法，其特征在于，包括：构建语义分割神经网络模型，并将获取的车道图像输入至所述语义分割神经网络模型，输出得到带有语义标签的语义分割图；基于所述语义分割图，获取图中所有语义标签为虚线的连通区域，记录每一个所述连通区域对应的边界信息，其中每一个所述连通区域对应一个虚线白块；获取每一个所述车道图像的灰度图像，并在所述灰度图像上基于所述连通区域对应的边界信息对虚线白块进行角点检测，得到每一个虚线白块的角点，完成车道线虚线角点实时检测。2.根据权利要求1所述的车道线虚线角点实时检测方法，其特征在于，所述构建语义分割神经网络模型，包括：获取自动驾驶任务中基础的车道线感知任务的标注数据，构建训练数据集；利用所述训练数据集训练语义分割神经网络，得到语义分割神经网络模型；或者采用已训练的车道线语义分割网络作为语义分割神经网络模型。3.根据权利要求1所述的车道线虚线角点实时检测方法，其特征在于，所述将获取的图像输入至所述语义分割神经网络模型，输出得到带有语义标签的语义分割图，包括：将得到的一帧图像输入至所述语义分割神经网络模型，输出一张带有语义标签的语义分割图，其中，所述语义分割图中的每一个像素对应一个语义标签，所述语义标签用于表明该像素点是否属于虚线。4.根据权利要求1所述的车道线虚线角点实时检测方法，其特征在于，所述基于所述语义分割图，获取图中所有语义标签为虚线的连通区域，记录每一个所述连通区域对应的边界信息，包括：获取所述语义分割图中的一个当前像素点；若所述当前像素点所对应的语义标签不是虚线或为已访问过的点，则跳过该像素点；否则基于所述当前像素点初始化一个连通区域，同时记录所述连通区域的上下边界和左右边界信息，将所述当前像素点记录为已访问点；采用深度优先搜索方法，遍历所述当前像素点上下左右邻域内的像素点，若所述邻域内的像素点所对应的语义标签不是虚线或为已访问过的点，则跳过该像素点；否则，将该像素点加入所述连通区域，并更新所述连通区域的上下边界和左右边界信息，将该像素点记录为已访问点，并将该像素点设为当前像素点；重复该步骤，直到没有新的语义标签为虚线的点加入当前的连通区域；按照顺序，遍历所述语义分割图中的所有像素点，重复上述步骤，直至得到图中所有语义标签为虚线的连通区域，得到的每一个所述连通区域对应一个虚线白块。5.根据权利要求4所述的车道线虚线角点实时检测方法，其特征在于，还包括如下任意一项或任意多项：
‑
所述记录所述连通区域的上下边界和左右边界信息，包括：记录所述连通区域的最大行数和最小行数，即为所述连通区域的上下边界；记录最大行所对应的最大列数和最小列数以及最小行所对应的最大列数和最小列数，即为所述连通区域的左右边界；
‑
所述遍历所述语义分割图中的所有像素点的顺序为：按照从上到下、从左到右的顺
序。6.根据权利要求1所述的车道线虚...

【专利技术属性】
技术研发人员：李振峰，李军，魏哲，梁昊，章健勇，
申请(专利权)人：辉羲智能科技上海有限公司，
类型：发明
国别省市：