车道线检测方法及装置制造方法及图纸

本公开关于一种车道线检测方法及装置，涉及车辆技术、自动驾驶领域，通过基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。本申请以多模态思想，同时采用2D图像建模和点云数据建模进行融合，最终得到的目标车道线3D模型能够得到更准确的车道线，为车辆驾驶提供准确依据，有助于汽车安全驾驶。有助于汽车安全驾驶。有助于汽车安全驾驶。

【技术实现步骤摘要】
车道线检测方法及装置


[0001]本公开涉及车辆技术、自动驾驶领域，尤其涉及一种车道线检测方法及装置。

技术介绍

[0002]自动驾驶汽车需要感知不同颜色以及在不同的光照条件下的车道线，依靠车道线检测技术能够指导车辆在正确的区域进行行驶，为自动驾驶汽车的自动巡航、车道保持、车道超车等行为提供依据，当车辆偏离车道时可为驾驶员提供预警，有助于汽车安全驾驶。车道线的颜色、形态有很多不确定性，车道线检测往往会受到阴影，眩光，遮挡，磨损，道路颜色的细微变化，周围建筑物和车辆的遮挡和线条的轻微障碍物等影响，获取准确的车道线，是一个亟待解决的问题。

技术实现思路

[0003]本公开提供一种车道线检测方法及装置，以至少解决相关技术中获得的车道线不够准确的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种车道线检测方法，包括：基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；基于第二车道线检测结果生成第二车道线3D模型；对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。
[0005]在一些实施例中，对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型，包括：对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点；确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。
[0006]在一些实施例中，位置信息包括2D位置信息和高度信息，车道线检测方法还包括：确定第一车道线检测点对中第二车道线检测点的高度信息；保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息。
[0007]在一些实施例中，确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对，包括：获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息；根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对。
[0008]在一些实施例中，对采集的2D图像进行车道线检测，得到第一车道线检测结果，包
括：对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对异常2D车道线检测点进行剔除，得到第一车道线检测结果。
[0009]在一些实施例中，基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型，包括：对第一车道线检测结果按照车道线位置进行分组；确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的第一车道线检测结果组，其中，分组i对应车道线位置i；确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置；根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像；基于双目视觉原理，对目标2D图像和目标2D图像的第一车道线检测结果进行车道线建模，生成第一车道线3D模型。
[0010]在一些实施例中，根据采集位置和车道线位置i，对2D图像集合中的2D图像进行筛选，得到车道线位置i对应的目标2D图像，包括：针对第k个图像采集装置对应的2D图像集合k，获取每个采集位置与车道线位置i的距离，得到第k个图像采集装置对应的距离集合k，其中，k为大于或者等于2的整数，小于或者等于图像采集装置的总数；从距离集合k中选取距离小于或者等于距离阈值的2D图像，作为车道线位置i对应的第k个图像采集装置的目标2D图像。
[0011]在一些实施例中，对点云数据进行车道线检测，得到第二车道线检测结果，包括：对连续多帧点云数据进行滑窗操作；对处于滑窗内的点云数据进行融合，得到融合点云数据；对融合点云数据进行车道线检测，得到第二车道线检测结果。
[0012]根据本公开实施例的第二方面，提供一种车道线检测装置，包括：第一检测模块，用于基于至少两个图像采集装置采集2D图像，并对采集的2D图像进行车道线检测，得到第一车道线检测结果；第一建模模块，用于基于第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；第二检测模块，用于采集点云数据，并对点云数据进行车道线检测，得到第二车道线检测结果；第二建模模块，用于基于第二车道线检测结果生成第二车道线3D模型；融合模块，用于对第二车道线3D模型和第一车道线3D模型进行融合，得到最终的目标车道线3D模型。
[0013]在一些实施例中，融合模块，还用于：对第一车道线3D模型和第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，车道线检测点对中包括一个第一车道线3D模型中的第一车道线检测点和一个第二车道3D模型中的第二车道线检测点；确定属于车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留第一车道线检测点对中第一车道线检测点的位置信息，并将第二车道线检测点对中第一车道线检测点的位置信息更新为第二车道线检测点的位置信息，生成目标车道线3D模型。
[0014]在一些实施例中，融合模块，还用于：确定第一车道线检测点对中第二车道线检测点的高度信息；保留第一车道线检测点对中第一车道线检测点的2D位置信息，并将第一车道线检测点的高度信息更新为第二车道线检测点的高度信息。
[0015]在一些实施例中，融合模块，还用于：获取第一车道线检测点的颜色信息和第一车道线3D模型中其他道路元素的检测点的颜色信息；根据第一车道线检测点的颜色信息和其他道路元素的检测点的颜色信息，对车道线检测点对进行区分，得到第一车道线检测点对和第二车道线检测点对。
[0016]在一些实施例中，第一检测模块，还用于：对每个图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对异常2D车道线检测点进行剔除，得到第一车道线检测结果。
[0017]在一些实施例中，第一建模模块，还用于：对第一车道线检测结果按照车道线位置进行分组；确定分组i中每个第一车道线检测结果所属的图像采集装置，得到每个图像采集装置在车道线位置i处的第一车道线检测结果组，其中，分组i对应车道线位置i；确定第一车道线检测结果组对应的2D图像集合和2D图像集合中每个2D图像的采集位置；根据采集位置和车道线位置i，对2D图像集合中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线检测方法，其特征在于，包括：基于至少两个图像采集装置采集2D图像，并对采集的所述2D图像进行车道线检测，得到第一车道线检测结果；基于所述第一车道线检测结果进行车道线建模，以生成第一车道线3D模型；采集点云数据，并对所述点云数据进行车道线检测，得到第二车道线检测结果；基于所述第二车道线检测结果生成第二车道线3D模型；对所述第二车道线3D模型和所述第一车道线3D模型进行融合，得到最终的目标车道线3D模型。2.根据权利要求1所述的方法，其特征在于，所述对所述第二车道线3D模型和所述第一车道线3D模型进行融合，得到最终的目标车道线3D模型，包括：对所述第一车道线3D模型和所述第二车道线3D模型进行点云配准，确定配准后的车道线检测点对，其中，所述车道线检测点对中包括一个所述第一车道线3D模型中的第一车道线检测点和一个所述第二车道3D模型中的第二车道线检测点；确定属于所述车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对；保留所述第一车道线检测点对中所述第一车道线检测点的位置信息，并将所述第二车道线检测点对中所述第一车道线检测点的位置信息更新为所述第二车道线检测点的位置信息，生成所述目标车道线3D模型。3.根据权利要求2所述的方法，其特征在于，所述位置信息包括2D位置信息和高度信息，所述方法还包括：确定所述第一车道线检测点对中所述第二车道线检测点的高度信息；保留所述第一车道线检测点对中所述第一车道线检测点的2D位置信息，并将所述第一车道线检测点的高度信息更新为所述第二车道线检测点的高度信息。4.根据权利要求2所述的方法，其特征在于，所述确定属于所述车道线边缘的第一车道线检测点对和剩余的第二车道线检测点对，包括：获取所述第一车道线检测点的颜色信息和所述第一车道线3D模型中其他道路元素的检测点的颜色信息；根据所述第一车道线检测点的颜色信息和所述其他道路元素的检测点的颜色信息，对所述车道线检测点对进行区分，得到所述第一车道线检测点对和所述第二车道线检测点对。5.根据权利要求1所述的方法，其特征在于，所述对采集的所述2D图像进行车道线检测，得到第一车道线检测结果，包括：对每个所述图像采集装置采集的2D图像进行车道线检测，获取2D车道线检测点；对每个所述图像采集装置的2D车道线检测点进行比对，从中获取异常2D车道线检测点；对所述异常2D车道线检测点进行剔除，得到所述第一车道线检测结果。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述基于所述第一车道线检测结果进行车道线建模，以生成第一车道线3D模型，包括：对所述第一车道线检测结果按照车道线位置进行分组；确定所述分组i中每个第一车道线检测结果所属的图像采集装置，得到每个所述图像
采集装置在车道线位置i处的第一车道线检测结果组，其中，所述分组i对应车道线位置i；确定所述第一车道线检测结果组对应的2D图像集合和所述2D图像集合中每个2D图像的采集位置；根据所述采集位置和所述车道线位置i，对所述2D图像集合中的2D图像进行筛选，得到所述车道线位置i对应的目标2D图像；基于双目视觉原理，对所述目标2D图像和所述目标2D图像的第一车道线检测结果进行车道线建模，生成所述第一车道线3D模型。7.根据权利要求6所述的方法，其特征在于，所述根据所述采集位置和所述车道线位置i，对所述2D图像集合中的2D图像进行筛选，得到所述车道线位置i对应的目标2D图像，包括：针对第k个图像采集装置对应的2D图像集合k，获取每个所述采集位置与所述车道线位置i的距离，得到所述第k个图像采集装置对应的距离集合k，其中，所述k为大于或者等于2的整数，小于或者等于所述图像采集装置的总数；从所述距离集合k中选取距离小于或者等于距离阈值的2D图像，作为所述车道线位置i对应的所述第k个图像采集装置的目标2D图像。8.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述对所述点云数据进行车道线检测，得到第二车道线检测结果，包括：对连续多帧点云数据进行滑窗操作；对处于所述滑窗内的点云数据进行融合，得到融合点云数据；对所述融合点云数据进行车道线检测，得到所述第二车道线检测结果。9.一种车道线检测装置，其特征在于，包括：第一检测模块，用于基于至少两个图像采集装置采集2D图像，并对采集的所述2D图像进行车道线检测，得到第一车道线检...

【专利技术属性】
技术研发人员：张琼，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：