三维车道线标注方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种三维车道线标注方法、装置、电子设备及存储介质，该三维车道线标注方法包括：获取同步采集的第一激光点云数据和图像数据，所述第一激光点云数据和所述图像数据均包括车道线的信息；在所述图像数据中标注车道线图像，获得二维车道线语义分割标注结果；将所述第一激光点云数据投影到所述图像数据，并根据投影结果和所述二维车道线语义分割标注结果，获得点云属性信息；将所述点云属性信息加入到所述第一激光点云数据中，获得第二激光点云数据；根据所述第二激光点云数据，获得标注出三维车道线的激光点云标注结果。本方案能够实现三维车道线的自动化标注，节约成本。本。本。

【技术实现步骤摘要】
三维车道线标注方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理领域，特别涉及一种三维车道线标注方法、装置、电子设备及存储介质。

技术介绍

[0002]车道线标注，是指给激光点云中的车道线点赋予车道线标签，并给路面等其他点赋予路面或者背景标签的过程。车道线标注对车道线检测有着非常重要的作用。
[0003]针对于车道线标注，一般采用相机采集图像数据和激光雷达采集激光点云数据。进一步地，针对于点云数据一般采用语义分割算法进行处理，现有技术中，以包含大约二十万点的单个激光点云数据语义分割的标注为例，有经验的标注员的标注时间长达3
‑
6小时，校验和质量保证时间约0.5
‑
1小时。单个激光点云文件标注成本达到几十到上百元。对于智能辅助驾驶中的多模态深度感知学习模型的训练，一般需要十万级或更多的高质量标注激光点云数据；对于复杂模型，其数据量需求更为庞大。
[0004]由此可见，采用人工标注的方式会花费大量的人力、经济、时间等成本。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种三维车道线标注方法、装置、电子设备及存储介质，能够实现三维车道线的自动化标注，节约成本。
[0006]根据本申请实施例的第一方面，提供了一种三维车道线标注方法，包括：获取同步采集的第一激光点云数据和图像数据，所述第一激光点云数据和所述图像数据均包括车道线的信息；在所述图像数据中标注车道线图像，获得二维车道线语义分割标注结果；将所述第一激光点云数据投影到所述图像数据，并根据投影结果和所述二维车道线语义分割标注结果，获得点云属性信息，所述点云属性信息包括所述第一激光点云数据中至少部分激光点在所述图像数据中的投影点对应的颜色信息和标签信息，所述标签信息用于指示相对应投影点的实体类型；将所述点云属性信息加入到所述第一激光点云数据中，获得第二激光点云数据；根据所述第二激光点云数据，获得标注出三维车道线的激光点云标注结果。
[0007]在一种可能的实现方式中，所述根据所述第二激光点云数据，获得标注出三维车道线的激光点云标注结果，包括：对所述第二激光点云数据中对应不同所述图像数据的所述颜色信息和所述标签信息进行融合，获得第一激光点云标注结果，不同的所述图像数据由不同的相机采集；将所述第一激光点云标注结果与历史激光点云标注结果进行拼接，得到第二激光点云标注结果，所述第二激光点云标注结果包括的激光点的数量，大于所述第一激光点云标注结果包括的激光点的数量；消除所述第二激光点云标注结果中不同激光点之间所述标签信息的冲突，获得标注出三维车道线的激光点云标注结果。
[0008]在一种可能的实现方式中，所述对所述第二激光点云数据中对应不同所述图像数据的所述颜色信息和所述标签信息进行融合，获得第一激光点云标注结果，包括：
[0009]针对所述第二激光点云数据中的每个激光点，均执行：
[0010]根据所述第二激光点云数据包括的该激光点对应的多个颜色信息，计算该激光点的颜色均值；
[0011]根据该激光点的颜色均值、及所述第二激光点云数据中该激光点对应的多个颜色信息，分别计算该激光点对应的多个颜色信息的颜色偏差；
[0012]根据该激光点对应的多个颜色偏差，通过如下公式计算该激光点的第一标签：
[0013][0014]用于表征所述第二激光点云数据中第j个激光点的第一标签，(Δr
ij
，Δg
ij
，Δb
ij
)用于表征所述第二激光点云数据中第j个激光点在第i个图像数据中投影点对应的颜色偏差，用于表征所述第二激光点云数据中第j个激光点在第i个图像数据中投影点对应的所述标签信息，N为所述图像数据的数量，j为大于或等于1的正整数，i为大于或等于1且小于或等于N的正整数；
[0015]若所述第二激光点云数据中该激光点对应的标签信息均与所述第一标签相同，则将该激光点的第一标签确定为该激光点的融合后标签；
[0016]若所述第二激光点云数据中存在该激光点对应的至少一个干扰标签信息与所述第一标签不同，则从所述第二激光点云数据中将所述干扰标签信息及相对应的颜色信息删除，并基于所述第二激光点云数据中剩余的与该激光点对应的颜色信息和标签信息，重新计算该激光点的第一标签，直至所述第二激光点云数据中该激光点对应的标签信息均与所述第一标签相同；
[0017]将各激光点的颜色均值和融合后标签加入所述第二激光点云数据，获得所述第一激光点云标注结果。
[0018]在一种可能的实现方式中，所述将所述第一激光点云标注结果与历史激光点云标注结果进行拼接，得到第二激光点云标注结果，包括：根据采集所述第一激光点云数据时车辆的位置姿态矩阵，将所述第一激光点云数据中激光点映射到世界坐标系；根据采集历史激光点云数据时车辆的位置姿态矩阵，将所述历史激光点云数据中激光点映射到世界坐标系；将所述第一激光点云标注结果、所述历史激光点云数据对应的历史激光点云标注结果、所述第一激光点云数据中激光点在所述世界坐标系中的坐标值、及所述历史激光点云数据中激光点在所述世界坐标系中的坐标值进行拼接，获得所述第二激光点云标注结果。
[0019]在一种可能的实现方式中，所述消除所述第二激光点云标注结果中不同激光点之间所述标签信息的冲突，获得标注出三维车道线的激光点云标注结果，包括：
[0020]针对所述第二激光点云标注结果中的任一激光点，确定该激光点对应的邻近点集合，所述邻近点集合包括与该激光点之间欧氏距离小于距离阈值的至少一个激光点；
[0021]若激光点的融合后标签，与该激光点对应的邻近点集合内至少一个激光点的融合后标签不同，则通过如下公式计算第二标签，并将该激光点对应的邻近点集合内各激光点的融合后标签更新为所述第二标签，并重新确定各激光点对应的邻近点集合，直至任一激光点的融合后标签与该激光点对应的邻近点集合内各激光点的融合后标签相同，获得所述激光点云标注结果；
[0022][0023]用于表征所述第二激光点云标注结果中第j个激光点对应的第二标签，K用于表征第j个激光点对应的邻近点集合内激光点的数量，用于表征第j个激光点对应的邻近点集合内第k个激光点的融合后标签，(x
k
，y
k
，z
k
)用于表征第k个激光点对应的邻近点集合内第l个激光点的三维坐标。
[0024]在一种可能的实现方式中，所述方法还包括：获取激光雷达采集到的激光点云数据；对所述激光点云数据依次进行空值剔除、无限值剔除和统计异常值剔除，获得所述第一激光点云数据。
[0025]根据本申请实施例的第二方面，提供了一种车道线标注装置，包括：采集模块，用于获取同步采集的第一激光点云数据和图像数据，所述第一激光点云数据和所述图像数据均包括车道线的信息；标注模块，用于在所述图像数据中标注车道线图像，获得二维车道线语义分割标注结果；投影模块，用于将所述第一激光点云数据投影到所述图像数据，并根据投影结果和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维车道线标注方法，包括：获取同步采集的第一激光点云数据和图像数据，所述第一激光点云数据和所述图像数据均包括车道线的信息；在所述图像数据中标注车道线图像，获得二维车道线语义分割标注结果；将所述第一激光点云数据投影到所述图像数据，并根据投影结果和所述二维车道线语义分割标注结果，获得点云属性信息，所述点云属性信息包括所述第一激光点云数据中至少部分激光点在所述图像数据中的投影点对应的颜色信息和标签信息，所述标签信息用于指示相对应投影点的实体类型；将所述点云属性信息加入到所述第一激光点云数据中，获得第二激光点云数据；根据所述第二激光点云数据，获得标注出三维车道线的激光点云标注结果。2.根据权利要求1所述的方法，其中，所述根据所述第二激光点云数据，获得标注出三维车道线的激光点云标注结果，包括：对所述第二激光点云数据中对应不同所述图像数据的所述颜色信息和所述标签信息进行融合，获得第一激光点云标注结果，不同的所述图像数据由不同的相机采集；将所述第一激光点云标注结果与历史激光点云标注结果进行拼接，得到第二激光点云标注结果，所述第二激光点云标注结果包括的激光点的数量，大于所述第一激光点云标注结果包括的激光点的数量；消除所述第二激光点云标注结果中不同激光点之间所述标签信息的冲突，获得标注出三维车道线的激光点云标注结果。3.根据权利要求2所述的方法，其中，所述对所述第二激光点云数据中对应不同所述图像数据的所述颜色信息和所述标签信息进行融合，获得第一激光点云标注结果，包括：针对所述第二激光点云数据中的每个激光点，均执行：根据所述第二激光点云数据包括的该激光点对应的多个颜色信息，计算该激光点的颜色均值；根据该激光点的颜色均值、及所述第二激光点云数据中该激光点对应的多个颜色信息，分别计算该激光点对应的多个颜色信息的颜色偏差；根据该激光点对应的多个颜色偏差，通过如下公式计算该激光点的第一标签：根据该激光点对应的多个颜色偏差，通过如下公式计算该激光点的第一标签：用于表征所述第二激光点云数据中第j个激光点的第一标签，(Δr
ij
，Δg
ij
，Δb
ij
)用于表征所述第二激光点云数据中第j个激光点在第i个图像数据中投影点对应的颜色偏差，用于表征所述第二激光点云数据中第j个激光点在第i个图像数据中投影点对应的所述标签信息，N为所述图像数据的数量，j为大于或等于1的正整数，i为大于或等于1且小于或等于N的正整数；若所述第二激光点云数据中该激光点对应的标签信息均与所述第一标签相同，则将该激光点的第一标签确定为该激光点的融合后标签；若所述第二激光点云数据中存在该激光点对应的至少一个干扰标签信息与所述第一标签不同，则从所述第二激光点云数据中将所述干扰标签信息及相对应的颜色信息删除，
并基于所述第二激光点云数据中剩余的与该激光点对应的颜色信息和标签信息，重新计算该激光点的第一标签，直至所述第二激光点云数据中该激光点对应的标签信息均与所述第一标签相同；将各激光点的颜色均值和融合后标签加入所述第二激光点云数据，获得所述第一激光点云标注结果。4.根据权利要求2所述的方法，其中，所述将所述第一激光点云标注结果与历史激光点云标注结果进行拼接，得到第二激光点云标注结果，包括：根据采集所述第一激光点云数据时车辆的位置姿态矩阵，将所述第一激光点云数...

【专利技术属性】
技术研发人员：周玉臣，刘建伟，张松，别晓芳，王梦杰，
申请(专利权)人：零束科技有限公司，
类型：发明
国别省市：