三维标注、车道线检测方法及装置、设备及存储介质制造方法及图纸

本公开提供了一种三维标注、车道线检测方法及装置、设备及存储介质，其中，该方法包括：获取同一目标场景下分别采集的目标图像和目标点云数据；基于目标点云数据中的点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息；基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果，确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果，从而便于实现三维车道线检测，提升了检测的准确度。提升了检测的准确度。提升了检测的准确度。

【技术实现步骤摘要】
三维标注、车道线检测方法及装置、设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种三维标注、车道线检测方法及装置、设备及存储介质。

技术介绍

[0002]车道线检测是自动驾驶系统中一个重要的感知任务，通过车道线检测可以帮助完成众多上层应用。例如，可以有助于车道偏离警示(Lane Departure Warning，LDW)、车道保持辅助(Lane Keep Assist，LKA)等系统，亦可辅助前向碰撞预警(Forward Collision Warning，FCW)判断路径上最近的车辆，以帮助进行车辆路径规划。
[0003]相关技术中提供了一种二维车道线检测方法，也即，利用二维标注下的车道线训练车道线检测网络，以利用训练好的车道线检测网络实现二维车道线检测。
[0004]然而，二维车道线检测任务具有一定的局限性，例如，在具有坡度的道路上所进行的二维车道线检测将出现不可避免的误差，检测准确度较低。

技术实现思路

[0005]本公开实施例至少提供一种三维标注、车道线检测方法及装置、设备及存储介质。
[0006]第一方面，本公开实施例提供了一种三维标注方法，包括：
[0007]获取同一目标场景下分别采集的目标图像和目标点云数据；
[0008]基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；
[0009]基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。
[0010]采用上述三维标注方法，在获取到同一目标场景下分别采集的目标图像和目标点云数据的情况下，可以基于点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息，进而基于二维坐标信息以及有关目标车道线的二维标注结果，确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果，从而便于实现三维车道线检测，提升了检测的准确度。
[0011]在一种可能的实施方式中，所述确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息，包括：
[0012]基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将所述目标点云数据包括的每个点云点投影到所述目标图像上，确定所述点云点在所述目标图像中投影得到的投影点，以及，
[0013]基于所述投影点所对应点云点的三维坐标信息，确定所述投影点的二维坐标信息。
[0014]这里，基于坐标系之间的转换关系可以实现三维点云点至二维投影点之间的映
射，进而确定投影点的二维坐标信息，便于实现后续的三维标注。
[0015]在一种可能的实施方式中，所述二维标注结果包括二维标注框，所述基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果，包括：
[0016]基于所述投影点的二维坐标信息，从所述投影点中筛选出落入所述二维标注框的目标投影点；
[0017]基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定所述目标车道线的三维标注结果。
[0018]这里，基于投影点的二维坐标信息以及二维标注框的二维坐标范围，可以确定落入二维标注框的目标投影点，继而可以通过目标投影点所对应的目标点云点的三维坐标信息，确定目标车道线的三维标注结果，从而实现了车道线的三维标注，操作简单。
[0019]在一种可能的实施方式中，所述目标点云数据包括多帧，所述将所述目标点云数据投影至所述目标图像，包括：
[0020]对多帧所述目标点云数据进行融合，得到融合目标点云数据；
[0021]将所述融合目标点云数据投影至所述目标图像。
[0022]这里，为了实现更为稠密的点云标注，这里可以先对多帧目标点云数据进行融合，而后再将融合目标点云数据投影至目标图像。
[0023]在一种可能的实施方式中，多帧所述目标点云数据通过设置在目标车辆上的雷达设备在预设时长内采集得到，所述对多帧所述目标点云数据进行融合，得到融合目标点云数据，包括：
[0024]获取所述预设时长内每一个采集时刻下所述目标车辆的位姿信息；
[0025]基于各个所述采集时刻下所述目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到所述预设时长中的融合目标点云数据。
[0026]在一种可能的实施方式中，所述二维标注结果包括二维标注框，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：
[0027]针对多个融合目标点云点中的每个所述融合目标点云点，滤除投影至所述目标图像的投影点不落入所述二维标注框的融合目标点云点。
[0028]这里，为了尽可能的提升标注结果的准确性，在进行点云数据融合之后，可以基于二维标注框进行目标点云点过滤。
[0029]在一种可能的实施方式中，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：
[0030]获取多个所述融合目标点云点所在三维坐标系包括的至少一个二维平面；
[0031]针对多个融合目标点云点中的每个所述融合目标点云点，将所述融合目标点云点投影至所述二维平面，确定投影后的融合目标投影点的二维坐标信息是否符合预设阈值，并在确定不符合预设阈值的情况下，过滤掉所述融合目标点云点。
[0032]这里，为了尽可能的提升标注结果的准确性，在进行点云数据融合之后，可以基于
二维平面投影结果进行目标点云点过滤。
[0033]在一种可能的实施方式中，所述二维平面包括以下平面中的一种：
[0034]以所述目标车辆行驶的第一方向为横向坐标轴，以平行于地面、且垂直于所述第一方向的第二方向为纵向坐标轴所构成的第一二维平面；
[0035]以所述目标车辆行驶的第一方向为横向坐标轴，以垂直于地面、且垂直于所述第一方向的第三方向为竖向坐标轴所构成的第二二维平面。
[0036]在一种可能的实施方式中，在得到融合目标点云数据之后，还包括：
[0037]在滤除后的融合目标点云点投影至所述目标图像后得到的投影点对应投影区域不连通的情况下，对所述滤除后的融合目标点云点进行插值运算，得到用于表征完整车道线的插值后的融合目标点云点。
[0038]第二方面，本公开实施例还提供了一种车道线检测方法，包括：
[0039]基于第一方面及其各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维标注方法，其特征在于，包括：获取同一目标场景下分别采集的目标图像和目标点云数据；基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。2.根据权利要求1所述的方法，其特征在于，所述确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息，包括：基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将所述目标点云数据包括的每个点云点投影到所述目标图像上，确定所述点云点在所述目标图像中投影得到的投影点，以及，基于所述投影点所对应点云点的三维坐标信息，确定所述投影点的二维坐标信息。3.根据权利要求1或2所述的方法，其特征在于，所述二维标注结果包括二维标注框，所述基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果，包括：基于所述投影点的二维坐标信息，从所述投影点中筛选出落入所述二维标注框的目标投影点；基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定所述目标车道线的三维标注结果。4.根据权利要求1至3任一所述的方法，其特征在于，所述目标点云数据包括多帧，所述将所述目标点云数据投影至所述目标图像，包括：对多帧所述目标点云数据进行融合，得到融合目标点云数据；将所述融合目标点云数据投影至所述目标图像。5.根据权利要求4所述的方法，其特征在于，多帧所述目标点云数据通过设置在目标车辆上的雷达设备在预设时长内采集得到，所述对多帧所述目标点云数据进行融合，得到融合目标点云数据，包括：获取所述预设时长内每一个采集时刻下所述目标车辆的位姿信息；基于各个所述采集时刻下所述目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到所述预设时长中的融合目标点云数据。6.根据权利要求5所述的方法，其特征在于，所述二维标注结果包括二维标注框，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：针对多个融合目标点云点中的每个所述融合目标点云点，滤除投影至所述目标图像的投影点不落入所述二维标注框的融合目标点云点。7.根据权利要求5或6所述的方法，其特征在于，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；
在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：获取多个所述融合目标点云点所在三维坐标系包括的至少一个二维平面；针对多个融合目标点云点中的每个所述融合目标点云点，将所述融合目标点云点投...

【专利技术属性】
技术研发人员：李阳，李弘扬，王诚，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：