三维地图元素生成方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种三维地图元素生成方法、装置、电子设备及存储介质，涉及计算机视觉、高精地图技术领域，尤其涉及三维地图元素的生成领域。具体实现方案为：获取多帧待检测图像中每帧待检测图像的三维地图元素数据；基于多个上述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，其中，上述第一地图元素和第二地图元素为分属于不同帧待检测图像的同一地图元素；基于上述元素关联关系在三维地图中生成三维地图元素，其中，上述三维地图元素至少用于表征上述三维地图中需要标记的标识牌。要标记的标识牌。要标记的标识牌。

【技术实现步骤摘要】
三维地图元素生成方法、装置、设备及存储介质


[0001]本公开涉及计算机视觉、高精地图
，尤其涉及一种三维地图元素生成方法、装置、设备及存储介质。

技术介绍

[0002]随着科技的不断进步发展，高精度地图(也称高精地图)的使用越来越广泛。高精地图是具有精度高、数据维度广的电子地图，通常服务于自动驾驶技术中，为自动驾驶提供结构化的道路数据，供自动驾驶过程中参考；对自动驾驶定位、决策控制等任务都能起来至关重要的作用。
[0003]但是，传统高精度地图技术的采集设备包括以下几个比较核心的部件：激光镭达、惯导系统IMU(Inertial Measurement Unit)、全球导航卫星系统GNSS(Global Navigation Satellite System)、高精度轮速仪以及相机等，导致基于激光雷达的高精地图制作方式成本高，采集更新周期长的缺点。
[0004]针对上述的问题，目前尚未提出有效的解决方案。
[0005]公开内容
[0006]本公开提供了一种用于三维地图元素的生成的方法、装置、设备及存储介质。
[0007]根据本公开的一方面，提供了一种三维地图元素生成方法，包括：获取多帧待检测图像中每帧待检测图像的三维地图元素数据；基于多个上述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，其中，上述第一地图元素和第二地图元素为分属于不同帧待检测图像的同一地图元素；基于上述元素关联关系在三维地图中生成三维地图元素，其中，上述三维地图元素至少用于表征上述三维地图中需要标记的标识牌。
[0008]可选的，上述获取多帧待检测图像中每帧待检测图像的三维地图元素数据，包括：获取每帧上述待检测图像的图像数据，其中，上述图像数据中至少包含：图像时间戳，地图元素的二维坐标信息、地图元素朝向；确定每帧上述待检测图像对应的二维检测框；采用上述二维检测框对上述图像数据进行检测处理，得到上述三维地图元素数据，其中，上述三维地图元素数据至少包含以下自由度：地图元素中心点的三维坐标信息、地图元素朝向和地图元素长度。
[0009]可选的，上述基于多个上述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，包括：基于多个上述三维地图元素数据，确定多帧上述待检测图像中包含上述第一地图元素的当前帧图像，以及包含上述第二地图元素的关联帧图像；依据上述当前帧图像和上述关联帧图像，建立上述第一地图元素和上述第二地图元素之间的元素关联关系。
[0010]可选的，上述依据上述当前帧图像和上述关联帧图像，建立上述第一地图元素和上述第二地图元素之间的元素关联关系，包括：获取上述当前帧图像的第一位姿和上述关联帧图像的第二位姿；确定上述第一位姿与上述第二位姿之间的极线约束关系；确定上述第一地图元素在上述当前帧图像中的第一位置，以及上述第二地图元素在上述关联帧图像
中的第二位置；基于上述极线约束关系、上述第一位置和上述第二位置，确定上述第一地图元素与上述第二地图元素之间的元素关联关系。
[0011]可选的，上述依据上述当前帧图像和上述关联帧图像，建立上述第一地图元素和上述第二地图元素之间的元素关联关系，包括：获取上述当前帧图像与上述关联帧图像的第一匹配矩阵，其中，上述第一匹配矩阵用于表征上述当前帧图像与上述关联帧图像中处于不同位置的同一地图元素之间的相似程度；计算上述当前帧图像中的地图元素中心点在上述关联帧图像上的极线，以及上述关联帧图像中的各个地图元素至上述极线的第一相对距离；依据上述第一匹配矩阵和上述第一相对距离，建立上述第一地图元素和上述第二地图元素之间的元素关联关系。
[0012]可选的，上述基于多个上述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，包括：基于多个上述三维地图元素数据，确定多帧上述待检测图像中包含上述第一地图元素的当前帧图像，以及包含上述第二地图元素的二维地图；依据上述当前帧图像和上述二维地图，建立上述第一地图元素和上述第二地图元素之间的元素关联关系。
[0013]可选的，上述依据上述当前帧图像和上述二维地图，建立上述第一地图元素和上述第二地图元素之间的元素关联关系，包括：获取上述当前帧图像与上述二维地图的第二匹配矩阵，其中，上述第二匹配矩阵用于表征上述当前帧图像与上述二维地图中处于不同位置的同一地图元素之间的相似程度；将上述第一地图元素投影至上述二维地图上，并计算上述第一地图元素与上述第二地图元素的地图元素中心点的第二相对距离；依据上述第二匹配矩阵和上述第二相对距离，建立上述第一地图元素和上述第二地图元素之间的元素关联关系。
[0014]可选的，上述基于上述元素关联关系在三维地图中生成三维地图元素，包括：利用多帧观测估计算法，计算上述三维地图元素的地图元素中心点的三维坐标信息；依据上述三维坐标信息和上述三维地图元素在多帧上述待检测图像中的二维元素信息，得到三维元素信息；根据多帧上述待检测图像的偏航角度均值的相反数，确定上述三维地图元素的初始朝向；基于上述三维元素信息、上述初始朝向和上述元素关联关系，在上述三维地图中生成上述三维地图元素。
[0015]可选的，上述方法还包括：对多个上述三维地图元素数据进行元素优化处理，得到优化处理后的三维地图元素数据，其中，上述元素优化处理至少包括：基于地图元素朝向约束的初始朝向优化、基于三维地图元素重投影误差的投影优化。
[0016]根据本公开的另一方面，提供了一种三维地图元素的生成装置，包括：第一获取模块，用于获取多帧待检测图像中每帧待检测图像的三维地图元素数据；第二获取模块，用于基于多个上述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，其中，上述第一地图元素和第二地图元素为分属于不同帧待检测图像的同一地图元素；生成模块，用于基于上述元素关联关系在三维地图中生成三维地图元素，其中，上述三维地图元素至少用于表征上述三维地图中需要标记的标识牌。
[0017]可选的，上述第一获取模块，包括：获取单元，用于获取每帧上述待检测图像的图像数据，其中，上述图像数据中至少包含：图像时间戳，地图元素的二维坐标信息、地图元素朝向；第一确定单元，用于确定每帧上述待检测图像对应的二维检测框；检测单元，用于采
用上述二维检测框对上述图像数据进行检测处理，得到上述三维地图元素数据，其中，上述三维地图元素数据至少包含以下自由度：地图元素中心点的三维坐标信息、地图元素朝向和地图元素长度。
[0018]可选的，上述第二获取模块，包括：第二确定单元，用于基于多个上述三维地图元素数据，确定多帧上述待检测图像中包含上述第一地图元素的当前帧图像，以及包含上述第二地图元素的关联帧图像；处理单元，用于依据上述当前帧图像和上述关联帧图像，建立上述第一地图元素和上述第二地图元素之间的元素关联关系。
[0019]可选的，上述处理单元，包括：第一获取子单元，用于获取上述当前帧图像的第一位姿和上述关联帧图像的第二位姿；第一确定子单元，用于确定上述第一位姿与上述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维地图元素生成方法，包括：获取多帧待检测图像中每帧待检测图像的三维地图元素数据；基于多个所述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，其中，所述第一地图元素和第二地图元素为分属于不同帧待检测图像的同一地图元素；基于所述元素关联关系在三维地图中生成三维地图元素，其中，所述三维地图元素至少用于表征所述三维地图中需要标记的标识牌。2.根据权利要求1所述的方法，其中，所述获取多帧待检测图像中每帧待检测图像的三维地图元素数据，包括：获取每帧所述待检测图像的图像数据，其中，所述图像数据中至少包含：图像时间戳，地图元素的二维坐标信息、地图元素朝向；确定每帧所述待检测图像对应的二维检测框；采用所述二维检测框对所述图像数据进行检测处理，得到所述三维地图元素数据，其中，所述三维地图元素数据至少包含以下自由度：地图元素中心点的三维坐标信息、地图元素朝向和地图元素长度。3.根据权利要求1所述的方法，其中，所述基于多个所述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，包括：基于多个所述三维地图元素数据，确定多帧所述待检测图像中包含所述第一地图元素的当前帧图像，以及包含所述第二地图元素的关联帧图像；依据所述当前帧图像和所述关联帧图像，建立所述第一地图元素和所述第二地图元素之间的元素关联关系。4.根据权利要求3所述的方法，其中，所述依据所述当前帧图像和所述关联帧图像，建立所述第一地图元素和所述第二地图元素之间的元素关联关系，包括：获取所述当前帧图像的第一位姿和所述关联帧图像的第二位姿；确定所述第一位姿与所述第二位姿之间的极线约束关系；确定所述第一地图元素在所述当前帧图像中的第一位置，以及所述第二地图元素在所述关联帧图像中的第二位置；基于所述极线约束关系、所述第一位置和所述第二位置，确定所述第一地图元素与所述第二地图元素之间的元素关联关系。5.根据权利要求3所述的方法，其中，所述依据所述当前帧图像和所述关联帧图像，建立所述第一地图元素和所述第二地图元素之间的元素关联关系，包括：获取所述当前帧图像与所述关联帧图像的第一匹配矩阵，其中，所述第一匹配矩阵用于表征所述当前帧图像与所述关联帧图像中处于不同位置的同一地图元素之间的相似程度；计算所述当前帧图像中的地图元素中心点在所述关联帧图像上的极线，以及所述关联帧图像中的各个地图元素至所述极线的第一相对距离；依据所述第一匹配矩阵和所述第一相对距离，建立所述第一地图元素和所述第二地图元素之间的元素关联关系。6.根据权利要求1所述的方法，其中，所述基于多个所述三维地图元素数据，获取第一
地图元素和第二地图元素之间的元素关联关系，包括：基于多个所述三维地图元素数据，确定多帧所述待检测图像中包含所述第一地图元素的当前帧图像，以及包含所述第二地图元素的二维地图；依据所述当前帧图像和所述二维地图，建立所述第一地图元素和所述第二地图元素之间的元素关联关系。7.根据权利要求6所述的方法，其中，所述依据所述当前帧图像和所述二维地图，建立所述第一地图元素和所述第二地图元素之间的元素关联关系，包括：获取所述当前帧图像与所述二维地图的第二匹配矩阵，其中，所述第二匹配矩阵用于表征所述当前帧图像与所述二维地图中处于不同位置的同一地图元素之间的相似程度；将所述第一地图元素投影至所述二维地图上，并计算所述第一地图元素与所述第二地图元素的地图元素中心点的第二相对距离；依据所述第二匹配矩阵和所述第二相对距离，建立所述第一地图元素和所述第二地图元素之间的元素关联关系。8.根据权利要求1所述的方法，其中，所述基于所述元素关联关系在三维地图中生成三维地图元素，包括：利用多帧观测估计算法，计算所述三维地图元素的地图元素中心点的三维坐标信息；依据所述三维坐标信息和所述三维地图元素在多帧所述待检测图像中的二维元素信息，得到三维元素信息；根据多帧所述待检测图像的偏航角度均值的相反数，确定所述三维地图元素的初始朝向；基于所述三维元素信息、所述初始朝向和所述元素关联关系，在所述三维地图中生成所述三维地图元素。9.根据权利要求1所述的方法，其中，所述方法还包括：对多个所述三维地图元素数据进行元素优化处理，得到优化处理后的三维地图元素数据，其中，所述元素优化处理至少包括：基于地图元素朝向约束的初始朝向优化、基于三维地图元素重投影误差的投影优化。10.一种三维地图元素的生成装置，包括：第一获取模块，用于获取多帧待检测图像中每帧待检测图像的三维地图元素数据；第二获取模块，用于基于多个所述三维地图元素数据，获取第一地图元素和第二地图元素之间的元素关联关系，其中，所述第一地图元素和第二地图元素为分属于不同帧待检测图像的同一地图元素；生成模块，用于基于所述元素关联关系...

【专利技术属性】
技术研发人员：张瀚天，周尧，侯深化，何宇喆，彭亮，万国伟，
申请(专利权)人：阿波罗智能技术北京有限公司，
类型：发明
国别省市：