一种面向道路场景的三维语义地图构建和存储方法技术

本发明专利技术公开了一种面向道路场景的三维语义地图构建和存储方法，步骤如下：传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。本发明专利技术利用摄像机进行三维语义构图，包括多种道路目标场景分布；利用车载系统快速构建道路三维语义信息，满足实时存储的需求；利用地图压缩技术，与原有大体量的三维地图存储需求相比，只占用较小存储空间。

A Method of Building and Storing 3D Semantic Map for Road Scene

The invention discloses a method for constructing and storing a three-dimensional semantic map for road scenes. The steps are as follows: the sensor collects road condition video data in the process of moving, uses synchronous positioning and composition technology to obtain key frames, calculates pose and inverse depth maps, and constructs a semi-dense point cloud map; uses semantic segmentation model to extract semantic markers from the acquired key frames; and uses two methods to extract semantic markers from the acquired key frames. Conversion of three-dimensional spatial semantic markup, the continuous key frame semantic markup data is fused, and the three-dimensional point cloud semantic markup is modified. According to the acquired three-dimensional semantic point cloud map, the three-dimensional semantic point cloud data is represented as a three-dimensional map based on occupancy probability and semantic information. The invention uses a camera to carry out three-dimensional semantic composition, including a variety of road target scene distribution; uses a vehicle-mounted system to quickly construct three-dimensional road semantic information to meet the needs of real-time storage; and uses map compression technology to occupy less storage space compared with the original large volume of three-dimensional map storage requirements.

【技术实现步骤摘要】
一种面向道路场景的三维语义地图构建和存储方法
本专利技术涉及道路信息采集和三维建模方法在车辆
的应用，具体涉及一种面向道路场景的快速三维语义构图方法和高效存储方法。
技术介绍
随着信息传感、计算机视觉技术的发展，通过采集道路场景数据进行地图构建，并用以辅助驾驶和无人驾驶等应用已成为日渐重要的研究和开发需求。由于摄像机的造价相对较低且安装方便，以摄像机为核心传感器的车载系统有着广泛的应用。但是在道路三维地图构建方面，如何利用摄像机进行地图构建依然相对较少，并且由于构建三维地图往往需要大量计算以及存储空间，对于一般的车载系统来说负荷过大。另一方面，区别于激光传感器获得的点云数据，摄像机数据能够捕捉到更丰富的纹理信息，实现对道路场景的理解，包括可行使路面区域的分割，道路关键标志的识别，楼房树木等静态目标的识别等，为构建更为丰富表征的三维语义地图提供了可能。
技术实现思路
专利技术目的：为了解决现有技术中存在的问题，本专利技术的目的是提供一种利用车载摄像机构建三维语义地图，以实现为辅助驾驶和无人驾驶系统提供参考地图信息的面向道路场景的快速三维语义地图构建和高效存储方法。技术方案：一种面向道本文档来自技高网...

【技术保护点】
1.一种面向道路场景的三维语义地图构建和存储方法，其特征在于，包括以下步骤：(1)使用传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；(2)根据位姿信息、半密集点云地图数据和二维图像语义数据，利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；(3)根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。

【技术特征摘要】
1.一种面向道路场景的三维语义地图构建和存储方法，其特征在于，包括以下步骤：(1)使用传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；(2)根据位姿信息、半密集点云地图数据和二维图像语义数据，利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；(3)根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。2.根据权利要求1所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，传感器为单目摄像头和/或双目摄像头。3.根据权利要求1或2所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，实现语义分割的模型为基于可分离卷积核和特征金字塔组合的深度卷积神经网络。4.根据权利要求1或2所述的面向道路场景的三维语义地图构建和存储方法...

【专利技术属性】
技术研发人员：李煊鹏，敖焕轩，李宇杰，薛启凡，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32