稀疏语义地图的构建方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及无人驾驶地图构建技术领域，公开了一种稀疏语义地图的构建方法、装置、设备及存储介质，用于构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。稀疏语义地图的构建方法包括：获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点；对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓；根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。得到稀疏语义地图。得到稀疏语义地图。

【技术实现步骤摘要】
稀疏语义地图的构建方法、装置、设备及存储介质


[0001]本专利技术涉及无人驾驶地图构建
，尤其涉及一种稀疏语义地图的构建方法、装置、设备及存储介质。

技术介绍

[0002]地图构建是无人驾驶领域发展要解决的核心任务之一。无人驾驶车辆通过相机等传感器获得图像数据，通过深度学习方法对图像数据进行语义分割，通过语义标签区分图像中的物体，生成的带有语义标签的地图，达到图像场景分割与识别的目的。
[0003]现有的图像数据经语义分割后每个像素点都带有语义标签，图像中的物体由一块稠密的语义区域组成，随着地图范围的扩大，这种稠密的语义块将消耗大量的计算资源，构建语义地图的效率低，难以满足无人驾驶车辆对地图时效性的需求，而且，语义分割中存在大量的分割错误，会导致语义地图中存在大量的错误标签。

技术实现思路

[0004]本专利技术提供了一种稀疏语义地图的构建方法、装置、设备及存储介质，用于构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。
[0005]本专利技术第一方面提供了一种稀疏语义地图的构建方法，包括：获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。
[0006]在一种可行的实施方式中，对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，包括：对每帧图像数据进行语义分割，得到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。
[0007]在一种可行的实施方式中，根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图，构建初始语义地图，包括：解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。
[0008]在一种可行的实施方式中，根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标，包括：根据像素坐标、像素深度、预置的相机内
参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据每个语义轮廓点的三维坐标和每帧图像数据对应的车辆位姿信息，将三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。
[0009]在一种可行的实施方式中，根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图，包括：解析三维哈希表，得到多个语义轮廓点的网格索引；根据多个语义轮廓点的网格索引访问世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将体素网格的概率初始化并保存，得到初始概率；将体素网格、体素网格的语义标签和初始概率，输出为初始语义地图。
[0010]在一种可行的实施方式中，根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图，包括：获取后续帧图像数据，后续帧图像数据至少包括第一后续帧图像数据；根据每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至初始语义地图；当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存体素网格的语义标签和初始概率；当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；根据后续帧图像数据进行更新迭代，得到稀疏语义地图。
[0011]在一种可行的实施方式中，在当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格之后，在根据后续帧图像数据进行更新迭代，得到稀疏语义地图之前，还包括：获取初始帧图像数据，初始帧图像数据包括携带第一语义标签的第一语义轮廓点，第一语义轮廓点在初始语义地图中对应第一体素网格；当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图。
[0012]在一种可行的实施方式中，在将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图之后，还包括：根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图。
[0013]在一种可行的实施方式中，根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图，包括：获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；根据预设的自衰减规则遍历第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值时，删除对应的体素网格，并输出第二语义地图。
[0014]本专利技术第二方面提供了一种稀疏语义地图的构建装置，包括：获取模块，用于获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；处理模块，用于对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；初始地图模块，用于根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；更新模块，用于根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。
[0015]在一种可行的实施方式中，处理模块具体用于：对每帧图像数据进行语义分割，得
到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。
[0016]在一种可行的实施方式中，初始地图模块包括：处理单元，用于解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；坐标转换单元，用于根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；计算单元，用于根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；地图生成单元，用于根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种稀疏语义地图的构建方法，其特征在于，所述稀疏语义地图的构建方法包括：获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，所述多帧图像数据包括初始帧图像数据和后续帧图像数据；对所述每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，所述每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；根据所述初始帧图像数据的语义轮廓和所述车辆位姿信息，构建初始语义地图；根据所述后续帧图像数据和所述每帧图像数据对应的车辆位姿信息对所述初始语义地图进行更新，得到稀疏语义地图。2.根据权利要求1所述的稀疏语义地图的构建方法，其特征在于，所述对所述每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，包括：对所述每帧图像数据进行语义分割，得到初始图像数据，所述初始图像数据包括多个像素点和每个像素点携带的语义标签；根据所述语义标签和预置的轮廓提取算法，对所述多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。3.根据权利要求1所述的稀疏语义地图的构建方法，其特征在于，所述根据所述初始帧图像数据的语义轮廓和所述车辆位姿信息，构建初始语义地图，构建初始语义地图，包括：解析所述初始帧图像数据的语义轮廓，得到语义轮廓点信息，所述语义轮廓点信息包括像素坐标、像素深度和语义标签；根据所述像素坐标、所述像素深度和所述每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；根据所述每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；根据所述三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。4.根据权利要求3所述的稀疏语义地图的构建方法，其特征在于，所述根据所述像素坐标、所述像素深度和所述每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标，包括：根据所述像素坐标、所述像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据所述每个语义轮廓点的三维坐标和所述每帧图像数据对应的车辆位姿信息，将所述三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。5.根据权利要求3所述的稀疏语义地图的构建方法，其特征在于，所述根据所述三维哈希表和每个语义轮廓的语义标签，生成初始语义地图，包括：解析所述三维哈希表，得到多个语义轮廓点的网格索引；根据所述多个语义轮廓点的网格索引访问所述世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将所述体素网格的概率初始化并保存，得到初始概率；将所述体素网格、所述体素网格的语义标签和初始概率，输出为初始语义地图。6.根据权利要求1
‑
5任意一项所述的稀疏语义地图的构建方法，其特征在于，所述根据
所述后续帧图像数据和所述每帧图像数据对应的车辆位姿信息对所述初始语义地图进行更新，得到稀疏语义地图，包括：获取所述后续帧图像数据，所述后续帧图像数据至少包括第一后续帧图像数据；根据所述每帧图像数据对应的车辆位姿信息将第一后续...

【专利技术属性】
技术研发人员：钱成龙，韩旭，
申请(专利权)人：文远京行北京科技有限公司，
类型：发明
国别省市：