路面要素的绘制图的生成方法、网络的训练方法及装置制造方法及图纸

公开了一种路面要素的绘制图的生成方法、网络的训练方法及装置，该生成方法包括：基于设置于可移动设备的传感器设备采集的数据，生成包括路面要素的鸟瞰图像；对鸟瞰图像进行特征提取，得到第一特征图；基于第一特征图，经由图像分割网络，生成路面要素的二值分割图；基于第一特征图，经由热力图生成网络，生成路面要素的初始关键点概率热力图；基于二值分割图和初始关键点概率热力图，确定第一特征图中路面要素的关键点位置；基于关键点位置和第一特征图，经由轮廓点预测网络，迭代地进行路面要素的轮廓点的预测，得到预测位置序列；基于关键点位置和预测位置序列，生成路面要素的目标绘制图。本公开可提升路面要素的绘制图的精度。度。度。

【技术实现步骤摘要】
路面要素的绘制图的生成方法、网络的训练方法及装置


[0001]本公开涉及驾驶技术，尤其是一种路面要素的绘制图的生成方法、网络的训练方法及装置。

技术介绍

[0002]使用自动驾驶技术时，往往需要利用车道线等路面要素的绘制图。目前，车道线等路面要素的绘制图采用如下方式得到：对设置于车辆的相机采集的图像进行粗略的语义分割，然后对语义分割结果进行后处理，以生成路面要素的绘制图。

技术实现思路

[0003]采用上述方式生成路面要素的绘制图，由于语义分割过程误差较大，分割精度低，导致最终生成的绘制图的精度较低。
[0004]为了解决上述技术问题，本公开提供了一种路面要素的绘制图的生成方法、网络的训练方法及装置，以针对路面要素，生成高精度的绘制图，保证自动驾驶的可靠性。
[0005]根据本公开实施例的一个方面，提供了一种路面要素的绘制图的生成方法，包括：
[0006]基于设置于可移动设备的传感器设备采集的数据，生成包括路面要素的鸟瞰图像；
[0007]对所述鸟瞰图像进行特征提取，得到第一特征图；
[0008]基于所述第一特征图，经由图像分割网络，生成所述路面要素的二值分割图；
[0009]基于所述第一特征图，经由热力图生成网络，生成所述路面要素的初始关键点概率热力图；
[0010]基于所述二值分割图和所述初始关键点概率热力图，确定所述第一特征图中所述路面要素的关键点位置；
[0011]基于所述关键点位置和所述第一特征图，经由轮廓点预测网络，迭代地进行所述路面要素的轮廓点的预测，得到预测位置序列；
[0012]基于所述关键点位置和所述预测位置序列，生成所述路面要素的目标绘制图。
[0013]根据本公开实施例的另一个方面，提供了一种用于辅助生成路面要素的绘制图的网络的训练方法，包括：
[0014]获取包括路面要素的训练鸟瞰图像；
[0015]对所述训练鸟瞰图像进行特征提取，得到训练特征图；
[0016]基于所述训练特征图，经由待训练图像分割网络，生成所述路面要素的训练二值分割图；
[0017]基于所述训练特征图，经由待训练热力图生成网络，生成所述路面要素的训练关键点概率热力图；
[0018]基于所述训练二值分割图和所述训练关键点概率热力图，确定所述训练特征图中所述路面要素的训练关键点位置；
[0019]基于所述训练关键点位置和所述训练特征图，经由待训练轮廓点预测网络，迭代地进行所述路面要素的训练轮廓点的预测，得到训练预测位置序列；
[0020]基于所述训练关键点位置和所述训练预测位置序列，生成所述路面要素的训练绘制图；
[0021]对所述训练鸟瞰图像进行信息标注，得到所述路面要素的真实绘制图；
[0022]基于所述训练绘制图与所述真实绘制图之间的误差，对所述待训练图像分割网络、所述待训练热力图生成网络和所述待训练轮廓点预测网络进行训练，得到图像分割网络、热力图生成网络和轮廓点预测网络。
[0023]根据本公开实施例的再一个方面，提供了一种路面要素的绘制图的生成装置，包括：
[0024]第一生成模块，用于基于设置于可移动设备的传感器设备采集的数据，生成包括路面要素的鸟瞰图像；
[0025]第一特征提取模块，用于对所述第一生成模块生成的所述鸟瞰图像进行特征提取，得到第一特征图；
[0026]第二生成模块，用于基于所述第一特征提取模块得到的所述第一特征图，经由图像分割网络，生成所述路面要素的二值分割图；
[0027]第三生成模块，用于基于所述第一特征提取模块得到的所述第一特征图，经由热力图生成网络，生成所述路面要素的初始关键点概率热力图；
[0028]第一确定模块，用于基于所述第二生成模块生成的所述二值分割图和所述第三生成模块生成的所述初始关键点概率热力图，确定所述第一特征提取模块得到的所述第一特征图中所述路面要素的关键点位置；
[0029]第一迭代预测模块，用于基于所述第一确定模块确定的所述关键点位置和所述第一特征提取模块得到的所述第一特征图，经由轮廓点预测网络，迭代地进行所述路面要素的轮廓点的预测，得到预测位置序列；
[0030]第四生成模块，用于基于所述第一确定模块确定的所述关键点位置和所述第一迭代预测模块得到的所述预测位置序列，生成所述路面要素的目标绘制图。
[0031]根据本公开实施例的又一个方面，提供了一种用于辅助生成路面要素的绘制图的网络的训练装置，包括：
[0032]获取模块，用于获取包括路面要素的训练鸟瞰图像；
[0033]第二特征提取模块，用于对所述获取模块获取的所述训练鸟瞰图像进行特征提取，得到训练特征图；
[0034]第五生成模块，用于基于所述第二特征提取模块得到的所述训练特征图，经由待训练图像分割网络，生成所述路面要素的训练二值分割图；
[0035]第六生成模块，用于基于所述第二特征提取模块得到的所述训练特征图，经由待训练热力图生成网络，生成所述路面要素的训练关键点概率热力图；
[0036]第三确定模块，用于基于所述第五生成模块生成的所述训练二值分割图和所述第六生成模块生成的所述训练关键点概率热力图，确定所述第二特征提取模块得到的所述训练特征图中所述路面要素的训练关键点位置；
[0037]第二迭代预测模块，用于基于所述第三确定模块确定的所述训练关键点位置和所
述第二特征提取模块得到的所述训练特征图，经由待训练轮廓点预测网络，迭代地进行所述路面要素的训练轮廓点的预测，得到训练预测位置序列；
[0038]第七生成模块，用于基于所述第三确定模块确定的所述训练关键点位置和所述第二迭代预测模块得到的所述训练预测位置序列，生成所述路面要素的训练绘制图；
[0039]信息标注模块，用于对所述第五生成模块生成的所述训练鸟瞰图像进行信息标注，得到所述路面要素的真实绘制图；
[0040]训练模块，用于基于所述第七生成模块得到的所述训练绘制图与所述信息标注模块得到的所述真实绘制图之间的误差，对所述待训练图像分割网络、所述待训练热力图生成网络和所述待训练轮廓点预测网络进行训练，得到图像分割网络、热力图生成网络和轮廓点预测网络。
[0041]根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述路面要素的绘制图的生成方法或者上述用于辅助生成路面要素的绘制图的网络的训练方法。
[0042]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0043]处理器；
[0044]用于存储所述处理器可执行指令的存储器；
[0045]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述路面要素的绘制图的生成方法或者上述用于辅助生成路面要素的绘制图的网络的训练方法。
[0046]根据本公开实施例的又一个方面，提供了一种计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路面要素的绘制图的生成方法，包括：基于设置于可移动设备的传感器设备采集的数据，生成包括路面要素的鸟瞰图像；对所述鸟瞰图像进行特征提取，得到第一特征图；基于所述第一特征图，经由图像分割网络，生成所述路面要素的二值分割图；基于所述第一特征图，经由热力图生成网络，生成所述路面要素的初始关键点概率热力图；基于所述二值分割图和所述初始关键点概率热力图，确定所述第一特征图中所述路面要素的关键点位置；基于所述关键点位置和所述第一特征图，经由轮廓点预测网络，迭代地进行所述路面要素的轮廓点的预测，得到预测位置序列；基于所述关键点位置和所述预测位置序列，生成所述路面要素的目标绘制图。2.根据权利要求1所述的方法，其中，所述基于所述关键点位置和所述第一特征图，经由轮廓点预测网络，迭代地进行所述路面要素的轮廓点的预测，得到预测位置序列，包括：将所述第一特征图中所述关键点位置对应的像素点作为当前轮廓点；基于所述当前轮廓点的点位置和所述第一特征图，确定所述当前轮廓点对应的局部特征图；基于所述当前轮廓点的点位置、上一轮廓点的点位置，以及所述当前轮廓点对应的局部特征图，经由轮廓点预测网络进行预测，得到下一轮廓点的点位置；响应于所述路面要素的轮廓点的预测处理不满足预设迭代结束条件，将所述下一轮廓点作为新的所述当前轮廓点，并返回执行所述基于所述当前轮廓点的点位置和所述第一特征图，确定所述当前轮廓点对应的局部特征图的步骤；响应于所述路面要素的轮廓点的预测处理满足预设迭代结束条件，基于已预测出的每个轮廓点各自的点位置，确定预测位置序列。3.根据权利要求2所述的方法，其中，所述基于所述关键点位置和所述第一特征图，经由轮廓点预测网络，迭代地进行所述路面要素的轮廓点的预测，还包括：基于所述当前轮廓点的属性值、上一轮廓点的属性值，以及所述当前轮廓点对应的局部特征图，经由所述轮廓点预测网络进行预测，得到下一轮廓点的属性值；其中，任一轮廓点的属性值用于表征该轮廓点是否属于迭代终止点；所述方法还包括：基于所述下一轮廓点的属性值，确定所述路面要素的轮廓点的预测处理是否满足预设迭代结束条件。4.根据权利要求2所述的方法，其中，所述预测位置序列包括：预测出的多个轮廓点各自的点位置；所述基于所述关键点位置和所述预测位置序列，生成所述路面要素的目标绘制图，包括：基于所述关键点位置，对所述路面要素的初始化绘制图进行更新；响应于在迭代预测过程中每得到所述预测位置序列中的一个点位置，基于所述预测位置序列中的该点位置，对所述初始化绘制图进行更新；
响应于基于所述预测位置序列中的每个点位置，均对所述初始化绘制图进行了更新，基于当前的所述初始化绘制图，确定所述路面要素的目标绘制图。5.根据权利要求4所述的方法，其中，所述基于所述当前轮廓点的点位置和所述第一特征图，确定所述当前轮廓点对应的局部特征图，包括：将所述第一特征图与当前的所述初始化绘制图沿通道方向进行叠加，得到第二特征图；基于所述当前轮廓点的点位置和预设特征图尺寸，从所述第二特征图中裁剪所述当前轮廓点对应的局部特征图。6.根据权利要求2所述的方法，其中，所述基于所述当前轮廓点的点位置、上一轮廓点的点位置，以及所述当前轮廓点对应的局部特征图，经由轮廓点预测网络进行预测，得到下一轮廓点的点位置，包括：基于所述当前轮廓点在所述第一特征图对应的全局坐标系下的点位置，上一轮廓点在所述全局坐标下的点位置，以及所述当前轮廓点对应的局部特征图，经由轮廓点预测网络进行预测，得到下一轮廓点在所述当前轮廓点对应的局部特征图对应的局部坐标系下的点位置；所述方法还包括：将所述下一轮廓点在所述局部坐标系下的点位置转换至所述全局坐标系下，并将所述下一轮廓点作为新的所述当前轮廓点，基于转换得到的点位置，确定所述当前轮廓点在所述全局坐标系下的点位置。7.根据权利要求2所述的方法，还包括：在迭代预测过程中，统计迭代时长和迭代步长；将所述迭代时长与预设时长进行比较，得到第一比较结果；将所述迭代步长与预设步长进行比较，得到第二比较结果；基于已预测出的每个轮廓点各自的点位置，确定预测点分布规律；确定所述预测点分布规律与预设分布规律的匹配度；基于所述第一比较结果、所述第二比较结果和所述匹配度三者中的至少一者，确定所述路面要素的轮廓点的预测处理是否满足预设迭代结束条件。8.根据权利要求1
‑
7中任一所述的方法，其中，所述基于所述二值分割图和所述初始关键点概率热力图，确定所述第一特征图中所述路面要素的关键点位置，包括：将所述初始关键点概率热力图作为当前待叠加对象；将所述二值分割图与所述当前待叠加对象沿通道方向进行叠加，得到第三特征图；基于所述第三特征图，经由卷积网络，生成所述路面要素的优化关键点概率热力图；响应于所述优化关键点概率热力图满足预设优化结束条件，基于所述优化关键点概率热力图，确定所述路面要素的关键点位置；响应于所述优化关键点概率热力图不满足预设优化结束条件，将所述优化关键点概率热力图作为新的所述当前待叠加对象，并返回执行所述将所述二值分割图与所述当前待叠加对象沿通道方向进行叠加，得到第三特征图的步骤。9.根据权利要求1
‑
7中任一所述的方法，其中，所述关键点位置的数量为多个；所述基于所述关键点位置和所述预测位置序列，生成所述路面要素的目标绘制图，包
括：针对每个所述关键点位置和该关键点位置对应的所述预测位置序列，确定预测轮廓线，得到多个所述关键点位置对应的多条所述预测轮廓线；将多条所述预测轮廓线划分为至少一个线条组；其中，位于相同所述线条组中的各条所述预测轮廓线对应所述路面要素的相同真实轮廓线；针对每个所述线条组，基于该线条组中的各条所述预测轮廓线，确定该线条组对应的目标轮廓线；基于至少一个所述线条组各自对应的所述目标轮廓线，生成所述路面要素的目标绘制图。10.根据权利要求1
‑
7中任一所述的方法，其中，所述路面要素包括：存在拓扑结构变化的要素；所述关键点位置的数量为多个；多个所述关键点位置包括：端点位置和拓扑结构变化点位置，或者，多个所述关键点位置包括：拓扑结构变化点位置。11.一种用于辅助生成路面要素的绘制图的网络的训练方法，包括：获取包括路面要素的训练鸟瞰图像；对所述训练鸟瞰图像进行特征提取，得到训练特征图；基于所述训练特征图，经由待训练图像分割网络，生成所述路面要素的训练二值分割图；基于所述训练特征图，经由待训练热力图生成网络，生成所述路面要素的训练关键点概率热力图；基于所述训练二值分割图和所述训练关键点概率热力图，确定所述训练特征图中所述路面要素的训练关键点位置；基于所述训练关键点位置和所述训练特征图，经由待训练轮廓点预测网络，迭代地进行所述路面要素的训练轮廓点的预测，得到训练预测位置序列；基于所述训练关键点位置和所述训练预测位置序列，生成所述路面要素的训练绘制图；对所述训练鸟瞰...

【专利技术属性】
技术研发人员：蒲粤川，隋伟，张骞，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：