点云特征提取网络模型训练、点云特征提取方法、装置和无人车制造方法及图纸

本公开提出了一种点云特征提取网络模型训练、点云特征提取方法、装置和无人车，涉及无人车技术领域。其中，点云特征提取网络模型训练方法包括：利用第一特征提取网络模型，对样本点云帧序列进行第一编码，以得到样本点云帧序列中每一帧样本点云的编码特征图；根据相邻多帧样本点云的编码特征图，确定位于相邻多帧样本点云之后的下一帧样本点云的预测特征图；根据位于相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征图，确定损失函数值；根据损失函数值，对第一特征提取网络模型进行训练。通过以上步骤，实现了点云特征提取网络模型的自监督学习，不仅减少了数据标注的成本，而且提升了训练得到的特征提取模型的性能。性能。性能。

【技术实现步骤摘要】
点云特征提取网络模型训练、点云特征提取方法、装置和无人车


[0001]本公开涉及计算机视觉
，尤其涉及无人驾驶领域，特别涉及一种点云特征提取网络模型训练、点云特征提取方法、装置和无人车。

技术介绍

[0002]目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输极大地提高了生产生活的便捷性，节约了人力成本。
[0003]在自动驾驶任务中，为确保运行的安全性必须对可能阻碍行驶的障碍物进行检测识别，以便根据不同的障碍物类型和状态做出合理的回避动作。目前，自动驾驶中最为成熟的检测方案为点云检测。检测模型的训练通常使用有监督(supervised learning)的方式，在这个过程中，模型的性能受限于数据采集的数量和标注的质量。为了获得一个高性能的检测模型，往往需要使用大量的标注数据训练网络，而数据采集和标注的人工成本高、周期长，不利于模型的迭代。对比而言，使用自监督(self
‑
supervised learning)的方式可以不需要对数据进行标注。

技术实现思路

[0004]本公开要解决的一个技术问题是，提供一种点云特征提取网络模型训练、点云特征提取方法、装置和无人车。
[0005]根据本公开的第一方面，提出了一种点云特征提取网络模型训练方法，包括：利用第一特征提取网络模型，对样本点云帧序列进行第一编码，以得到所述样本点云帧序列中每一帧样本点云的编码特征图；根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图；根据位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征图，确定损失函数值；根据所述损失函数值，对所述第一特征提取网络模型进行训练。
[0006]在一些实施例中，根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包括：利用第二特征提取网络模型，对所述相邻多帧样本点云的编码特征图分别进行第二编码，以得到所述相邻多帧样本点云的中间特征图；对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图；对所述融合特征图进行解码，以得到位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图。
[0007]在一些实施例中，所述对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图包括：根据所述相邻多帧样本点云的中间特征图，确定所述相邻多帧样本点云之间的特征点匹配关系；根据所述特征点匹配关系，对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图。
[0008]在一些实施例中，根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包括：根据相邻多帧样本点云的编码特征图，确定所述相邻多帧样本点云之间的特征点匹配关系；根据所述特征点匹配关系，对所述相邻多帧样本点云的编码特征图进行融合，以得到融合特征图；根据所述融合特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图。
[0009]在一些实施例中，所述根据所述相邻多帧样本点云的中间特征图，确定所述相邻多帧样本点云之间的特征点匹配关系包括：根据所述相邻多帧样本点云的中间特征图，计算所述相邻多帧样本点云之间的特征点的相关度；根据所述相邻多帧样本点云之间的特征点的相关度，确定所述相邻两帧样本点云之间的特征点匹配关系。
[0010]在一些实施例中，所述相邻多帧样本点云为相邻两帧样本点云，所述相邻多帧样本点云的中间特征图包括：与所述相邻两帧样本点云中的第一帧对应的第一中间特征图、以及与所述相邻两帧样本点云中的第二帧对应的第二中间特征图；以及，所述根据所述相邻多帧样本点云的中间特征图，计算所述相邻多帧样本点云之间的特征点的相关度包括：计算所述第一中间特征图上的每个特征点，与所述第二中间特征图上指定范围内的特征点的相关度，所述指定范围为第一中间特征图的特征点的邻域范围；根据所述相关度，确定所述相邻两帧样本点云之间的特征点匹配关系。
[0011]在一些实施例中，所述相邻多帧样本点云为相邻两帧样本点云；所述根据所述特征点匹配关系，对所述相邻两帧样本点云的中间特征图进行融合，以得到融合特征图包括：根据所述特征点匹配关系，将所述相邻两帧样本点云的中间特征图之间的匹配特征点进行特征拼接，并将拼接得到的特征图作为融合特征图。
[0012]在一些实施例中，所述根据位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征图，确定损失函数值包括：在所述下一帧样本点云的预测特征图和编码特征图之间，计算具有同一位置索引的特征点之间的欧式距离；根据所有位置索引的特征点之间的欧式距离，计算损失函数值。
[0013]在一些实施例中，所述第一特征提取网络模型为共享权值编码器，所述共享权值编码器包括多个编码模块，每个编码模块用于对所述样本点云帧序列中的一帧进行编码。
[0014]在一些实施例中，所述编码模块包括：卷积神经网络以及自注意力网络。
[0015]在一些实施例中，还包括：将多帧样本点云的原始特征数据转换成二维图像特征数据，以得到由多帧样本点云的二维图像特征数据构成的样本点云帧序列。
[0016]在一些实施例中，将多帧样本点云的原始特征数据转换成二维图像特征数据包括：将多帧样本点云的原始特征数据转换成鸟瞰图BEV特征数据。
[0017]在一些实施例中，所述样本点云帧序列由在时序上连续的多帧样本点云组成；和/或，所述样本点云帧序列包含的样本点云的帧数量大于等于3、且小于等于5。
[0018]在一些实施例中，第二特征提取网络模型包括：注意力编码模块，用于对所述相邻多帧样本点云的编码特征图分别进行第二编码；注意力解码模块，用于对所述融合特征图进行解码，以得到位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图。
[0019]根据本公开的第二方面，提供了一种点云特征提取方法，包括：获取待处理点云帧序列；基于如上述特征提取网络模型训练方法训练得到的特征提取网络模型，对所述待处理点云帧序列进行编码，以得到所述待处理点云帧序列的特征图。
[0020]在一些实施例中，获取待处理点云帧序列包括：获取多帧待处理点云的原始数据；将所述多帧待处理点云的原始特征数据转换为鸟瞰图BEV特征数据，以得到由多帧待处理点云的鸟瞰图特征数据组成的待处理点云帧序列。
[0021]根据本公开的第三方面，提出一种目标检测方法，根据前述点云特征提取方法提取待处理点云帧序列的特征图；根据所述待处理点云帧序列的特征图，进行目标检测。
[0022]根据本公开的第四方面，提出一种点云语义分割方法，包括：根据前述点云特征提取方法提取待处理点云帧序列的特征图；根据所述待处理点云帧序列的特征图，进行点云语义分割。
[0023]根据本公开的第五方面，提出一种装置，包括：用于执行如上所述的点云特征提取网络模型训练方法的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云特征提取网络模型的训练方法，包括：利用第一特征提取网络模型，对样本点云帧序列进行第一编码，以得到所述样本点云帧序列中每一帧样本点云的编码特征图；根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图；根据位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征图，确定损失函数值；根据所述损失函数值，对所述第一特征提取网络模型进行训练。2.根据权利要求1所述的点云特征提取网络模型训练方法，其中，根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包括：利用第二特征提取网络模型，对所述相邻多帧样本点云的编码特征图分别进行第二编码，以得到所述相邻多帧样本点云的中间特征图；对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图；对所述融合特征图进行解码，以得到位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图。3.根据权利要求2所述的点云特征提取网络模型训练方法，其中，所述对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图包括：根据所述相邻多帧样本点云的中间特征图，确定所述相邻多帧样本点云之间的特征点匹配关系；根据所述特征点匹配关系，对所述相邻多帧样本点云的中间特征图进行融合，以得到融合特征图。4.根据权利要求1所述的点云特征提取网络模型训练方法，其中，根据相邻多帧样本点云的编码特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包括：根据相邻多帧样本点云的编码特征图，确定所述相邻多帧样本点云之间的特征点匹配关系；根据所述特征点匹配关系，对所述相邻多帧样本点云的编码特征图进行融合，以得到融合特征图；根据所述融合特征图，确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图。5.根据权利要求3所述的点云特征提取网络模型训练方法，其中，所述根据所述相邻多帧样本点云的中间特征图，确定所述相邻多帧样本点云之间的特征点匹配关系包括：根据所述相邻多帧样本点云的中间特征图，计算所述相邻多帧样本点云之间的特征点的相关度；根据所述相邻多帧样本点云之间的特征点的相关度，确定所述相邻两帧样本点云之间的特征点匹配关系。6.根据权利要求5所述的点云特征提取网络模型训练方法，其中，所述相邻多帧样本点云为相邻两帧样本点云，所述相邻多帧样本点云的中间特征图包括：与所述相邻两帧样本
点云中的第一帧对应的第一中间特征图、以及与所述相邻两帧样本点云中的第二帧对应的第二中间特征图；以及，所述根据所述相邻多帧样本点云的中间特征图，计算所述相邻多帧样本点云之间的特征点的相关度包括：计算所述第一中间特征图上的每个特征点，与所述第二中间特征图上指定范围内的特征点的相关度，所述指定范围为第一中间特征图的特征点的邻域范围；根据所述相关度，确定所述相邻两帧样本点云之间的特征点匹配关系。7.根据权利要求3所述的点云特征提取网络模型训练方法，其中，所述相邻多帧样本点云为相邻两帧样本点云；所述根据所述特征点匹配关系，对所述相邻两帧样本点云的中间特征图进行融合，以得到融合特征图包括：根据所述特征点匹配关系，将所述相邻两帧样本点云的中间特征图之间的匹配特征点进行特征拼接，并将拼接得到的特征图作为融合特征图。8.根据权利要求1至7任一所述的点云特征提取网络模型训练方法，其中，所述根据位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征图，确定损失函数值包括：在所述下一帧样本点...

【专利技术属性】
技术研发人员：刘浩，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：