障碍物检测方法、装置、设备、存储介质、芯片及车辆制造方法及图纸

本公开涉及自动驾驶领域中的一种障碍物检测方法、装置、设备、存储介质、芯片及车辆，包括：获取本车在行驶过程中采集的路采图像；将路采图像输入到障碍物检测模型中得到障碍物检测结果；障碍物检测模型是根据第一样本图像对头部网络进行预训练得到预训练权重，根据预训练权重修改主干网络的损失函数，根据第二样本图像对修改损失函数后的主干网络进行模型微调后得到的，第一样本图像包括多个类型的样本图像，第二样本图像是根据本车的路采图像得到的。基于第一样本图像预训练头部网络后的预训练权重，对主干网络的损失函数进行修改，进而基于第二样本图像对主干网络进行微调，可以降低对第二样本图像的质量和数量要求，降低了模型部署的成本。模型部署的成本。模型部署的成本。

【技术实现步骤摘要】
障碍物检测方法、装置、设备、存储介质、芯片及车辆


[0001]本公开涉及自动驾驶
，尤其涉及一种障碍物检测方法、装置、设备、存储介质、芯片及车辆。

技术介绍

[0002]障碍物检测在自动驾驶
中具有重要作用，可以用于自动驾驶车辆检测行驶路径上是否存在障碍物，然而，由于车辆在车型上的差异，为提高障碍物检测模型与不同车型车辆的适配性，需要通过本车采集的大量样本图像对障碍物监测模型进行训练，导致采集样本图像的工作量较大，成本较大。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种障碍物检测方法、装置、设备、存储介质、芯片及车辆。
[0004]根据本公开实施例的第一方面，提供一种障碍物检测方法，包括：获取本车在行驶过程中采集的路采图像；将所述路采图像输入到障碍物检测模型中，得到所述障碍物检测模型输出障碍物检测结果；其中，所述障碍物检测模型是根据第一样本图像对障碍物检测模型的头部网络进行预训练，得到预训练权重，并根据所述预训练权重修改所述障碍物检测模型的主干网络的损失函数，再根据第二样本图像对修改损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物检测方法，其特征在于，包括：获取本车在行驶过程中采集的路采图像；将所述路采图像输入到障碍物检测模型中，得到所述障碍物检测模型输出障碍物检测结果；其中，所述障碍物检测模型是根据第一样本图像对障碍物检测模型的头部网络进行预训练，得到预训练权重，并根据所述预训练权重修改所述障碍物检测模型的主干网络的损失函数，再根据第二样本图像对修改损失函数后的障碍物检测模型的主干网络进行模型微调后得到的，所述第一样本图像包括多个类型的样本图像，所述第二样本图像是根据本车的路采图像得到的。2.根据权利要求1所述的方法，其特征在于，所述头部网络包括不同类型的头部子网络、且头部子网络成线性连接；所述根据第一样本图像对障碍物检测模型的头部网络进行预训练，得到预训练权重，包括：通过所述第一样本图像中多个类型的样本图像，分别对所述障碍物检测模型中对应类型的头部子网络进行预训练，得到所述预训练权重，其中，线性连接的头部子网络中前一头部子网络预训练得到的预训练权重用于调整后一头部子网络的网络参数。3.根据权利要求2所述的方法，其特征在于，所述第一样本图像包括2D子样本图像、深度子样本图像和3D子样本图像；所述通过所述第一样本图像中多个类型的样本图像，分别对所述障碍物检测模型中对应类型的头部子网络进行预训练，得到所述预训练权重，包括：通过所述2D子样本图像对所述障碍物检测模型的2D检测头部子网络进行预训练，得到2D预训练权重；通过所述2D预训练权重调整所述障碍物检测模型的深度估计头部子网络的深度估计网络参数；通过所述深度子样本图像对调整深度估计网络参数后的深度估计头部子网络进行预训练，得到深度预训练权重；通过所述深度预训练权重调整所述障碍物检测模型的3D检测头部子网络的3D检测网络参数；通过所述3D子样本图像对调整3D检测网络参数后的3D检测头部子网络进行预训练，得到所述预训练权重。4.根据权利要求3所述的方法，其特征在于，所述第一样本图像是通过如下方式得到的：获取原始样本图像的2D标注框、点云、环视图和周视图，其中，所述2D标注框是根据任一顶点坐标和2D标注框的长宽信息构建的；将所述2D标注框与所述原始样本图像进行匹配，得到所述2D子样本图像；将所述点云投影到所述2D子样本图像上，并根据所述2D子样本图像上投影的点云，确定所述2D子样本图像上像素点的深度值，根据所述2D子样本图像和所述像素点的深度值，得到所述深度子样本图像；根据所述2D子样本图像以及所述深度子样本图像，构建3D空间框；
将所述3D空间框与所述环视图以及所述周视图进行匹配，得到所述3D子样本图像。5.根据权利要求1<...

【专利技术属性】
技术研发人员：牛宝龙，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：