模型训练和障碍物距离确定方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种模型训练和障碍物距离确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能领域，尤其涉及自动驾驶技术领域。实现方案为：获取包含障碍物的样本图像以及预设采集装置与障碍物之间的距离标签；将样本图像输入特征提取网络，获得图像特征；将图像特征输入第一神经网络，获得障碍物对应的2D检测框的第一高度；将图像特征输入第二神经网络，获得障碍物对应的3D检测框的第二高度、预设采集装置与障碍物之间的第一距离、第二高度对应的第一不确定度、以及第一距离对应的第二不确定度，从而确定第一损失函数的值；以及基于第一损失函数的值调节各个网络的参数值。个网络的参数值。个网络的参数值。

【技术实现步骤摘要】
模型训练和障碍物距离确定方法、装置、电子设备和介质


[0001]本公开涉及人工智能领域，尤其涉及自动驾驶
，具体涉及一种模型训练和障碍物距离确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]当前基于图像的目标检测技术的发展日渐成熟。在自动驾驶领域中，为了确保自动驾驶汽车的安全，需要根据所拍摄的障碍物的图像对目标障碍物的距离进行估计，从而帮助了解目标障碍物当前时刻的状态，同时对目标障碍物后续的预测、跟踪、避障以及自动驾驶车辆的路径规划等具有辅助作用。

技术实现思路

[0003]本公开提供了一种模型训练和障碍物距离确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0004]根据本公开的一方面，提供了一种模型训练方法，包括：获取基于预设采集装置所获得的包含障碍物的样本图像、以及所述预设采集装置与所述障碍物之间的距离标签；将所述样本图像输入特征提取网络，以获得图像特征；将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；基于所述第一距离、所述第二不确定度、所述第二距离、所述第一不确定度和所述距离标签，确定第一损失函数的值；以及基于所述第一损失函数的值调节所述特征提取网络、所述第一神经网络和所述第二神经网络中至少一者的参数值。
[0005]根据本公开的另一方面，提供了一种障碍物距离确定方法，包括：获取基于预设采集装置所获得的包括障碍物的图像；将所述图像输入特征提取网络，以获得图像特征；将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；以及基于所述第一不确定度和所述第二不确定度对所述第一距离和所述第二距离进行融合，以将融合后距离作为所述预设采集装置与所述障碍物之间的距离。
[0006]根据本公开的另一方面，提供了一种模型训练装置，包括：第一获取单元，用于获取基于预设采集装置所获得的包含障碍物的样本图像、以及所述预设采集装置与所述障碍物之间的距离标签；第一特征模块，用于将所述样本图像输入特征提取网络，以获得图像特
征；第一确定单元，用于将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；第二确定单元，用于将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；第三确定单元，用于基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；第四确定单元，用于基于所述第一距离、所述第二不确定度、所述第二距离、所述第一不确定度和所述距离标签，确定第一损失函数的值；以及参数调节单元，用于基于所述第一损失函数的值调节所述特征提取网络、所述第一神经网络和所述第二神经网络中至少一者的参数值。
[0007]根据本公开的另一方面，提供了一种障碍物距离确定装置，包括：第二获取单元，用于获取基于预设采集装置所获得的包括障碍物的图像；第二特征单元，用于将所述图像输入特征提取网络，以获得图像特征；第五确定单元，用于将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；第六确定单元，用于将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；第七确定单元，用于基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；以及距离融合单元，用于基于所述第一不确定度和所述第二不确定度对所述第一距离和所述第二距离进行融合，以将融合后距离作为所述预设采集装置与所述障碍物之间的距离。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的模型训练方法或如上所述的障碍物距离确定方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行如上所述的模型训练方法或如上所述的障碍物距离确定方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上所述的模型训练方法或如上所述的障碍物距离确定方法。
[0011]根据本公开的一个或多个实施例，在障碍物距离预测模型的训练过程中，利用不同网络结构处理样本图像，得到样本图像中的障碍物的2D高度信息、3D高度信息和预设采集装置与障碍物之间的距离信息，以根据上述信息，通过高度测距法和直接测距法的结合来确定模型的第一损失函数的值，并基于第一损失函数的值调节各个网络结构的参数值，由此，能够解决不同网络结构对应的损失函数在训练过程中会相互产生不利影响的问题，提高了训练得到的预测模型的预测精度。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图2示出了根据本公开的实施例的模型训练方法的流程图；
[0016]图3示出了根据本公开的实施例的障碍物距离确定方法的流程图；
[0017]图4示出了根据本公开的实施例的模型训练装置的结构框图；
[0018]图5示出了根据本公开的实施例的障碍物距离确定装置的结构框图；以及
[0019]图6示出了能够用于实现本公开的实施例的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取基于预设采集装置所获得的包含障碍物的样本图像、以及所述预设采集装置与所述障碍物之间的距离标签；将所述样本图像输入特征提取网络，以获得图像特征；将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；基于所述第一距离、所述第二不确定度、所述第二距离、所述第一不确定度和所述距离标签，确定第一损失函数的值；以及基于所述第一损失函数的值调节所述特征提取网络、所述第一神经网络和所述第二神经网络中至少一者的参数值。2.如权利要求1所述的方法，其中，所述第一高度、所述第二高度、所述第一距离和所述第二距离均以对数形式进行表示。3.如权利要求1所述的方法，其中，获取预设采集装置所获得的包含障碍物的样本图像以及所述预设采集装置与所述障碍物之间的距离标签包括：获取所述预设采集装置与所述障碍物之间的距离参考值、以及所述预设采集装置的参数；以及基于所述距离参考值和所述参数的比值，确定所述距离标签。4.如权利要求2所述的方法，其中，基于以下公式确定所述预设采集装置与所述障碍物之间的第二距离d
geo
：d
geo
＝log(H)
‑
log(h)其中，log(H)为对数形式的所述第二高度，log(h)为对数形式的所述第一高度。5.如权利要求1所述的方法，其中，所述第一损失函数包括第二损失函数和第三损失函数，并且其中，所述第二损失函数基于所述第一距离、所述第二不确定度和所述距离标签确定；所述第三损失函数基于所述第二距离、所述第一不确定度和所述距离标签确定。6.如权利要求5所述的方法，其中，所述第二损失函数和所述第三损失函数中的至少一个基于以下公式确定：
其中，λ为预设参数值，σ为所述第一不确定度和所述第二不确定度中的相应的不确定度，d
pred
为与σ相对应的所述第一距离和所述第二距离中的一个，d
gt
为所述距离标签。7.一种障碍物距离确定方法，包括：获取基于预设采集装置所获得的包括障碍物的图像；将所述图像输入特征提取网络，以获得图像特征；将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征输入经训练的第二神经网络，以获得所述障碍物对应的3维检测框的第二高度、所述预设采集装置与所述障碍物之间的第一距离、所述第二高度对应的第一不确定度、以及所述第一距离对应的第二不确定度；基于所述第一高度和所述第二高度，确定所述预设采集装置与所述障碍物之间的第二距离；以及基于所述第一不确定度和所述第二不确定度对所述第一距离和所述第二距离进行融合，以将融合后距离作为所述预设采集装置与所述障碍物之间的距离。8.如权利要求7所述的方法，其中，所述特征提取网络、所述第一神经网络和所述第二神经网络通过权利要求1
‑
6中任一项所述的方法训练得到。9.如权利要求7所述的方法，其中，基于所述第一不确定度和所述第二不确定度对所述第一距离和所述第二距离进行融合包括：对所述第一不确定度和所述第二不确定度进行归一化；以及将归一化后的所述第一不确定度和所述第二不确定度作为系数，对所述第一距离和所述第二距离进行加权求和，以基于求和后的结果确定所述融合后距离。10.一种模型训练装置，包括：第一获取单元，用于获取基于预设采集装置所获得的包含障碍物的样本图像、以及所述预设采集装置与所述障碍物之间的距离标签；第一特征模块，用于将所述样本图像输入特征提取网络，以获得图像特征；第一确定单元，用于将所述图像特征输入经训练的第一神经网络，以获得所述障碍物对应的2维检测框的第一高度；第二确定单元，用于将所述图像特征或基于所述第一神经网络的输出结果所确定的图像特征...

【专利技术属性】
技术研发人员：江铖，王玉斌，湛波，田野，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：