物体的三维信息确定方法、装置、车辆与存储介质制造方法及图纸

本公开涉及一种物体的三维信息确定方法、装置、车辆与存储介质，涉及自动驾驶技术领域。该方法包括：确定目标物的三维坐标参数以及该目标物在图像上的预测节点特征信息；该图像通过图像采集装置采集得到，该预测节点特征信息包括该目标物在该图像上的位置信息与视觉特征信息；根据该预测节点特征信息、该三维坐标参数以及该图像采集装置的焦距，确定该目标物与该图像采集装置之间的预测深度距离；根据该预测深度距离以及目标深度距离偏移量，得到该目标物与该图像采集装置之间的目标深度距离。使用本公开提供的物体的三维信息确定方法，可以得到的目标深度距离更加接近实际深度距离。以得到的目标深度距离更加接近实际深度距离。以得到的目标深度距离更加接近实际深度距离。

【技术实现步骤摘要】
物体的三维信息确定方法、装置、车辆与存储介质


[0001]本公开涉及自动驾驶
，尤其涉及一种物体的三维信息确定方法、装置、车辆与存储介质。

技术介绍

[0002]目前，市面上出现3D目标检测，3D目标检测的主要应用场景是自动驾驶，自动驾驶车不仅需要识别物体的类型，还需要识别物体的精确位置和朝向，以提供物体的位置信息与方向信息给规划控制模块，规划出合理的线路。3D目标检测使得自动驾驶车具备检测车辆、行人、障碍物等物体的能力，保障行驶安全。
[0003]然而，对于图像采集装置所拍摄的2D图像而言，是对2D图像直接通过网络推理的方式来计算2D图像中每个目物体到图像采集装置的深度距离，当2D图像中物体到图像采集装置的深度距离较远时，物体在2D图像上的尺寸较小，导致网络所拟合出的深度距离的准确性较低。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种物体的三维信息确定方法、装置、车辆与存储介质。
[0005]根据本公开实施例的第一方面，提供一种物体的三维信息确定方法，所述方法包括：
[0006]确定目标物的三维坐标参数以及所述目标物在图像上的预测节点特征信息；所述图像通过图像采集装置采集得到，所述预测节点特征信息包括所述目标物在所述图像上的位置信息与视觉特征信息；
[0007]根据所述预测节点特征信息、所述三维坐标参数以及所述图像采集装置的焦距，确定所述目标物与所述图像采集装置之间的预测深度距离；
[0008]根据所述预测深度距离以及目标深度距离偏移量，得到所述目标物与所述图像采集装置之间的目标深度距离。
[0009]可选地，所述方法还包括：
[0010]确定所述目标物的二维中心点的目标中心点坐标参数，所述二维中心点为所述目标物在所述图像上的中心点；
[0011]根据所述二维中心点的目标中心点坐标参数以及所述图像采集装置的内参矩阵，确定所述目标物的三维中心点的预测中心点坐标参数；
[0012]根据所述三维中心点的预测中心点坐标参数以及所述三维中心点的三维目标中心点偏移量，确定所述三维中心点的目标中心点坐标参数。
[0013]可选地，确定所述目标物的二维中心点的目标中心点坐标参数，包括：
[0014]预测所述目标物的二维中心点的预测中心点坐标参数；
[0015]根据所述二维中心点的预测中心点坐标参数以及所述二维中心点的目标二维中
心点偏移量，确定所述二维中心点的目标中心点坐标参数。
[0016]可选地，根据所述预测节点特征信息、所述三维坐标参数以及所述图像采集装置的焦距，确定所述目标物与所述图像采集装置之间的预测深度距离，包括：
[0017]根据所述预测节点特征信息，确定所述目标物在所述图像中的二维高度；
[0018]根据所述三维坐标参数，确定所述目标物的三维高度；
[0019]根据所述二维高度、所述三维高度以及所述焦距，确定所述预测深度距离。
[0020]可选地，所述目标深度距离偏移量通过以下步骤得到：
[0021]对深度距离偏移量进行多次拟合；
[0022]获取第一误差与每次拟合的深度距离偏移量之间的差值，所述第一误差为所述预测深度距离与实际深度距离之间的实际误差；
[0023]在所述差值满足收敛条件的情况下，将本次拟合得到的深度距离偏移量作为所述目标深度距离偏移量。
[0024]可选地，所述方法包括：
[0025]根据所述预测节点特征信息与所述目标物在所述图像上的实际节点特征信息，确定三维预测模型的二维损失函数的变化速率；
[0026]根据所述二维损失函数的变化速率确定三维损失函数的权重；
[0027]根据所述二维损失函数与所述二维损失函数的权重，以及所述三维损失函数与所述三维损失函数的权重，确定所述三维预测模型的损失函数；
[0028]其中，所述三维损失函数为所述三维预测模型根据所述预测深度距离偏移量与所述实际深度距离偏移量之间的第一误差来得到。
[0029]可选地，确定所述目标物在所述图像上的预测节点特征信息之后，所述方法包括：
[0030]根据所述预测节点特征信息对应的特征图，预测所述目标物相对于所述图像采集装置的目标偏转角度。
[0031]根据本公开实施例的第二方面，提供一种物体的三维信息确定装置，所述装置包括：
[0032]确定模块，被配置为确定目标物的三维坐标参数以及所述目标物在图像上的预测节点特征信息；所述图像通过图像采集装置采集得到，所述预测节点特征信息包括所述目标物在所述图像上的位置信息与视觉特征信息；
[0033]预测深度距离计算模块，被配置为根据所述预测节点特征信息、所述三维坐标参数以及所述图像采集装置的焦距，确定所述目标物与所述图像采集装置之间的预测深度距离；
[0034]目标深度距离计算模块，被配置为根据所述预测深度距离以及目标深度距离偏移量，得到所述目标物与所述图像采集装置之间的目标深度距离。
[0035]根据本公开实施例的第三方面，提供一种车辆，包括：
[0036]处理器；
[0037]用于存储处理器可执行指令的存储器；
[0038]其中，所述处理器被配置为：
[0039]实现本公开第一方面所提供的物体的三维信息确定方法的步骤。
[0040]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算
机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的物体的三维信息确定方法的步骤。
[0041]本公开的实施例提供的技术方案可以包括以下有益效果：
[0042]通过本公开提出的物体的三维信息确定方法，先以预测的方式，来预测得到预测节点特征信息与三维坐标信息；再采用几何的方式，来计算预测节点特征信息与三维坐标信息所得到的预测深度距离；最后拟合目标深度距离，使得得到的目标深度距离接近实际深度距离，减轻由于预测所带来的深度距离预测不准的现象。如此，相较于直接根据图像使用网络拟合目标深度距离而言，即使预测尺寸较小的目标物的深度距离，本公开也能够基于预测与几何叠加的方式，来使得得到的目标物的目标深度距离更加接近实际深度距离。
[0043]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0044]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0045]图1是根据一示例性实施例示出的物体的三维信息确定方法的步骤流程图。
[0046]图2是根据一示例性实施例示出的物体的三维信息确定方法的逻辑示意图。
[0047]图3是根据一示例性实施例示出的用于确定预测深度距离的示意图。
[0048]图4是根据一示例性实施例示出的物体的三维信息确定装置的框图。
[0049]图5是根据一示例性实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体的三维信息确定方法，其特征在于，所述方法包括：确定目标物的三维坐标参数以及所述目标物在图像上的预测节点特征信息；所述图像通过图像采集装置采集得到，所述预测节点特征信息包括所述目标物在所述图像上的位置信息与视觉特征信息；根据所述预测节点特征信息、所述三维坐标参数以及所述图像采集装置的焦距，确定所述目标物与所述图像采集装置之间的预测深度距离；根据所述预测深度距离以及目标深度距离偏移量，得到所述目标物与所述图像采集装置之间的目标深度距离。2.根据权利要求1所述的物体的三维信息确定方法，其特征在于，所述方法还包括：确定所述目标物的二维中心点的目标中心点坐标参数，所述二维中心点为所述目标物在所述图像上的中心点；根据所述二维中心点的目标中心点坐标参数以及所述图像采集装置的内参矩阵，确定所述目标物的三维中心点的预测中心点坐标参数；根据所述三维中心点的预测中心点坐标参数以及所述三维中心点的三维目标中心点偏移量，确定所述三维中心点的目标中心点坐标参数。3.根据权利要求2所述的物体的三维信息确定方法，其特征在于，确定所述目标物的二维中心点的目标中心点坐标参数，包括：预测所述目标物的二维中心点的预测中心点坐标参数；根据所述二维中心点的预测中心点坐标参数以及所述二维中心点的二维目标中心点偏移量，确定所述二维中心点的目标中心点坐标参数。4.根据权利要求1所述的物体的三维信息确定方法，其特征在于，根据所述预测节点特征信息、所述三维坐标参数以及所述图像采集装置的焦距，确定所述目标物与所述图像采集装置之间的预测深度距离，包括：根据所述预测节点特征信息，确定所述目标物在所述图像中的二维高度；根据所述三维坐标参数，确定所述目标物的三维高度；根据所述二维高度、所述三维高度以及所述焦距，确定所述预测深度距离。5.根据权利要求1所述的物体的三维信息确定方法，其特征在于，所述目标深度距离偏移量通过以下步骤得到：对深度距离偏移量进行多次拟合；获取第一误差与每次拟合的深度距离偏移量之间的差值，所述...

【专利技术属性】
技术研发人员：黄嘉慧，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：