【技术实现步骤摘要】
【国外来华专利技术】物体检测方法、电子设备和可移动平台
本申请实施例涉及可移动平台
,尤其涉及一种物体检测方法、电子设备和可移动平台。
技术介绍
障碍物检测是自动驾驶系统的关键技术之一,其利用车辆搭载的相机、激光雷达、毫米波雷达等传感器来检测道路场景中的障碍物,比如,车辆、行人,等。在自动驾驶场景中,自动驾驶系统不仅需要获得障碍物在图像上的位置,还需要预测出障碍物的三维定位信息。障碍物三维定位的精度直接影响了自动驾驶车辆的安全性和可靠性。目前,障碍物检测定位方法通常依赖于准确的深度测量传感器,可以获得高密度点云数据,比如激光雷达传感器等。但是,准确的深度测量传感器成本高昂,导致自动驾驶系统的成本高昂。
技术实现思路
本申请实施例提供一种物体检测方法、电子设备和可移动平台,可以降低物体检测的成本。第一方面,本申请实施例提供一种物体检测方法,包括:获取待检测场景的稀疏点云数据和图像;将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。第二方面,本申请实施例提供一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,具体用于:获取待检测场景的稀疏点云数据和图像;将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。第三方面,本申请实施例提供
【技术保护点】
1.一种物体检测方法,其特征在于,包括:/n获取待检测场景的稀疏点云数据和图像;/n将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;/n对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。/n
【技术特征摘要】
【国外来华专利技术】1.一种物体检测方法,其特征在于,包括:
获取待检测场景的稀疏点云数据和图像;
将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;
对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果,包括:
将所述待处理数据输入基础网络模型,获取特征图;
将所述特征图输入候选区域网络模型,获取候选物体的二维框;
根据所述候选物体的二维框确定所述待检测场景包括的物体,并获取所述物体的信息的补偿值;
根据所述物体的信息的补偿值获取所述物体的信息。
3.根据权利要求2所述的方法,其特征在于,所述将所述特征图输入候选区域网络模型,获取候选物体的二维框,包括:
根据所述特征图获取所述图像中每个像素点属于物体的概率;
若根据所述每个像素点属于物体的概率确定第一像素属于物体,则获取所述第一像素对应的物体的二维框;
根据所述第一像素属于物体的概率和所述第一像素对应的物体的二维框,获取所述候选物体的二维框。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一像素属于物体的概率和所述第一像素对应的物体的二维框,获取所述候选物体的二维框,包括:
从多个所述第一像素组成的第一集合中获取待处理的第一像素,并将所述待处理的第一像素从所述第一集合中删除,获取更新后的第一集合;所述待处理的第一像素为所述第一集合中属于物体的概率最大的第一像素;
对于所述更新后的第一集合中的每个第一像素,获取每个第一像素分别与所述待处理的第一像素之间的关联值;所述关联值用于指示每个第一像素对应的物体的二维框与所述待处理的第一像素对应的物体的二维框的重合程度;
将关联值大于预设值的第一像素从所述更新后的第一集合中删除,并重新执行上述获取待处理的第一像素和更新第一集合的步骤,直至第一集合不包括第一像素为止,将所有所述待处理的第一像素对应的物体的二维框确定为所述候选物体的二维框。
5.根据权利要求2所述的方法,其特征在于,所述根据所述候选物体的二维框确定所述待检测场景包括的物体,包括:
将所述候选物体的二维框输入第一三维检测网络模型,获取所述候选物体属于预设物体中每个物体的概率;
根据所述候选物体属于预设物体中每个物体的概率,获取所述待检测场景包括的物体。
6.根据权利要求5所述的方法,其特征在于,所述获取所述物体的信息的补偿值,包括:
通过将所述候选物体的二维框输入第一三维检测网络模型,还获取下列补偿值中的至少一项:候选物体的朝向的补偿值、候选物体的三维位置信息的补偿值、候选物体的二维框的补偿值和候选物体的三维尺寸的补偿值;
若根据所述候选物体属于预设物体中每个物体的概率确定所述候选物体为所述待检测场景包括的物体,则将所述候选物体对应的补偿值确定为所述物体的信息的补偿值。
7.根据权利要求2所述的方法,其特征在于,所述根据所述候选物体的二维框确定所述待检测场景包括的物体,包括:
将所述候选物体的二维框输入语义预测网络模型,获取所述候选物体属于预设物体中每个物体的概率;
根据所述候选物体属于预设物体中每个物体的概率,确定所述待检测场景包括的物体。
8.根据权利要求7所述的方法,其特征在于,所述获取所述物体的信息的补偿值,包括:
将所述待检测场景包括的物体的二维框输入第二三维检测网络模型,获取所述物体的信息的补偿值,所述补偿值包括下列中的至少一项:物体的朝向的补偿值、物体的三维位置信息的补偿值、物体的二维框的补偿值和物体的三维尺寸的补偿值。
9.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的朝向的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体所属的预设朝向区间的中心角度;
根据所述物体的朝向的补偿值和所述物体所属的预设朝向区间的中心角度,获取所述物体的朝向信息。
10.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的三维位置信息的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体的参考点的三维位置信息;
根据所述物体的三维位置信息的补偿值和所述物体的参考点的三维位置信息,获取所述物体的三维位置信息。
11.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的三维尺寸的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体对应的物体的三维尺寸的参考值;
根据所述物体的三维尺寸的补偿值和所述物体对应的物体的三维尺寸的参考值,获取所述物体的三维尺寸信息。
12.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的二维框的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体对应的二维框的参考值;
根据所述物体的二维框的补偿值和所述物体对应的二维框的参考值,获取所述物体的二维框的位置信息;
根据所述物体的二维框的位置信息获取所述物体的深度值。
13.根据权利要求12所述的方法,其特征在于,所述根据所述物体的二维框的位置信息获取所述物体的深度值,包括:
将所述物体的二维框的位置信息输入第一区域分割网络模型,获取所述物体的表面上的稀疏点云数据;
对所述物体的表面上的稀疏点云数据进行聚类分割,获取所述物体表面上的目标点的稀疏点云数据;
根据所述目标点的稀疏点云数据确定所述物体的深度值。
14.根据权利要求12所述的方法,其特征在于,所述根据所述物体的二维框的位置信息获取所述物体的深度值,包括:
将所述物体的二维框的位置信息输入第二区域分割网络模型,获取所述物体的表面上的目标面的稀疏点云数据;
根据所述目标面的稀疏点云数据获取所述物体的深度值。
15.根据权利要求1至14任一项所述的方法,其特征在于,所述物体的信息包括下列中的至少一项:三维位置信息、朝向信息、三维尺寸信息和所述物体的深度值。
16.根据权利要求1至14任一项所述的方法,其特征在于,所述获取待检测场景的稀疏点云数据和图像,包括:
通过至少一个雷达传感器获取所述稀疏点云数据,通过图像传感器获取所述图像。
17.根据权利要求16所述的方法,其特征在于,所述雷达传感器的数量大于1;所述通过至少一个雷达传感器获取所述稀疏点云数据,包括:
分别通过每个所述雷达传感器获取对应的第一稀疏点云数据;
根据所述至少一个雷达传感器的外参,将每个所述雷达传感器分别对应的第一稀疏点云数据投影到目标雷达坐标系中,获取所述稀疏点云数据。
18.根据权利要求16所述的方法,其特征在于,所述将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据,包括:
通过所述雷达传感器与所述图像传感器的外参,将所述稀疏点云数据和所述图像投影到图像坐标系中,获取所述待处理数据。
19.根据权利要求1至14任一项所述的方法,其特征在于,所述待处理数据包括:所述稀疏点云数据投影到所述目标坐标系中每个点的坐标值和反射率,以及所述图像中的像素点...
【专利技术属性】
技术研发人员:张磊杰,陈晓智,徐斌,
申请(专利权)人:深圳市大疆创新科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。