物体检测方法、电子设备和可移动平台技术

技术编号:25764570 阅读:26 留言:0更新日期:2020-09-25 21:11
一种物体检测方法、电子设备和可移动平台。其中,物体检测方法包括:获取待检测场景的稀疏点云数据和图像(S201);将稀疏点云数据和图像投影到目标坐标系中,获取待处理数据(S202);对待处理数据进行三维检测,获取待检测场景包括的物体的检测结果(S203)。通过获取稀疏点云数据和图像实现物体的检测,降低了点云数据的密度,因此降低了物体检测的成本。

【技术实现步骤摘要】
【国外来华专利技术】物体检测方法、电子设备和可移动平台
本申请实施例涉及可移动平台
,尤其涉及一种物体检测方法、电子设备和可移动平台。
技术介绍
障碍物检测是自动驾驶系统的关键技术之一,其利用车辆搭载的相机、激光雷达、毫米波雷达等传感器来检测道路场景中的障碍物,比如,车辆、行人,等。在自动驾驶场景中,自动驾驶系统不仅需要获得障碍物在图像上的位置,还需要预测出障碍物的三维定位信息。障碍物三维定位的精度直接影响了自动驾驶车辆的安全性和可靠性。目前,障碍物检测定位方法通常依赖于准确的深度测量传感器,可以获得高密度点云数据,比如激光雷达传感器等。但是,准确的深度测量传感器成本高昂,导致自动驾驶系统的成本高昂。
技术实现思路
本申请实施例提供一种物体检测方法、电子设备和可移动平台,可以降低物体检测的成本。第一方面,本申请实施例提供一种物体检测方法,包括:获取待检测场景的稀疏点云数据和图像;将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。第二方面,本申请实施例提供一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,具体用于:获取待检测场景的稀疏点云数据和图像;将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。第三方面,本申请实施例提供一种可移动平台,包括:本申请实施例第二方面提供的电子设备。第四方面,本申请实施例一种计算机存储介质,所述存储介质中存储计算机程序,所述计算机程序在执行时实现如第一方面提供的物体检测方法。本申请实施例提供一种物体检测方法、电子设备和可移动平台,通过获取待检测场景的稀疏点云数据和图像,将稀疏点云数据和图像投影到目标坐标系中,获取待处理数据,对待处理数据进行三维检测,获取待检测场景包括的物体的检测结果。由于只需要获取稀疏点云数据,降低了点云数据的密度,因此降低了电子设备的复杂度和要求,降低了物体检测的成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例涉及的一种应用场景示意图;图2为本申请实施例提供的物体检测方法的一种流程图;图3为本申请实施例提供的物体检测方法的另一种流程图;图4为本申请实施例提供的物体检测方法的另一种流程图;图5为本申请实施例提供的物体检测方法的另一种流程图;图6为本申请实施例提供的物体检测方法的另一种流程图;图7为本申请实施例提供的电子设备的结构示意图;图8为本申请实施例提供的激光雷达的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。在本申请的描述中,“多个”是指两个或多于两个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。本申请实施例可以应用于任何需要对物体进行检测的领域。例如应用于自动驾驶、辅助驾驶等智能驾驶领域,可以检测道路场景中的车辆、行人等障碍物的检测。又例如,可以应用于无人机领域,可以检测无人机飞行场景中的障碍物的检测。再例如,安防领域,对进入指定区域的物体进行检测。本申请实施例提供的物体检测方法,可以适用低复杂度神经网络,在确保物体检测准确率的基础上,使检测方案在多平台上具有通用性。示例性的,图1为本申请实施例涉及的一种应用场景示意图,如图1所示,智能驾驶车辆包括探测设备。智能驾驶车辆在行驶过程中,探测设备可以对前方车道的物体(如落石、遗撒物、枯枝、行人、车辆等)进行识别和检测,获得物体的三维位置、姿态朝向和三维尺寸等检测信息,并根据这些检测信息来规划智能驾驶的状态,例如为变道、减速或者停车等。可选的,探测设备可以包括雷达、超声波探测设备、飞行时间测距法(TimeOfFlight,TOF)测距探测设备、视觉探测设备、激光探测设备、图像传感器等及其组合。本申请实施例对于传感器的数量和实现类型不做限定。例如,图像传感器可以为相机、摄像机,等。雷达可以为通用激光雷达或者满足特定场景需求的特定激光雷达,例如具有多发多收传感器的旋转扫描式多线激光雷达,等。需要说明的是,图1为本申请的一种应用场景示意图,本申请实施例的应用场景包括但不限于图1所示。下面以具体地实施例对本专利技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。图2为本申请实施例提供的物体检测方法的一种流程图。本实施例提供的物体检测方法,执行主体可以为电子设备。如图2所示,本实施例提供的物体检测方法,包括:S201、获取待检测场景的稀疏点云数据和图像。其中,点云数据是指通过测量设备得到的物体外观表面的点数据集合。根据不同的条件,点云数据可以分为稀疏点云数据和密集点云数据。例如,可以根据点与点之间的间距以及点的数量进行划分。当点与点之间的间距比较大、点数量比较少时,可以称为稀疏点云数据。当点与点之间的间距比较小、点数量比较大时,可以称为密集点云数据或者高密度点云数据。密集点云的获取需要高线束激光雷达,在较高频率下进行扫描。而高线束激光雷达造成了较高的使用成本,激光雷达持续在较高的扫描频率会降低激光雷达的使用寿命。其它密集点云的获取方式,例如多单线激光雷达的点云拼接则需要复杂的算法,系统鲁棒性比较低。由于只需要获取稀疏点云数据,相比于获取高密度点云数据,降低了获取点云数据的难度,降低了对设备的要求和设备的成本。因此,在日常应用场景下,稀疏点云会比利用密集点云具有更好的利用价值。需要说明的是,本实施例对于待检测场景不做限定,根据电子设备的类型以及应用场景的不同可以有所不同。例如,当电子设备应用于自动驾驶车辆时,所述待检测场景可以为车辆行驶前方的道路。当电子设备应用于无人机时,所述待检测场景可以为无人机飞行时的飞行环境。可选的,获取待检测场景的稀疏点云数据和图像,可以包括:通过雷达传感器获取所述稀疏点云数据,通过图像传感器获取所述图像。...

【技术保护点】
1.一种物体检测方法,其特征在于,包括:/n获取待检测场景的稀疏点云数据和图像;/n将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;/n对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。/n

【技术特征摘要】
【国外来华专利技术】1.一种物体检测方法,其特征在于,包括:
获取待检测场景的稀疏点云数据和图像;
将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据;
对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果。


2.根据权利要求1所述的方法,其特征在于,所述对所述待处理数据进行三维检测,获取所述待检测场景包括的物体的检测结果,包括:
将所述待处理数据输入基础网络模型,获取特征图;
将所述特征图输入候选区域网络模型,获取候选物体的二维框;
根据所述候选物体的二维框确定所述待检测场景包括的物体,并获取所述物体的信息的补偿值;
根据所述物体的信息的补偿值获取所述物体的信息。


3.根据权利要求2所述的方法,其特征在于,所述将所述特征图输入候选区域网络模型,获取候选物体的二维框,包括:
根据所述特征图获取所述图像中每个像素点属于物体的概率;
若根据所述每个像素点属于物体的概率确定第一像素属于物体,则获取所述第一像素对应的物体的二维框;
根据所述第一像素属于物体的概率和所述第一像素对应的物体的二维框,获取所述候选物体的二维框。


4.根据权利要求3所述的方法,其特征在于,所述根据所述第一像素属于物体的概率和所述第一像素对应的物体的二维框,获取所述候选物体的二维框,包括:
从多个所述第一像素组成的第一集合中获取待处理的第一像素,并将所述待处理的第一像素从所述第一集合中删除,获取更新后的第一集合;所述待处理的第一像素为所述第一集合中属于物体的概率最大的第一像素;
对于所述更新后的第一集合中的每个第一像素,获取每个第一像素分别与所述待处理的第一像素之间的关联值;所述关联值用于指示每个第一像素对应的物体的二维框与所述待处理的第一像素对应的物体的二维框的重合程度;
将关联值大于预设值的第一像素从所述更新后的第一集合中删除,并重新执行上述获取待处理的第一像素和更新第一集合的步骤,直至第一集合不包括第一像素为止,将所有所述待处理的第一像素对应的物体的二维框确定为所述候选物体的二维框。


5.根据权利要求2所述的方法,其特征在于,所述根据所述候选物体的二维框确定所述待检测场景包括的物体,包括:
将所述候选物体的二维框输入第一三维检测网络模型,获取所述候选物体属于预设物体中每个物体的概率;
根据所述候选物体属于预设物体中每个物体的概率,获取所述待检测场景包括的物体。


6.根据权利要求5所述的方法,其特征在于,所述获取所述物体的信息的补偿值,包括:
通过将所述候选物体的二维框输入第一三维检测网络模型,还获取下列补偿值中的至少一项:候选物体的朝向的补偿值、候选物体的三维位置信息的补偿值、候选物体的二维框的补偿值和候选物体的三维尺寸的补偿值;
若根据所述候选物体属于预设物体中每个物体的概率确定所述候选物体为所述待检测场景包括的物体,则将所述候选物体对应的补偿值确定为所述物体的信息的补偿值。


7.根据权利要求2所述的方法,其特征在于,所述根据所述候选物体的二维框确定所述待检测场景包括的物体,包括:
将所述候选物体的二维框输入语义预测网络模型,获取所述候选物体属于预设物体中每个物体的概率;
根据所述候选物体属于预设物体中每个物体的概率,确定所述待检测场景包括的物体。


8.根据权利要求7所述的方法,其特征在于,所述获取所述物体的信息的补偿值,包括:
将所述待检测场景包括的物体的二维框输入第二三维检测网络模型,获取所述物体的信息的补偿值,所述补偿值包括下列中的至少一项:物体的朝向的补偿值、物体的三维位置信息的补偿值、物体的二维框的补偿值和物体的三维尺寸的补偿值。


9.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的朝向的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体所属的预设朝向区间的中心角度;
根据所述物体的朝向的补偿值和所述物体所属的预设朝向区间的中心角度,获取所述物体的朝向信息。


10.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的三维位置信息的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体的参考点的三维位置信息;
根据所述物体的三维位置信息的补偿值和所述物体的参考点的三维位置信息,获取所述物体的三维位置信息。


11.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的三维尺寸的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体对应的物体的三维尺寸的参考值;
根据所述物体的三维尺寸的补偿值和所述物体对应的物体的三维尺寸的参考值,获取所述物体的三维尺寸信息。


12.根据权利要求5至8任一项所述的方法,其特征在于,所述物体的信息的补偿值包括所述物体的二维框的补偿值,所述根据所述物体的信息的补偿值获取所述物体的信息,包括:
获取所述物体对应的二维框的参考值;
根据所述物体的二维框的补偿值和所述物体对应的二维框的参考值,获取所述物体的二维框的位置信息;
根据所述物体的二维框的位置信息获取所述物体的深度值。


13.根据权利要求12所述的方法,其特征在于,所述根据所述物体的二维框的位置信息获取所述物体的深度值,包括:
将所述物体的二维框的位置信息输入第一区域分割网络模型,获取所述物体的表面上的稀疏点云数据;
对所述物体的表面上的稀疏点云数据进行聚类分割,获取所述物体表面上的目标点的稀疏点云数据;
根据所述目标点的稀疏点云数据确定所述物体的深度值。


14.根据权利要求12所述的方法,其特征在于,所述根据所述物体的二维框的位置信息获取所述物体的深度值,包括:
将所述物体的二维框的位置信息输入第二区域分割网络模型,获取所述物体的表面上的目标面的稀疏点云数据;
根据所述目标面的稀疏点云数据获取所述物体的深度值。


15.根据权利要求1至14任一项所述的方法,其特征在于,所述物体的信息包括下列中的至少一项:三维位置信息、朝向信息、三维尺寸信息和所述物体的深度值。


16.根据权利要求1至14任一项所述的方法,其特征在于,所述获取待检测场景的稀疏点云数据和图像,包括:
通过至少一个雷达传感器获取所述稀疏点云数据,通过图像传感器获取所述图像。


17.根据权利要求16所述的方法,其特征在于,所述雷达传感器的数量大于1;所述通过至少一个雷达传感器获取所述稀疏点云数据,包括:
分别通过每个所述雷达传感器获取对应的第一稀疏点云数据;
根据所述至少一个雷达传感器的外参,将每个所述雷达传感器分别对应的第一稀疏点云数据投影到目标雷达坐标系中,获取所述稀疏点云数据。


18.根据权利要求16所述的方法,其特征在于,所述将所述稀疏点云数据和所述图像投影到目标坐标系中,获取待处理数据,包括:
通过所述雷达传感器与所述图像传感器的外参,将所述稀疏点云数据和所述图像投影到图像坐标系中,获取所述待处理数据。


19.根据权利要求1至14任一项所述的方法,其特征在于,所述待处理数据包括:所述稀疏点云数据投影到所述目标坐标系中每个点的坐标值和反射率,以及所述图像中的像素点...

【专利技术属性】
技术研发人员:张磊杰陈晓智徐斌
申请(专利权)人:深圳市大疆创新科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1