检测对象的方法及装置制造方法及图纸

本发明专利技术涉及一种检测对象的方法及装置。提供了一种通过使用雷达传感器并且通过使用被配置为建立神经网络的装置来检测对象的方法。捕获多个原始雷达数据点。定义包括预定对象类型和用于包围对象的几何形状的至少一个对象类。经由神经网络的第一级，针对数据点执行关于对象类和背景的语义分割，并且针对各个数据点，估计几何形状的空间条件的粗略近似。基于该粗略近似，经由神经网络的第二级，基于语义分割选择数据点的子集，并且针对子集的各个数据点，估计几何形状的空间条件的细化近似以及该细化近似的置信度得分。该细化近似的置信度得分。该细化近似的置信度得分。

【技术实现步骤摘要】
检测对象的方法及装置


[0001]本公开涉及基于雷达点云来检测对象的方法及装置。

技术介绍

[0002]现代车辆通常包括摄像头、传感器和其他用于监测车辆环境的装置。例如，对于安装在车辆中的安全功能和驾驶员辅助系统而言，对车辆环境的可靠感知是非常重要的。在自主驾驶领域，对车辆环境的可靠感知是至关重要的问题。例如，必须检测和跟踪诸如其他车辆或行人之类的对象，以实现自主驾驶的正确性能。
[0003]在许多情况下，仅来自传感器(例如雷达和/或LIDAR传感器和摄像头)的噪声数据可用于检测和跟踪对象。例如，来自雷达传感器的数据可以作为形成所谓的点云的稀疏数据来提供，该点云包括由于属于某些对象(如其他车辆)或属于背景反射的雷达反射引起的数据点。因此，仅基于雷达数据正确检测不同的对象可能具有挑战性。
[0004]因此，已经提出了基于雷达点云来检测对象的机器学习方法。例如，Danzer et al.: "2D car detection in radar data with PointNets",2019IEEE Intelligent Transport SystemsConference,Auckland,New Zealand,New Zealand,Oct 27
‑
30,2019描述了一种将对象分类与基于称为PointNet的神经网络架构的对象边界框估计相结合的方法(另请参见： Charles,R.Qi et al.:"PointNet:Deep Learning on Point Sets for 3D Classification andSegmentation".2017IEEE Conference on Computer Vision and Pattern Recognition (CVPR),July 21
‑
26,2017,Honolulu,HI,USA)。这种基本的神经网络架构在多个点之间共享全连接层，并在点特征间执行所谓的“最大池化”，以获得整个点云的全局签名 (global signature)。在上述方法中，应用于原始雷达点云的对象检测器以分层方式多次使用此基本神经网络架构以执行分类，即，仅提取属于某个对象的点，并且估计完全包围检测到的对象的边界框，因此定义了它的空间条件。
[0005]然而，这种方法需要大量的计算工作，因为它基于针对各个数据点的所谓“补丁建议(patch proposal)”。利用“锚框(anchor box)”进行边界框估计会增加计算工作量。此外，虽然现有的对象检测方法可以扩展到多个对象类，例如不同种类的车辆、行人等，但扩展到多个对象类将进一步增加计算工作量，因为例如将需要整个网络的副本。在分类期间，也可能执行冗余运算，这可能导致对象边界框的确定不一致。
[0006]因此，需要允许检测多个对象类并且需要低计算工作量的、基于雷达点云来检测对象的方法和装置。

技术实现思路

[0007]在一个方面，本公开涉及一种通过使用雷达传感器并且通过使用被配置为建立神经网络的装置来检测对象的计算机实现方法。根据该方法，经由雷达传感器捕获包括多个数据点的原始雷达点云，并且定义至少一个对象类，其中，各个对象类包括预定义对象类型以及被配置为包围预定义对象类型的对象的几何形状。经由神经网络的第一级，针对多个
数据点执行关于至少一个对象类以及关于背景的语义分割，并且针对各个数据点，估计至少一个对象类的几何形状的空间条件的粗略近似。基于几何形状的空间条件的粗略近似，经由神经网络的第二级，基于语义分割来选择多个数据点的子集，并且针对该子集的各个数据点，估计对象类的几何形状的空间条件的细化近似，以及几何形状的空间条件的细化近似的置信度得分。
[0008]作为输入，该方法使用原始雷达点云，原始雷达点云可以基于被雷达传感器环境中的对象反射并由该传感器获取的雷达信号。
[0009]如果雷达传感器和用于建立神经网络的装置安装在车辆中，则至少一个对象类可以涉及车辆和/或行人，例如，在这种情况下，相应的对象类型可以是“车辆”和/或“行人”。至少一个对象类的合适几何形状的示例可以是完全包围对象的边界框、球体或圆柱体。对于这样的几何形状，空间条件可以至少由这样的几何形状(例如，球体)的中心位置来定义。此外，如果需要，空间条件可以包括用于定义例如几何对象的尺寸和取向的进一步参数。
[0010]为了执行语义分割，神经网络的层反映了点云的各个数据点属于至少一个对象类或属于背景的概率。因此，语义分割确定了数据点是否属于至少一个对象类。因此，经由语义分割，可以在神经网络的第二级内选择属于至少一个对象类的数据点。
[0011]此外，如果该方法要在车辆内实施，则可以定义两个或更多个对象类，即，不同类型的车辆作为对象类型和/或行人作为另外的对象类型。由于网络结构包括神经网络的两级，因此该方法可以扩展到多个对象类，但不会显著增加所需的计算工作量。这部分是由于原始数据点的子集的选择以及几何形状的空间条件近似的两个步骤。
[0012]由于该方法(即神经网络)的两级，还可以避免冗余运算，这再次减少了计算工作量。此外，可以分别训练神经网络的两级，这降低了应用该方法的要求。尽管该方法被描述为包括一个具有两级的神经网络，但实际上该神经网络可以包括彼此连接的两个或更多个单独的神经网络。
[0013]由于该方法得到了几何形状的空间条件的细化近似，因此待检测对象被定位在该几何形状内，例如，可以假设车辆位于通过该方法估计了空间条件的对应的边界框内。也就是说，通过估计例如包围该对象的几何形状的位置和取向来执行对象检测。此外，置信度得分定义了细化近似的可靠性，该细化近似可以包括对几何形状的位置和取向的最终估计。例如对于依赖于检测对象的方法的输出(即，依赖于几何形状的空间条件的细化近似)的车辆内的进一步应用而言，置信度得分很重要。
[0014]所述方法可以包括以下特征中的一项或更多项：
[0015]空间条件可以包括几何形状的中心，并且估计空间条件的粗略近似和细化近似可以包括针对各个数据点来估计相应的向量，该向量将相应数据点移向几何形状的中心。空间条件可以进一步包括几何形状的尺寸，并且估计所述空间条件的细化近似可以包括估计几何形状的尺寸。此外，空间条件可以进一步包括几何形状的取向，并且估计所述空间条件的细化近似可以包括估计所述几何形状的取向。估计几何形状的取向可以分解为对几何形状的角度信息进行回归的步骤以及对角度信息进行分类的步骤。
[0016]神经网络的第一级可以包括针对语义分割和针对空间条件的至少一个参数的相应输出路径，并且神经网络的第二级还可以包括针对置信度得分和针对空间条件的至少一个参数的细化的相应输出路径。神经网络的各个输出路径可以基于单独的目标函数进行训
练。
[0017]可以通过定义几何形状的真值并通过确定相应数据点是否位于几何形状的真值内来训练语义分割的执行。神经网络的第一级可以被停用，同时神经网络的第二级被训练。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过使用雷达传感器(13)并且通过使用被配置为建立神经网络的装置(11、17)来检测对象的计算机实现的方法，所述方法包括以下步骤：经由所述雷达传感器(13)来捕获包括多个数据点(15)的原始雷达点云，定义至少一个对象类，各个对象类包括预定对象类型以及被配置为包围所述预定对象类型的对象的几何形状，i)经由所述神经网络的第一级(19)：针对所述多个数据点(15)，执行关于所述至少一个对象类和背景的语义分割(23)，以及针对各个数据点(15)，估计所述至少一个对象类的所述几何形状的空间条件的粗略近似(25)，以及ii)基于所述几何形状的所述空间条件的所述粗略近似(25)，经由所述神经网络的第二级(21)：基于所述语义分割(23)来选择所述多个数据点(15)的子集，以及针对所述子集的各个数据点(15)：估计所述对象类的所述几何形状的所述空间条件的细化近似(49、51、53)，以及估计所述几何形状的所述空间条件的所述细化近似的置信度得分(55)。2.根据权利要求1所述的方法，其中所述空间条件包括所述几何形状的中心(63)，并且估计所述空间条件的粗略近似(25)和细化近似(49、51、53)的步骤包括：针对各个数据点(15、37)估计相应的向量(25、49)，所述向量将所述数据点(15、37)移向所述几何形状的所述中心(63)。3.根据权利要求2所述的方法，其中所述空间条件还包括所述几何形状的尺寸(51)，并且估计所述空间条件的细化近似(49、51、53)的步骤包括：估计所述几何形状的尺寸(51)。4.根据权利要求2或3所述的方法，其中所述空间条件还包括所述几何形状的取向(53)，并且估计所述空间条件的细化近似(49、51、53)的步骤包括：估计所述几何形状的取向(53)。5.根据权利要求4所述的方法，其中估计所述几何形状的取向(53)的步骤被分解成对所述几何形状的角度信息进行回归的步骤以及对所述角度信息进行分类的步骤。6.根据前述权利要求中任一项所述的方法，其中所述神经网络的所述第一级(19)包括针对所述语义分割(23)以及针对所述空间条件的至少一个参数(27)的相应输出路径，所述神经网络的所述第二级(21)包括针对所述置信度得分(55)以及针对所述空间条件的所述至少一个参数(27)的细化的相应输出路径，并且所述神经网络的各个输出路径是基于单独的目标函数训练的。7.根据前述权利要求中任一项所述的方法，其中
执行语义分割(23)的步骤是通过以下方式来训练的：定义所述几何形状的真值并且确定相应数...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：