用于探测车辆周围环境中的移动对象的方法和机动车辆技术

本发明专利技术涉及一种用于探测在车辆周围环境中的移动对象的方法和一种相应设计的机动车辆。在此，获取来自周围环境的摄像机数据和雷达回波。通过比较相关方位角和雷达回波与基于摄像机识别的对象的特定距离，在至少一个雷达回波和基于摄像机识别的对象的借助摄像机数据生成的边界框之间建立关联。如果分配成功，则根据相应识别到的周围环境对象的基于雷达确定的距离来校正基于摄像机假定的距离。然后将具有校正后的距离的相应边界框作为表示成功的对象探测的对象数据组输出。功的对象探测的对象数据组输出。功的对象探测的对象数据组输出。

【技术实现步骤摘要】
【国外来华专利技术】用于探测车辆周围环境中的移动对象的方法和机动车辆


[0001]本专利技术涉及一种用于探测车辆周围环境中的移动对象的方法以及一种被设计用于执行这种方法的机动车辆。

技术介绍

[0002]在车辆
，对于各种驾驶辅助系统和驾驶功能，特别是对于高度自动化的或自主的驾驶而言，探测在相应车辆的周围环境中的对象是特别重要的。这种对象尤其可以是其他交通参与者。在这里，尽可能快且可靠的探测以及精确地定位尤其是移动的对象，是特别重要的，因为由于这些对象而可能会特别频繁和特别迅速地出现危险情况。因此，该领域的进一步改进总是令人希望的。
[0003]作为这一点的一种方案，WO 2017/207727 A1描述了一种改进的对象探测和对象移动状态估计。在此，确定相关的方位角和多普勒速度分量，用于雷达探测。此外，用摄像机摄取对象，并且从至少两个摄像机图像中确定出光流。由此确定垂直方向上的另一个速度分量。然后根据两个速度分量确定出相应对象的完整速度矢量。
[0004]作为另一种方案，从US 2018/0259637 A1中获知一种用于设备实时控制的系统。在这种情况下，光学地检测倾斜的即相对于设备处于倾斜位置的对象。通过雷达设备来检测对象相对于设备的水平角和径向距离以及距离的变化率。然后基于3D位置矩阵和基于视觉数据和雷达数据确定的3D变化率矩阵来控制设备。
[0005]作为另一种方案，在EP 3229041 A1中描述了一种对象探测系统，其包括雷达传感器和摄像机。在这种情况下，雷达信号旨在指明车辆周围环境中的对象的距离和方向。通过摄像机摄取的图像应与雷达信号的视野重叠。然后应基于对象的距离和方向确定图像的距离地图。基于此，在图像中规定探测区域。然后仅处理图像的该探测区域，以识别对象。

技术实现思路

[0006]本专利技术的目的是，能够改进对车辆周围环境中的移动对象的探测。根据本专利技术，该目的通过独立权利要求的主题来实现。本专利技术的有利设计和改进在从属权利要求、说明书和附图中说明。
[0007]根据本专利技术的方法用于探测来自机动车辆的在机动车辆的周围环境中移动的对象。周围环境在此可以通过机动车的至少一个摄像机和至少一个雷达装置的检测有效范围或传感器有效范围来确定。在该方法中，获取周围环境的摄像机数据。在此可以使用机动车辆的摄像机来摄取摄像机数据。同样，对摄像机数据的获取可以包括或意味着利用被设置用于执行该方法的数据处理装置由摄像机或通过相应的数据接口来检测或接收它们。因此，摄像机数据描绘了机动车辆的周围环境。此外，在根据本专利技术的方法中，获取来自机动车辆周围环境的雷达回波。雷达回波可以通过雷达装置被获取，即被测量。同样，对雷达回波的获取可以意味着或包括利用数据处理装置由雷达装置或通过相应的数据接口对其进行检测或接收。特别地，这些是雷达回波，其通过由雷达装置发射到周围环境中的至少一个
雷达脉冲被位于周围环境中的对象反射回到雷达装置而引起。因此，雷达回波代表在机动车辆周围环境中的对象，并且在这个意义上也描绘了机动车辆的周围环境。
[0008]在根据本专利技术的方法的一个方法步骤中，借助摄像机数据来识别在摄像机数据中成像的对象，其中，针对识别到的对象，分别确定从机动车辆的角度来看该对象所处于的方位角或水平角范围，并产生包围相应对象的边界框(本领域术语：bounding box)，其相距机动车辆具有假定的或估计的距离。为了在摄像机数据中即特别是在相应的摄像机图像中识别出对象，可以采用本身已知的图像处理或对象识别手段或算法。因此可以例如借助边缘、轮廓、连接的面等来探测对象。方位角范围在此是在一个平面中规定的，该平面例如可以平行于机动车辆的地板延伸。特别地，这可以是机动车辆所行驶的地面的可能理想化的或平滑的平面，即例如车道路面等。方位角范围在此可以参照指定的方向来规定。例如，作为参考或零方向，可以规定假想的从机动车辆、特别是从摄像机向前或在行驶方向上伸出的方向(也称为x方向)。
[0009]相应对象或相应边界框的假定的或估计的距离，例如可以基于针对不同对象的宽度或长度所做的预定假设来确定或定下来。在此可以考虑摄像机的光学特性，这些光学特性例如确定在摄像机数据中或在相应摄像机图像中在相距摄像机特定距离处具有特定实际尺寸的对象看起来有多大。在此也可以考虑在摄像机数据中成像的不同对象之间的估计的或预定的相对尺寸关系。例如，如果在摄像机数据中汽车看起来与建筑物一样大，或者例如行人看起来与汽车一样宽，则可以分别认为这些对象相距摄像机的距离不同，因此相距机动车辆的距离不同。这又允许得出关于相应对象相距机动车辆的大致距离的结论，可能考虑到这些对象的预定典型尺寸。同样地，例如可以使用在相应对象和摄像机之间在摄像机数据中成像和被探测的环境特征，例如道路宽度或车道标记等，用于估计距离。
[0010]特别优选地，可以基于在2D空间中的假定的距离将相应的边界框特别是投射到也用于方位角范围的平面中。对于该平面，在此可以使用预定的坐标系，其中，机动车辆或摄像机或机动车辆的包括摄像机和雷达装置的环境传感器系统可以例如布置在坐标系的零点中。特别地，预定坐标系可以是摄像机坐标系，即在其中检测或处理或管理摄像机数据的坐标系，例如边界框也位于该坐标系中。
[0011]在根据本专利技术的方法的另一方法步骤中，针对雷达回波，参照机动车辆的当前位置确定相关的多普勒速度。在这个意义上的多普勒速度在此是产生相应雷达回波的相应对象的径向速度，该径向速度已经针对机动车辆的固有速度进行了校正或补偿，即根据符号予以减小或增大。雷达装置或机动车辆或其当前位置因此可以被视为圆的中心点，相应的对象布置在该圆的圆周线上。多普勒速度于是指明对象沿该圆的半径的速度分量—朝向中心点或远离中心点—独立于机动车辆的自身移动，即在世界固定的坐标系中或参照该坐标系。针对一些雷达回波，在此已确定了非消失的即不同于零的多普勒速度，这些雷达回波在此称为移动的雷达回波。至少对于所确定的移动的雷达回波，确定相距机动车辆的相关距离和相关的方位角。这些距离和方位角在此也、尤其仅仅、借助测得的雷达回波或相应的雷达数据来确定，即借助雷达装置的测量数据来确定。借助相应的所确定的距离和相应的方位角，为相应的雷达回波产生2D位置。该2D位置，即有效地相应的雷达回波或引起相应雷达回波的对象，然后也可以投射或输入到所提到的2D空间或所提到的平面中，即也用于摄像机数据的坐标系中。雷达回波也可以投射或传输到相应的摄像机图像中。雷达回波或与所
确定的距离和方位角相结合的雷达回波因此可以理解为在相应的2D空间或坐标系中的点分布或点云。基于雷达确定的方位角由于所涉及的原理可能表现出更大的不确定性或测量不准确性。为了在下文中考虑到这一点，基于摄像机确定的方位角范围可以优选地在两侧或在两个方向上扩展或增大公差范围。该公差范围可以对应于基于雷达的方位角确定的预定的或假定的不确定性或测量不准确性。特别优选地，可以将公差范围确定为标准偏差的倍数，尤其是3σ范围，从而因而检测所有相应测量值的大约99.7％。
[0012]在根据本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从机动车辆(12)探测在所述机动车辆(12)的周围环境(16)中移动的对象(18)的方法(10)，其中，
‑
获取所述周围环境(16)的摄像机数据；
‑
从所述周围环境(16)中获取雷达回波(22)；
‑
借助所述摄像机数据识别在所述摄像机数据中成像的对象(18)，其中针对识别到的对象(18)，分别确定从所述机动车辆(12)的角度来看所述对象所处于的方位角范围，并且生成包围所述对象(18)的边界框(20)，所述边界框相距所述机动车辆(12)具有假定的距离；
‑
针对所述雷达回波(22)，参照所述机动车辆(12)的当前位置确定相关的多普勒速度(V
D
)，其中，至少对于由此确定的移动的雷达回波(22)，确定相距所述机动车辆(12)的相关距离和相关的方位角(Φ)，针对所述移动的雷达回波已确定了非消失的多普勒速度；
‑
通过将相应的所述方位角(Φ)与所确定的所述方位角范围进行比较，并通过将相应的基于雷达确定的距离与基于摄像机假定的距离进行比较，来执行在至少一个所述移动的雷达回波(22)和至少一个所述边界框(20)之间的关联；
‑
对于已被成功分配至少一个所述移动的雷达回波(22)的所述边界框(20)，根据分别分配的所述雷达回波(22)的基于雷达确定的距离来校正相应的假定的距离；
‑
将具有相应的校正距离的所述边界框(20)输出，作为表明成功的对象探测的对象数据组。2.根据权利要求1所述的方法(10)，其特征在于，针对每一个测量周期的雷达回波(22)执行所述方法(10)，其中，在对于所述测量周期的获取时间没有同时获取的摄像机数据可用的情况下，将可用的摄像机数据内插或外推到所述测量周期的获取时间。3.根据前述权利要求中任一项所述的方法(10)，其特征在于，为了比较所述距离，将所述雷达回波(22)和所述边界框(20)嵌入到预定的坐标系中，并在所述坐标系中至少针对所述移动的雷达回波(22)确定缩放误差，所述缩放误差表明了在径向方向上参照所述机动车辆(12)的当前位置相应的所述雷达回波(22)相距所述边界框(20)的距离，并且考虑相应的所述缩放误差，其方式为，为了成功分配，相应的所述雷达回波(22)的缩放误差必须小于预定的阈值。4.根据前述权利要求中任一项所述的方法(10)，其特征在于，为所述方位角和/或为所述缩放误差指定概率函数(32)，对于雷达回波(22)，所述方位角和/或所述缩放误差在预定坐标系中表明其相距相应的所述边界框(20)的距离，，所述概率函数特别是具有恒定的中心区域，所述概率从该中心区域向两侧下降，借助所述概率函数评估相应的所述分配。5.根据前述权利要求中任一项所述的方法(10)，其特征在于，对于至少三个雷达回波(22)已分配给边界框(20)的情况，借助这些雷达回波来确定多
普勒速度分布(40)，尽可能多的所述雷达回波(22)与所述多普勒速度分布是一致的，并且仅基于与所述多普勒速度分布(40)一致的所述雷达回波(22)的确定的距离来校正相应的所述边界框(20)的距离。6.根据权利要求5所述的方法(10)，其特征在于，
‑
借助所述雷达回波(22)估计相关的所述对象(18)的方位；
‑
将估计的所述方位与相应的所述边界框(20)的方位(36)进行比较；并且
‑
借助这些方位的在这种情况下确定的偏差来评估所述分配，和/或仅在所述偏差小于预定阈值时保持所述分配的。7.根据权利要求5和6中任一项所述的方法(10)，其特征在于，
‑
确定相应的所述边界框(20)的方位(36)；
‑
借助与所述多普勒速度分布(40)一致的所述雷达回波(22)，估计所述对象(18)在基于雷达确定的所述方位的方向上的基于雷达的方位和移动速度；

【专利技术属性】
技术研发人员：D，
申请(专利权)人：宝马汽车股份有限公司，
类型：发明
国别省市：