用于识别车辆环境中的对象的方法技术

本发明专利技术涉及用于识别车辆环境中的对象的方法，其中所述车辆具有传感器系统以及评估单元，所述传感器系统具有用于检测所述环境的至少一个传感器单元，所述评估单元用于评估由所述至少一个传感器单元提供的传感器数据。所述方法包括以下步骤：在所述评估单元中接收所述传感器数据，其中所述传感器数据包括时间上彼此跟随的多个测量；将所述传感器数据输入到机器学习算法中；通过所述机器学习算法输出基于所述传感器数据估计的至少一个对象的对象状态；基于所估计的对象状态确定在时间上彼此跟随的多个未来对象状态；基于所述传感器数据确定所述未来对象状态与时间上对应于所述未来对象状态的测量之间的偏差；以及基于所述偏差校正所述机器学习算法。

【技术实现步骤摘要】
用于识别车辆环境中的对象的方法
本专利技术涉及用于识别车辆环境中的对象的方法、评估单元、计算机程序产品和计算机可读介质。本专利技术还涉及一种具有这种评估单元的车辆系统。
技术介绍
在自动驾驶中以及在驾驶员辅助系统中，通常使用车辆环境的表示，例如以对象列表的形式。这些对象描述了例如其他交通参与者、行人或车辆。功能基于所述对象的（动态）状态决定自身车辆应当如何运行。例如，如果自动车辆在多车道的道路上应当变换车道，则为此需要其他交通参与者的各自速度和各自方向，以便能够识别潜在的碰撞并相应地做出反应。可以想到用机器学习方法来改善对象识别。目前已经可以使用神经网络来从相机图像和激光雷达测量中提取对象实例。例如可以从激光雷达测量中提取3D对象盒。然而，为此必须相应地注释（也称为标记）大量数据，由此例如可以训练神经网络。这样的标记可能带来高昂的成本和时间开销。此外，在此主要学习可直接测量的状态变量，如位置、伸展或定向。DE102016215314A1和US2019/0243371A1公开了使用机器学习（MachineLearning）来识别对象的系统。
技术实现思路
在这种背景下，利用这里提出的方案提出了根据独立权利要求的方法、评估单元、计算机程序产品、计算机可读介质和车辆系统。这里提出的方案的有利扩展和改进从说明书中得出并且在从属权利要求中加以描述。本专利技术的优点本专利技术的实施方式有利地使得可以基于未注释的传感器数据借助于机器学习算法来估计与对象有关的变量。在此，除了估计可直接测量的变量（如对象的位置、定向或尺寸）之外，还使得可以估计不可直接测量的变量（如速度或加速度）。本专利技术的第一方面涉及一种用于识别车辆环境中的对象的计算机实现的方法，其中所述车辆具有传感器系统以及评估单元，所述传感器系统具有用于检测所述环境的至少一个传感器单元，所述评估单元用于评估由所述至少一个传感器单元提供的传感器数据。所述方法包括以下步骤：在所述评估单元中接收所述传感器数据，其中所述传感器数据包括在时间上彼此跟随的多个测量；将所述传感器数据输入机器学习算法中；通过所述机器学习算法输出基于所述传感器数据估计的至少一个对象的对象状态；基于所估计的对象状态确定在时间上彼此跟随的多个未来对象状态；基于所述传感器数据确定所述未来对象状态与时间上对应于所述未来对象状态的测量之间的偏差；以及基于所述偏差校正所述机器学习算法。通常，为了通过机器学习算法学习诸如速度、加速度或偏航率的不可直接测量的状态变量需要相应带注释的数据。如果对于所有对象都安装了相应的测量设备，例如DGPS接收器（DGPS=DifferentialGlobalPositioningSystem，差分全球定位系统），则可以直接测量上述动态特性。原则上虽然可以通过在彼此跟随的时刻的对象位置来间接确定所述动态特性，然而首先适合于此的是激光雷达传感器，因为诸如相机或雷达传感器的其他传感器类型通常无法保证所需要的精度。由此所述机器学习算法的训练将限于唯一传感器类型的信息。另外，为此又需要数据标记。为了对此进行补救，提出了一种用于状态估计，特别是用于多传感器状态估计的自监视学习方法，在该方法中某时刻的估计状态在随后的测量时刻中被预测，基于所述预测生成期望的测量，并且将所述期望的测量与实际测量进行比较。然后，可以将所述预期测量与所述实际测量之间的差用作针对所述机器学习算法（例如，针对人工神经网络等）的校正。由此可以取消对所述传感器数据的复杂的注释。在上文和下文描述的方法的上下文中，术语“识别”不应限制性地理解为主要发生在传感器系统中的对象识别，而是同样理解为预测，即理解为对象状态估计，其中确定已识别的对象的可能未来状态。更精确地说，该方法主要涉及目标是对象状态估计的传感器数据处理，其中所述传感器数据，即从所述传感器系统输出的数据可能已经包括对象识别。例如，相机可以识别车辆并提供已识别的车辆的图像坐标作为测量。雷达传感器可以例如提供雷达反射的位置作为测量，但是不一定知道所述雷达反射是否源自车辆。所述传感器单元可以是例如相机、雷达传感器、激光雷达传感器或超声传感器。所述传感器系统可以包括多个不同类型的传感器单元。车辆可以理解为机动车辆，例如乘用车、卡车、公共汽车或摩托车。机器人在广义上也可以理解为车辆，所述机器人可以被实施为自动运动，特别是前进运动。机器学习算法通常可以理解为一种算法，该算法针对给定的输入集合产生统计模型，以用于描述所述输入、识别的类别和关系以及用于输出相应的预测。所述机器学习算法可以是例如贝叶斯分类器、支持向量机（SVM）、k最近邻算法、决策树、随机森林、多层感知器（MLP）、递归神经网络（RNN）、长短期记忆（LSTM）网络、具有VGG或U-Net架构的卷积神经网络（CNN）或上述示例中至少两个的组合。所述机器学习算法可以被预先配置为基于所述传感器数据来估计对象的对象状态。例如，所估计的对象状态可以描述对象的位置或姿态。附加地，所估计的对象状态可以描述从所述位置或姿态导出的至少一个变量，例如对象的速度、加速度或偏航率。如果所述机器学习算法是人工神经网络，则可以将所述偏差例如用于通过反向传播逐步校正所述网络的神经元连接的权重，即在受监视的学习方法中训练所述网络。在此，所述偏差，即所述网络的错误从所述网络的输出层传播回所述网络的输入层，并且权重根据它们各自对所述错误的影响而变化，使得在后续时间步骤中所述网络的输出比当前时间步骤中所述网络的输出更接近期望的输出。包含在传感器数据中的测量可以至少部分与未来对象状态，即与基于所述机器学习算法的输出在多个时间步骤上预测的对象状态在时间上对应。换句话说，执行所述测量时的时刻可以至少部分地与分别分配给未来对象状态的时刻一致。为了估计对象状态，可以处理来自相同或不同类型的一个或多个传感器的数据，例如来自雷达传感器或激光雷达传感器或相机的数据。在估计所述对象状态时，可以考虑测量的不确定性或不准确性以及错误探测和缺失探测。为此，可以使用基于对象或基于网格的方案。在基于对象的方案中，将测量分配给对象实例，并使用估计方法计算对象状态。基于对象的方案是受模型影响的，即，对象基于应当模拟所述对象的动态性的运动模型，并且基于对象的方案尤其适合于可以轻松建模的对象和状况。在此，例如可以使用卡尔曼滤波器与多假设跟踪方法（例如标记的多伯努利滤波器，Labeled-Multi-Bernoulli-Filter）的组合。在基于网格的方案中，所述环境由网格或栅格代表，其中每个栅格单元表示关于特定位置的信息并且测量被投影到所述栅格上。然后可以通过分割来提取静态对象。粒子过滤器可以用于动态对象。基于网格的方案较少依赖于模型，因此适合于估计难以建模的对象的状态。本专利技术的第二方面涉及一种评估单元，所述评估单元被配置为执行以上和以下描述的方法。以上和以下描述的方法的特征也可以是所述评估单元的特征，反之亦然。本专利技术的第三方面涉及一种车辆系统，所述车辆系统被配置为执行以上和以下描述本文档来自技高网...

【技术保护点】
1.一种用于识别车辆（100）环境中的对象（114）的方法（300），其中所述车辆（100）具有传感器系统（104）以及评估单元（106），所述传感器系统具有用于检测所述环境的至少一个传感器单元（118，120；Sa，Sb，Sx），所述评估单元用于评估由所述至少一个传感器单元（118，120；Sa，Sb，Sx）提供的传感器数据（108），其中所述方法（300）包括：/n在所述评估单元（106）中接收（301）所述传感器数据（108），其中所述传感器数据（108）包括时间上彼此跟随的多个测量（z_k-m...，z_k+n）；/n将所述传感器数据（108）输入（302）到机器学习算法中；/n通过所述机器学习算法输出（303）基于所述传感器数据（108）估计的至少一个对象（114）的对象状态（x_k）；/n基于所估计的对象状态（x_k）确定（304）在时间上彼此跟随的多个未来对象状态（x_k+1_p，...，x_k+n_p）；/n基于所述传感器数据（108）确定（305）所述未来对象状态（x_k+1_p，...，x_k+n_p）与时间上对应于所述未来对象状态（x_k+1_p，...，x_k+n_p）的测量（z_k+1，...，z_k+n）之间的偏差（d_1，...，d_n）；以及/n基于所述偏差（d_1，...，d_n）校正（306）所述机器学习算法。/n...

【技术特征摘要】
20200127 DE 102020200911.21.一种用于识别车辆（100）环境中的对象（114）的方法（300），其中所述车辆（100）具有传感器系统（104）以及评估单元（106），所述传感器系统具有用于检测所述环境的至少一个传感器单元（118，120；Sa，Sb，Sx），所述评估单元用于评估由所述至少一个传感器单元（118，120；Sa，Sb，Sx）提供的传感器数据（108），其中所述方法（300）包括：
在所述评估单元（106）中接收（301）所述传感器数据（108），其中所述传感器数据（108）包括时间上彼此跟随的多个测量（z_k-m...，z_k+n）；
将所述传感器数据（108）输入（302）到机器学习算法中；
通过所述机器学习算法输出（303）基于所述传感器数据（108）估计的至少一个对象（114）的对象状态（x_k）；
基于所估计的对象状态（x_k）确定（304）在时间上彼此跟随的多个未来对象状态（x_k+1_p，...，x_k+n_p）；
基于所述传感器数据（108）确定（305）所述未来对象状态（x_k+1_p，...，x_k+n_p）与时间上对应于所述未来对象状态（x_k+1_p，...，x_k+n_p）的测量（z_k+1，...，z_k+n）之间的偏差（d_1，...，d_n）；以及
基于所述偏差（d_1，...，d_n）校正（306）所述机器学习算法。


2.根据权利要求1所述的方法（300），还包括：
将所述未来对象状态（x_k+1_p，...，x_k+n_p）变换到所述至少一个传感器单元（118，120；Sa，Sb，Sx）的坐标系中，以便针对每个未来对象状态（x_k+1_p，...，x_k+n_p）获得变换后的未来对象状态（z_k+1_p，...，z_k+n_p）；
其中基于所述传感器数据（108）确定所述变换后的未来对象状态（z_k+1_p，...，z_k+n_p）与时间上对应于所述变换后的未来对象状态（z_k+1_p，...，z_k+n_p）的测量（z_k+1，...，z_k+n）之间的偏差（d_1，...，d_n）。


3.根据权利要求2所述的方法（300），
其中所述传感器数据（108）包括所述传感器系统（104）的至少两个不同传感器单元（118，120；Sa，Sb，Sx）的测量（z_k-m，...，z_k+n）；
其中将所述未来对象状态（x_k+1_p，...，x_k+n_p）变换到所述至少两个不同传感器单元（118，120；Sa，Sb，Sx）的坐标系中；
其中变换后的未来对象状态（z_k+1_p，...，z_k+n_...

【专利技术属性】
技术研发人员：V·D·阮，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE