用于产生车辆的周围环境的标签对象的设备和方法技术

本发明专利技术涉及用于产生标签对象的一种方法和一种标注系统，所述标签对象用于对移动设备(例如机器人或车辆)的环境的对象进行符号化描述。由对象(120)的观测(420)，所述标签对象(620)包括所述对象(120)的在第一时刻(t1)的至少一个属性。该方法具有以下步骤：从所述观测(420)中选择：在第一时刻(t1)所检测的第一观测(421)，在第二时刻(t2)所检测的第二观测(422)，其中，第二时刻(t2)是在第一时刻(t1)之前的时刻，以及在第三时刻(t3)所检测的第三观测(423)，其中，第三时刻(t3)是在第一时刻(t1)之后的时刻；在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。

Equipment and methods for generating label objects for the vehicle's surroundings

【技术实现步骤摘要】
用于产生车辆的周围环境的标签对象的设备和方法
本专利技术涉及用于产生标签对象的一种方法和一种标注系统(Labellingsystem)，所述标签对象用于对移动设备(例如机器人或车辆)、尤其能够至少部分自动化运动的移动设备的环境或周围环境的对象进行符号化描述。本专利技术还涉及一种程序单元、一种计算机可读的介质和一种应用。
技术介绍
对于移动设备(例如对于机器人或车辆)来说，对该移动设备的环境或周围环境的一个或多个对象进行符号化描述会是重要的。为了对所述对象进行符号化描述，例如由摄像机检测对象，并且例如由人工操作员例如根据车辆的周围环境的图像数据来给所述对象配备属性。例如，可以给第一检测对象配备属性“具有确定颜色的房屋”，或者可以给第二检测对象配备属性“具有确定速度的车辆”。此过程也称为“标注”对象。可以将所检测的并“被标注的”的对象称为“标签对象”。然而，这种手动方法可能既耗时又昂贵。
技术实现思路
本专利技术的一方面涉及一种用于由对象的观测产生标签对象的方法，该标签对象包括对象的在第一时刻的至少一个属性，该方法具有以下步骤：–从观测中选择在第一时刻所检测的第一观测，在第二时刻所检测的第二观测，其中，第二时刻是在第一时刻之前的时刻，在第三时刻所检测的第三观测，其中，第三时刻是在第一时刻之后的时刻；–在使用所选择的观测的情况下，例如借助标注模块来求取对象的至少一个属性。标签对象使观测与标签相关联。标签包括对静态和/或动态对象的符号化描述——尤其时间相关的描述。标签对象可以视为对移动设备(例如机器人或至少部分自动化驾驶的车辆)的周围环境中的对象的表示。周围环境(即，在一定程度上“真实世界”)的对象例如可以是房屋、树木、另一车辆、行车道、护栏和/或其他对象。属性例如可以是“房屋”、“树木”、“车辆”；属性例如可以包括颜色和/或包括属性：“静态的”或“动态的”标签对象。此外，标签还可以涉及监管元素(regulatorischeElemente)——例如驶入限制或速度限制。静态标签借助属性来描述静态对象。在此，静态对象是具有零速度的对象——例如房屋、树木、护栏、交通标志、地标或所谓的地平面(可行驶和不可行驶的地面特性)。动态对象或运动对象(例如其他交通参与者，如人员或其他车辆)可以具有不为零的速度。动态对象可以具有时间相关的状态；动态对象例如可以通过轨迹来描述。动态对象的标签借助动态对象的属性(例如位置、速度、加速度、定向等)来对其进行描述。动态对象可以是空间中的另一对象——例如另一交通参与者、例如位置s处的(例如在x/y坐标中)具有速度v、加速度a、方向w的人员P。机器人例如可以是清洁车、割草机、农业设备。车辆可以是陆地车辆——尤其可以是轿车、运输车、货车、陆用车辆或两栖车辆。例如可以借助一个或多个传感器来检测所述观测。所述一个或多个传感器可以是一种或多种类型的传感器，或者可以使用摄像机的和/或雷达传感器的不同或相同的对比机制。所述传感器尤其可以是移动设备的传感器。由所述传感器检测对象，并且例如将该对象作为观测存储在控制系统的存储器中。在此，存储器可以布置在移动设备中——例如机器人或车辆内部，存储器可以布置在移动设备的外部——例如服务器或另一车辆中，或者存储器也可以分成移动设备内部和外部的多个存储器。在所述存储器中，可以将移动设备——例如自身车辆(“本车辆”)——所检测的周围环境存储为观测序列，其中，根据所使用的传感器形态可以存储不同的属性。在此，观测序列的每个元素可以具有一个时间戳。在摄像机的情况下，例如可以将观测不经处理地作为原始图像(“rawimage”)存储，或者在(例如借助均衡器的)预处理之后再进行存储。在此，观测包括至少一个第一观测、第二观测和第三观测。在此，在第一时刻检测第一观测。第一时刻在此可以是真实的现在。尤其在(例如借助多个观测的)离线处理的情况下，第一时刻可以是如下时刻：该时刻处于真实的现在之前并且已经以文件的形式存储。在这种情况下，可以将第一时刻定义为参考时刻——在一定程度上定义为“用于测量的现在”、即检测对象期间。第二时刻是在第一时刻之前的时刻，因此第二时刻相对于第一观测处于过去。在此，第二时刻可以早于第一时刻几天、几时、几分、几秒、或者仅几分之一秒。例如在摄像机和/或雷达传感器的情况下(即在能够每秒拍摄多个图像的设备的情况下)，第二时刻可以是如下时刻：在该时刻，前一个“图像”已经被拍摄。所述前一个“图像”也可以涉及图像序列，即第二时刻可以包括多个时刻。第三时刻是在第一时刻之后的时刻，即第三时刻相对于第一观测处于将来。如果第一时刻例如处于真实的现在，则第三观测例如可以由预测系统形成。在(例如借助多个观测的)离线处理的情况下，第三时刻可以是相比于第一时刻更晚的时刻。第三时刻可以晚于第一时刻几天、几时、几分、几秒、或者仅几分之一秒。第三时刻至第一时刻的时间距离可以与第二时刻至第一时刻的时间距离相同。第三时刻可以包括多个时刻并且例如可以包括时刻序列。所述时刻可以具有等距的、动态配置的和/或可动态配置的时间间隔。在使用所选择的观测的情况下，标注模块求取对象的至少一个属性。有时将观测或多个观测称为未标注的样本。有时分别将具有至少一个属性的观测或多个观测称为已标注的样本。因此，已标注的样本表示多个已记录或已存储的观测。已标注的样本可以包括对车辆环境的符号化描述。对属性的这种求取例如可以通过如下方式实现：将单个或多个对象属性(标签)添加至多个观测。由此可以生成对象的符号化的抽象属性。在此，标注模块例如通过如下方式确定对象及其属性：借助一个或多个模式识别算法和多目标跟踪算法来处理观测。该求取在此使用第一观测、第二观测和第三观测，即该求取考虑观测的一定程度上的现在、过去和将来。这有时称为观测的整体处理(holistischeVerarbeitung)。在该整体处理中，通过使用在确定时刻之前、之时和之后的观测而自动地产生属于该确定时刻的标签。通过对观测的整体处理，可以实现标签的特别高的准确性和可靠性。尤其已经证明，在很多情况下，与使用仅考虑检测时刻之前和之时而不考虑该时刻之后的其他算法方法相比，以这种方式产生的标签能够达到的准确性和可靠性更高，例如在本专利技术中就是这种情况。该标签也称为参考标签或真实值标签(Ground-Truth-Label)。在此，标签涉及周围环境中(即在真实世界中)的一个或多个对象。所述对象可以是静态对象或动态对象。例如可以使用参考标签或真实值标签来训练使用机器学习方法的设备。该方法可用于离线标注也可用于在线标注。对于在线标注，可以使用如下变量：该变量考虑到在线处理和/或在移动设备(例如独立于网络的机器人或车辆)中的处理的细节——例如有限的计算时间和/或存储空间。在一种实施方式中，观测中的每个由单个观测、尤其由多个单个观测组成，并且这些单个观测分别借助不同的对比机制所检测。例如，可以借助多个传感器或单个传感器来检测单个观测。例如，可以借助不同类型的传感器来检测不同的对比机制。使用多个传感器类型的观测本文档来自技高网...

【技术保护点】
1.一种用于由对象(120)的观测(420)产生标签对象(620)的方法，所述标签对象包括所述对象(120)的在第一时刻(t1)的至少一个属性，所述方法具有以下步骤：/n从所述观测(420)中选择：/n在所述第一时刻(t1)所检测的第一观测(421)，/n在第二时刻(t2)所检测的第二观测(422)，其中，所述第二时刻(t2)是在所述第一时刻(t1)之前的时刻，/n在第三时刻(t3)所检测的第三观测(423)，其中，所述第三时刻(t3)是在所述第一时刻(t1)之后的时刻；/n在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。/n

【技术特征摘要】
20181204 DE 102018220892.11.一种用于由对象(120)的观测(420)产生标签对象(620)的方法，所述标签对象包括所述对象(120)的在第一时刻(t1)的至少一个属性，所述方法具有以下步骤：
从所述观测(420)中选择：
在所述第一时刻(t1)所检测的第一观测(421)，
在第二时刻(t2)所检测的第二观测(422)，其中，所述第二时刻(t2)是在所述第一时刻(t1)之前的时刻，
在第三时刻(t3)所检测的第三观测(423)，其中，所述第三时刻(t3)是在所述第一时刻(t1)之后的时刻；
在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。


2.根据权利要求1所述的方法，
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测(421a，421b；422a，422b；423a，423b)分别借助不同的对比机制检测，和/或
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测分别借助相同的对比机制并且借助不同品质值的传感器检测。


3.根据权利要求2所述的方法，
其中，在将所述观测(421，422，423)进而用于求取所述对象(120)的属性之前，将所述单个观测(421a，421b；422a，422b；423a，423b)分别融合成所述观测(421，422，423)。


4.根据以上权利要求中任一项所述的方法，
其中，所述求取包括分类或回归分析的步骤，
其中，所述分类或回归分析包括：对所构造的标签对象(620)进行类型分类，和/或，对所构造的标签对象(620)进行状态分类或对所构造的标签对象(620)的状态进行回归分析。


5.根据权利要求4所述的方法，
其中，所述分类包括所述第一观测(421)与所述第二观测(422)和/或与所述第三观测(423)的比较，和/或
其中，所述状态分类包括将所述标签对象(620)分类为静态标签对象或动态标签对象，和/或
其中，所述分类包括使用模型，和/或
其中，所述分类包括使用人工神经网络，和/或
其中，所述分类包括使用贝叶斯滤波器，和/或
其中，所述分类或所述回归分析包括使用贝叶斯平滑器，和/或
其中，所述分类或所述回归分析包括使用基于图形的优化。


6.根据权利要求4或5所述的方法，
其中，所述分类和/或所述回归分析包括以下步骤：
产生临时静态标签对象(522)、临时动态标签对象(524)或临时杂扰标签对象(526)；
使观测(421，422，423)与临时标签对象(522，524，526)相关联(510)，并且基于此确定：所述观测(421，422，423)所基于的测量是静态测量(522)、动态测量(524)还是杂扰测量(526)；
根据分别关联的观测(421，422，423)，完善所述临时静态标签对象和/或临时动态标签对象(522，524)的类型和属性(120)；
根据品质度量和/或质量度量来评估所述临时静态标签对象(522)或所述临时动态标签对象(524)；
响应于所述品质度量和/或质量度量低于预给定的阈值的情况，分支回到所述关联的步骤；
响应于所述品质度量和/或质量度量达到或超过所述预给定的阈值的情况，在使用所述临时静态标签对象(522)或所述临时动态标签对象(524)的情况下产生最终标签对象(620)。


7.根据以上权利要求中任一项所述的方法，
其中，使用所述第一观测(421)包括将所述第一观测(421)与示例对象(570)的列表(550)进行比较。<...

【专利技术属性】
技术研发人员：A·法伊尔阿本德，E·潘切拉，H·赫特莱茵，O·平克，T·格佩尔，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE