用于至少一个车辆目标传感器的传感器目标数据的自动的对象标记和/或部段标记的方法，车辆具有车辆摄像机和间距传感器。方法包括：摄像机图像序列的第一检测；根据所检测的摄像机图像序列产生车辆的周围环境表示；通过受训练的机器识别方法根据所检测的摄像机图像识别在周围环境中的对象；根据摄像机图像求取对象的估计位置；基于所识别的对象和所识别的对象的所求取的估计位置对周围环境表示的点进行分类；借助间距传感器对间距数据进行第二检测。根据所检测的间距数据匹配所产生的周围环境表示。基于经匹配的周围环境表示从虚拟的观察视角计算周围环境的合成的图像。基于计算的合成的图像标记所检测的传感器目标数据。算的合成的图像标记所检测的传感器目标数据。算的合成的图像标记所检测的传感器目标数据。
【技术实现步骤摘要】
传感器目标数据的自动对象标记和/或部段标记的方法、应用、计算模块和系统
[0001]本专利技术涉及一种用于至少一个车辆目标传感器的传感器目标数据的自动的对象标记和/或部段标记的方法，其中，所述车辆具有至少一个车辆摄像机和间距传感器。本专利技术也涉及根据本专利技术所标记的传感器目标数据用于训练机器识别方法的使用。此外，本专利技术涉及一种包括指令的计算机程序，在由计算机实施程序时，所述指令促使该计算机实施该方法的根据本专利技术的步骤。此外，本专利技术涉及一种控制设备或者一种中央的或者区域性的计算模块，该计算模块具有计算单元，该计算单元这样配置，使得它实施根据本专利技术的方法的步骤。
技术介绍
[0002]隆德学生参考文献第1版的第532页的文章Gustafsson，F.(2010)的《统计传感器合并(Statistical sensor fusion)》公开了两个或者多个传感器的信息的合并。
[0003]在交互式自适应学习(IAL)研讨会(Workshop on Interactive Adaptive Learning)，ECML PKDD中的Bieshaar，M.等人(2021)的文章《通过跨域标签转移实现在自动驾驶中的感知的高度自动化的预标记的概念(AConcept for Highly Automated PreLabeling via Cross
‑
Domain Label Transfer for Perception in Autonomous Driving)》公开了：通过受训练的机器识别方法或者受训练的对象探测器、尤其是神经网络针对基于摄像机图像的相应的传感器目标数据和/或基于激光雷达传感器的传感器目标数据对对象进行自动的预分类。在此，除了对预分类的识别之外，也可以确定相应的三维的边界框的坐标和大小以及偏航角。可以设置，对所识别的对象的所求取的基于不同的传感器类型的检测对象的预分类以及它们的被分配的概率进行相互比较或者合并。
[0004]在本专利技术意义下的车辆的周围环境中的静止的对象是例如树木、灌木、停放的车辆、交通信号灯、灯杆、护柱、路边石、侧柱、支柱、石块等等。静态的对象有利地具有相对于车辆相同或者更小的尺寸。静态的对象至少在当前的时间点不运动(如停放的车辆)或者原则上不可以运动(如交通信号灯或者灯杆)。
[0005]在本专利技术的意义下的车辆的周围环境中的动态的对象是例如人或者行人和/或其他的运动的对象、尤其是行驶的机动车、自行车、球、动物等等。
[0006]在本专利技术的意义下的车辆的周围环境中的部段(Segmente)是例如对于车辆而言可通行的路面(如例如道路和/或停车场表面)、周围环境的不可通行的部分(如例如绿地或者被占用的停车场)、其他的停放车辆、建筑物部分、天空等等。
[0007]基于车辆的定向周围环境的摄像机的图像的、自上而下视图或者从垂直向下的鸟瞰视角的视图是已知的。在此，典型地，在图像点之间使用固定的分配规则，以便基于光学系统的已知的特性将检测的图像转换为自上而下视图的所显示的图像。这些分配规则或者坐标变换或者查找表格或者变换矩阵校正例如广角摄像机的广角光学系统的图像并且有利地改变观察视角。也已知虚拟的观察视角的转变，例如在车辆中的环绕视图模型的视图
中。
技术实现思路
[0008]本专利技术的任务在于，改进对所检测的传感器目标数据的自动的对象标记和/或部段标记。
[0009]根据本专利技术，以上的任务通过根据本专利技术的用于至少一个车辆目标传感器的传感器目标数据的自动的对象标记和/或部段标记的方法、根据所述的方法所标记的传感器目标数据用于训练机器识别方法的使用、计算机程序、控制设备或者中央的或者区域性的计算模块和系统来解决。
[0010]本专利技术涉及一种用于至少一个车辆目标传感器的传感器目标数据的自动的对象标记和/或部段标记或者用于其自动的贴标签的方法。该车辆包括至少一个车辆摄像机。车辆摄像机优选是至少一个单摄像机或者立体摄像机。该车辆也包括至少一个间距传感器，其中，该间距传感器是例如激光雷达传感器、雷达传感器和/或超声传感器。间距传感器优选是有源的传感器，所述有源的传感器发射出辐射信号，例如激光束、雷达信号或者超声信号。间距传感器有利地接收对于所发射的辐射信号在车辆的周围环境中的对象上反射的信号。有利地，可以从被反射的信号或者反射信号的传播时间来求取在车辆和对象点之间的间距和/或在车辆的周围环境中的对象的对象点的位置。
[0011]该方法包括借助于车辆的车辆摄像机对至少一个摄像机图像序列的第一检测。接着，根据至少一个所检测的摄像机图像序列产生车辆的周围环境的至少二维的地图或者周围环境表示，例如通过基于图像的从运动恢复结构(Structure from Motion)方法或者通过基于图像的立体方法产生。所产生的周围环境表示或者地图包括大量的周围环境表示点或者地图点，所述周围环境表示点或者地图点分别表示在车辆的周围环境中的对象的点的位置、尤其是相对于车辆的位置。周围环境表示的点或者地图点的位置根据相应的对象点到车辆的所求取的基于摄像机的间距确定，其中，对象点的基于摄像机的间距根据至少一个所检测的摄像机图像序列求取。该方法也具有通过受训练的机器识别方法根据摄像机图像的至少一个摄像机图像序列对在车辆的周围环境中的至少一个静态的或者动态的对象和/或部段的识别。接着，根据所检测的摄像机图像序列的至少一个摄像机图像求取在车辆的周围环境中所识别的静态的或者动态的对象的估计位置和/或所识别的部段的方位区域。对估计位置的这种求取根据已知的现有技术进行。估计位置可以例如通过垂足点确定(Fuβpunktbestimmung)来求取或者通过一种另外的受训练的机器识别方法来识别。然后，对所产生的周围环境表示的至少一个点或者所产生的地图的地图点的分类基于至少一个所识别的对象并且根据所识别的对象的所求取的估计位置和/或基于所识别的部段并且基于部段的所求取的方位区域进行，其中，将分类分配给相应的点或者地图点并且对其进行存储。换言之，周围环境表示具有点或者地图具有地图点，所述地图点表示离车辆的周围环境中的对象点的间距信息，其中，地图点被分配所属的、所识别的对象的和/或所属的部段的分类。可选地，可以设置，周围环境表示或者地图具有多个层或者包括多个子地图、例如用于静态的对象的第一子地图和/或用于动态的对象的第二子地图和/或用于部段的第三子地图。可选地，可以设置，周围环境表示或者地图和/或第一、第二和/或第三子地图是列表形式的，其中，将地图点的坐标与在相应的列表中的相应的分类一起存储。第二子地图可
以以列表形式包括例如相应的动态的对象的至少一个当前的位置、当前的运动方向和/或当前的速度。此外，该方法包括借助于至少一个间距传感器的、间距数据的第二检测，其中，该第二检测尤其连续地并且与第一检测同时地进行。第二检测尤其是借助于有源的间距传感器进行。优选地，设置借助于至少两个间距传感器的、间距数据的第二检测，其中，间距传感器有不同的传感器型式，例如在车辆上设置雷达传感器、激光雷达传感器和/或超声传本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.用于至少一个车辆目标传感器(130)的传感器目标数据的自动的对象标记和/或部段标记的方法，其中，所述车辆(100)具有至少一个车辆摄像机(110)和间距传感器(120)，所述方法包括以下步骤：
·
借助于所述车辆摄像机(110)进行至少一个摄像机图像序列的第一检测(210)，
·
根据所检测的摄像机图像序列产生(220)所述车辆(100)的周围环境表示、尤其是地图(300)，
·
根据所检测的至少一个摄像机图像识别(230)在所述车辆(100)的周围环境中的至少一个对象(190)和/或部段，
·
根据所述至少一个摄像机图像，尤其是相对于所述车辆(100)，求取(231)在所述车辆(100)的周围环境中的所识别的对象(190)的估计位置和/或所识别的部段的方位区域，
·
基于所识别的对象(190)和所求取的估计位置和/或基于所识别的部段和所求取的方位区域对所产生的周围环境表示的至少一个点进行分类(240)，和
·
借助于所述至少一个间距传感器(120)对间距数据进行第二检测(250)，其特征在于，接着执行以下步骤：
·
根据所检测的间距数据匹配(260)所产生的周围环境表示，
·
基于经匹配的周围环境表示从虚拟的观察视角(410)计算(270)所述周围环境的合成的图像(420)，其中，将所述周围环境表示的点的分类分配给所述合成的图像(420)的相对应的像素作为附加信息，和
·
基于所计算的合成的图像(420)标记(280)所检测的传感器目标数据。2.根据权利要求1所述的方法，其中，所述周围环境表示的匹配(260)通过在所述间距传感器(120)到相应的点的检测方向(191b，192b，193b)上改变所述周围环境表示的点的位置根据所检测的间距数据的在所述检测方向上所检测的间距(320)和/或根据所检测的间距数据的在所述检测方向周围的区域中统计平均的间距进行。3.根据以上权利要求中任一项所述的方法，其中，执行以下方法步骤：
·
根据所检测的间距数据确定(251)至少一种反射特性，和
·
附加地，根据所确定的反射特性、尤其是通过受训练的机器识别方法匹配(260)所述周围环境表示，其中，当在一个点上的间距数据的反射特性与所分配的分类相关联时，根据间距匹配所述...
【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。