处理传感器数据的方法、计算机程序、存储介质和系统技术方案

本发明专利技术涉及一种用于在具有多个传感器(2、3)的系统(1)中处理传感器数据的方法，所述传感器用于检测所述系统(1)周围的环境的至少一个部分区域，所述方法至少包括以下步骤：a)读入至少部分并行检测到的传感器数据，b)检查，基于所读入的传感器数据是否能够针对所述传感器(2、3)中的一个或多个确定出通过相应的传感器(2、3)进行的检测的至少部分的损害，c)在考虑步骤b)中的检查的情况下匹配所述传感器数据的使用。本发明专利技术还涉及一种用于执行所述方法的计算机程序、一种机器能读取的存储介质和一种系统。一种系统。一种系统。

【技术实现步骤摘要】
处理传感器数据的方法、计算机程序、存储介质和系统


[0001]本专利技术涉及一种用于在具有多个传感器的系统中处理传感器数据的方法，所述传感器用于检测所述系统周围的环境的至少一个部分区域。此外，说明了一种用于执行所述方法的计算机程序、一种机器能读取的存储介质以及一种系统，在所述机器能读取的存储介质上存储有计算机程序，所述系统尤其用于优选能够至少部分受辅助和/或自动化地驾驶的车辆。本专利技术尤其能够结合至少部分自动化或自主的驾驶来使用。

技术介绍

[0002]相机传感器是现代机器人和辅助系统的常见组成部分。在此，传感器和用于图像检测的光学路径通常暴露于退化的周围环境影响和老化过程。根据安全和可用性要求，有利的是，在系统设计中考虑这样的传感器故障。
[0003]一种示例是将相机使用在机动车中。在此，所述相机能够用于实现驾驶员辅助功能(SAE第1至2级)和(部分)自主的驾驶(SAE第3至5级)。存在可以使汽车相机退化的各种影响，尤其是污物、结冰、液滴、起雾、眩光、碎石打击、硬件故障、通信故障等。由于道路交通中的不正确的促动能快速导致重大风险，因此对处理传感器退化的安全要求通常是非常高的。与此相反地，在对驾驶员辅助系统和自主驾驶的可用性的要求中可能存在明显差异。随着自动化程度的提高，人类驾驶员可以作为一种快速可用且安全的落后模式(R
ü
ckfallebene)而被取消。相应地，传感器可用性(并且因此系统可用性)的最大化能够获得显著提高的价值，并且能够证明硬件和工程使用的显著增加是合理的。
[0004]在所有SAE级别的当前系统中，将系统功能静态地配属给确定的单个摄像机相机传感器或相机联合(Kameraverb
ü
nden)。例如，当行人或骑自行车的人进行横穿时，紧急制动通常根据在车辆中指向前方的相机的图像数据触发，而侧向取向的相机在很大程度上设计成识别其他车辆。此外，相机联合的示例是广角相机和远程相机的组合，以便不仅在远处而且在附近能够可靠地探测例如交通信号灯；或者也是相机带，其中，能够同时探测和定位超出所有相机图像的对象。
[0005]另一个特点是立体相机，其中，具有大致相同的观察方向的两个相机以水平偏移且彼此刚性连接的方式来运行。相机的距离通常为10
‑
30cm。通过这种布置，借助所谓的立体像差能够产生所映射的场景的三维重建。多于两个相机的联合也是可能的(参见图2)。
[0006]在当前系统中，两个立体图像传感器之一仅作为第二视角使用在场景中，以便实现深度估计。所有其他功能(例如，自运动估计、语义分割，对象识别)仅基于第一传感器的图像数据流构建。这种成像的数据路径通常且在下文中被称为主数据路径。根据集成概念，有时甚至常见的是，立体相机作为用于进一步处理的接口仅提供图像和深度地图——第二图像在此不可用。
[0007]一般而言，目前，仅为了故障冗余的目的而安装相机是不常见的。相应地，通常，多传感器联合中的每一个安装的相机用于至少一个专用系统应用情况。相应地，每一个故障能够决定功能性限制。
[0008]除了尽可能精确地探测故障(例如通过失明识别)和尽可能安全的系统行为之外，尤其随着自动化程度的增加，通常一个目标是：在给定的传感器故障的情况下最大化系统功能的可用性。在此，这里所描述的方法能够作出重要的贡献。
[0009]另一个目标能够在于：通过改变的系统设计来提高传感器数据、例如视频数据在(机器人或辅助)系统中的可用性，该系统配备有多个传感器、例如相机。

技术实现思路

[0010]这些目标或者说任务能够利用一种用于处理传感器数据的方法、一种用于执行所述方法的计算机程序、一种机器能读取的存储介质和一种系统来实现或者说解决。在扩展技术方案中说明并且在以下说明书中描述有利的构型。
[0011]有助于此的是一种用于在具有多个传感器的系统中处理传感器数据的方法，所述传感器用于检测所述系统周围的环境的至少一个部分区域，所述方法至少包括以下步骤：
[0012]a)读入至少部分并行检测到的传感器数据，
[0013]b)检查，基于所读入的传感器数据是否能够针对所述传感器中的一个或多个确定出通过相应的传感器进行的检测的至少部分的损害，
[0014]c)在考虑步骤b)中的检查的情况下匹配传感器数据的使用。
[0015]步骤a)、b)和c)能够为了执行所述方法而例如至少一次地和/或重复地以所说明的顺序被执行。此外，步骤a)、b)和c)(尤其是步骤b)和c))能够至少部分地并行或同时地执行。
[0016]所描述的方法尤其用于尽可能精确地探测故障(例如通过失明识别)，这能够有助于尽可能安全的系统行为。此外，所述方法能够以有利的方式有助于使系统功能的可用性在给定的传感器故障的情况下尽可能最大化。此外，所述方法能够实现，有利地提高传感器数据、例如视频数据在(机器人或辅助)系统中的可用性。所述方法能够以有利的方式有助于在用于(部分)自动化的驾驶的应用的情况下基于可用性地选择主图像数据流。
[0017]根据一个特别有利的构型，能够实现所描述的优点，其方式是，对于安装的(图像)传感器中的每一个计算潜在的失明或者说退化，根据该潜在的失明或者说退化匹配数据流或者说图像流的进一步使用。对于匹配的系统设计来说特别有利的是，两个或更多相机检测周围环境的足够相似的部分，使得它们至少部分是冗余的。
[0018]在步骤a)中，读入至少部分并行检测到的传感器数据。在此，尤其是从在时间上至少部分并行检测到的传感器数据进行读入。此外，优选能够从不同的、尤其是至少部分并行的传感器数据流中进行读入。此外，能够从具有尤其至少部分重叠的检测区域5的传感器进行读入。
[0019]在步骤b)中检查，基于所读入的传感器数据是否能够针对所述传感器中的一个或多个确定出通过相应的传感器进行的检测的至少部分的损害。尤其地，在此能够检查，基于所读入的传感器数据是否能够针对所述传感器中的一个或多个确定出相应的传感器的至少部分的失明。
[0020]在步骤c)中，在考虑步骤b)中的检查的情况下匹配传感器数据的使用。在此，尤其能够从不同的传感器数据流中选择主传感器数据流或用于系统的主数据路径的传感器数据流。
[0021]根据一个有利的构型提出，所述传感器中的一个或多个是相机传感器。例如，所述传感器数据流中的一个或多个能够是图像数据流。尤其地，在步骤a)中，不同的、尤其是在时间上至少部分并行地检测到的图像数据流能够从不同的相机传感器读入。
[0022]根据另一个有利的构型提出，步骤b)中的检查基于所述传感器中的不同传感器的检测的比较来进行。例如，步骤b)中的检查能够基于所述传感器中的不同传感器的至少部分冗余的检测的比较来实现。
[0023]根据另一个有利的构型提出，提供关于以下的至少一个信息：
[0024]·
一个或者说所选择的(主)传感器数据流，和/或
[0025]·
所述检测的所确定的损害，和/或...

【技术保护点】

【技术特征摘要】
1.一种用于在具有多个传感器(2、3)的系统(1)中处理传感器数据的方法，所述传感器用于检测所述系统(1)周围的环境的至少一个部分区域，所述方法至少包括以下步骤：a)读入至少部分并行检测到的传感器数据，b)检查，基于所读入的传感器数据是否能够针对所述传感器(2、3)中的一个或多个确定出通过相应的传感器(2、3)进行的检测的至少部分的损害，c)在考虑步骤b)中的检查的情况下匹配所述传感器数据的使用。2.根据权利要求1所述的方法，其中，所述传感器(2、3)中的一个或多个是相机传感器。3.根据权利要求1或2所述的方法，其中，步骤b)中的检查基于所述传感器(2、3)中的不同传感器的检测的比较来进行。4.根据前述权利要求中任一项所述的方法，其中，提供关于以下的至少一个信息：
·
所选择的传感器数据流，和/或
·
所述检测的所确定的损害，和/或
·
由于选择而发生变化的、用于主数据路径(11)的传感器(2、3)位置。5.根据前述权利要求...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：