低电平传感器融合制造技术

本申请公开了一种计算系统，用以实现车辆的辅助或者自动驾驶系统中的低电平传感器融合。所述低电平传感器融合可以包括：接收来自车辆中的传感器的原始测量数据并且基于捕获时间将所述原始测量数据在时间上对准。所述低电平传感器融合可以包括：基于(至少部分地基于)传感器安装在车辆中的位置，将传感器的测量坐标场与环境坐标场在空间上对准，并且然后基于测量坐标场与环境坐标场在空间上的对准，用由传感器捕获的原始测量数据填充所述环境坐标场。低电平传感器融合可以基于(至少部分地基于)环境坐标场中所填充的、来自多个传感器的原始测量数据，检测至少一个检测事件或者对象。

Low Level Sensor Fusion

【技术实现步骤摘要】
【国外来华专利技术】低电平传感器融合相关申请本专利申请要求2016年9月8日提交的申请号为62/385,149的美国临时专利申请的优先权，该美国临时专利申请以引用的方式并入本文。
本申请大体上涉及一种自动驾驶和辅助系统，并且更具体地，涉及一种用于自动驾驶和辅助系统的低电平传感器融合。
技术介绍
许多现代车辆包括内置的先进驾驶员辅助系统(ADAS)，以提供自动的安全和/或辅助驾驶功能。例如，这些先进驾驶员辅助系统可以实现自适应导航控制、自动驻车、自动制动、盲点监测、碰撞避免、驾驶员睡意检测、车道偏离警报等。下一代车辆可以包括自动驾驶(AD)系统，以独立于人为干预而进行对车辆的控制和导航。这些车辆典型地包括多种传感器，例如一个或多个摄像头、光检测和测距(LightDetectionandRanging，激光雷达)传感器、无线电检测和测距(RadioDetectionandRanging，雷达)系统等，以测量车辆周围环境的不同部分。每一个传感器处理它们随时间捕获的测量结果，以检测它们视场内的对象，并然后向先进驾驶员辅助系统或者自动驾驶系统提供检测到的对象的列表，以使它们用于实现自动安全和/或驾驶功能。在一些情况下，传感器也可以基于它们所捕获的测量结果提供与其在列表中的对象的检测相对应的置信等级(confidencelevel)。所述先进驾驶员辅助系统或者自动驾驶系统可以使用所述对象列表，以及在一些情形中，可以使用与其检测相关联的置信等级，以实现自动安全和/或驾驶功能。例如，当车辆前部的雷达传感器向车辆中的先进驾驶员辅助系统提供具有车辆的当前路径上的对象的列表时，该先进驾驶员辅助系统可以向车辆的驾驶员提供警报或者控制车辆，以避免与所述对象发生碰撞。由于一些传感器可以具有至少部分重叠的视场，因此所述先进驾驶员辅助系统或者自动驾驶系统可以整合对象列表，以试图确认由一个传感器检测到的对象是否也由另一个传感器检测到。这种对象的整合有时被称作对象级整合(object-levelintegration)。当多个传感器已检测到相同的对象时，所述先进驾驶员辅助系统可以提高与对象的存在相关联的置信等级。但是，如果传感器出现分歧(一个传感器检测到对象而另一传感器没有检测到该对象)，那么所述先进驾驶员辅助系统或者自动驾驶系统不得不做出如何进行应对的决策。例如，所述先进驾驶员辅助系统或者自动驾驶系统可以基于来自单个传感器的对象列表来假定对象的存在，但是具有低置信等级，忽略由传感器检测的对象，或者延迟做出决策，以观察是否有传感器随时间修改它们的对象列表。此外，由于每个传感器排他性地基于其自己捕获的测量结果而单独地执行其对象检测，当对象相对于车辆移动时，其可能从一个传感器的视场中离开，并且只有在进入到不同的传感器的视场中之后才能被再次检测到。
技术实现思路
本申请公开了一种计算系统，用以实现车辆的驾驶员辅助系统和/或自动驾驶系统中的低电平传感器融合。所述低电平传感器融合可以包括：接收来自车辆中的传感器的原始测量数据并且基于捕获时间将所述原始测量数据在时间上对准。所述低电平传感器融合可替代地或者额外地包括：基于(至少部分地基于)传感器安装在车辆中的位置，将传感器的测量坐标场与环境坐标场在空间上对准，并且然后基于测量坐标场与环境坐标场在空间上的对准，用由传感器捕获的原始测量数据填充所述环境坐标场。低电平传感器融合可以基于(至少部分地基于)填充在环境坐标场中的、来自多个传感器的原始测量数据，检测车辆附近的至少一个对象。下面将更加详细地描述各个实施例。附图说明图1示出了根据各个实施例的示例性的自动驾驶系统。图2A示出了根据各个实施例的用于应用在车辆中的传感器系统的示例性的测量坐标场。图2B示出了根据各个实施例的与用于车辆的环境模型相关联的示例性的环境坐标场。图3示出了根据各个示例的示例性的传感器融合系统。图4示出了根据各个示例的用于低电平传感器融合的示例性的流程图。图5示出了根据各个示例的用于基于由低电平传感器融合产生的环境模型的示例性的对象跟踪流程图。图6示出了根据各个示例的用于管理环境模型中的感兴趣区域的示例性的流程图。图7和图8示出了可以用于实现各个实施例的计算机系统类型的示例。具体实施方式用于自动驾驶的传感器融合。图1示出了根据各个实施例的示例性的自动驾驶系统100。参见图1，所述自动驾驶系统100，在被安装在车辆中时，可以感测车辆周围的环境，并且可以基于(至少部分地基于)所感测的环境来控制车辆的操作。该自动驾驶系统100可以包括具有多个传感器的传感器系统110，每一个传感器可以测量车辆周围的环境中的不同部分，并且可以输出测量结果，作为原始测量数据115。所述原始测量数据115可以包括：由传感器捕获的光、电磁波或者声音的特性(例如，光、电磁波或者声音的强度或频率)；传感器的接收角度；光、电磁波或者声音的传输与对应的接收之间的时间延迟；光、电磁波或者声音等的捕获时间等。所述传感器系统110可以包括多种不同类型的传感器，例如，图像捕获设备111、无线电检测和测距(雷达)设备112、光检测和测距设备(激光雷达)113、超声波设备114、一个或多个麦克风、红外或夜视摄像头、飞行时间摄像头、能够检测并传输像素强度差异等的摄像头等。所述图像捕获设备111(例如一个或多个摄像头)可以捕获车辆周围的环境的至少一部分中的至少一幅图像。图像捕获设备111可以输出捕获到的一个或多个图像，作为原始测量数据115，在一些实施例中，所述原始测量数据可以为对应于捕获到的一个或多个图像的未处理的和/或未压缩的像素数据。雷达设备112可以将无线电信号发射到车辆周围的环境中。由于所发射的无线电信号可以从环境中的对象反射，雷达设备112可以检测从环境中入射的所反射的无线电信号。雷达设备112可以通过例如测量无线电信号的信号强度、接收角度、频率等来测量入射的无线电信号。雷达设备112也可以测量无线电信号的发射与来自环境中的入射的无线电信号的测量结果之间的时间延迟，其中，所述来自环境中的入射的无线电信号对应于从环境中的对象反射的已发射的无线电信号。雷达设备112可以输出入射的无线电信号的测量结果，以作为原始测量数据115。所述激光雷达设备113可以将光(例如，来自激光器或者其他光学传输设备的光)传输至车辆周围的环境中。在一些实施例中，所传输的光可以是紫外光、可见光、近红外光等等的脉冲。由于所传输的光可以从环境中的对象反射，因此所述激光雷达设备113可以包括光电检测器，以测量从环境中入射的光。激光雷达设备113可以通过例如测量光的强度、波长等方式来测量入射的光。激光雷达设备113也可以测量光脉冲的传输与从环境中入射的光的测量结果之间的时间延迟，所述从环境中入射的光对应于所传输的、已从环境中的对象反射的光。激光雷达设备113可以输出入射的光以及时间延迟的测量结果，作为原始测量数据115。所述超声波设备114可以将(例如，通过换能器等产生的)声脉冲发射至车辆周围的环境中。超声波设备114可以检测从环境中入射的超声波，例如，所发射的、已从环境中的对象反射的声脉冲。超声波设备114也可以测量声脉冲的发射与来自环境中的超声波的接收之间的时间延迟，所述来自环境中的超声波对应于所发射的、已从环境中的对象本文档来自技高网...

【技术保护点】
1.一种方法，包括：基于、至少部分地基于安装在车辆中的传感器的位置，通过计算系统，将所述传感器的测量坐标场和与所述车辆相关联的环境坐标场在空间上对准；基于所述测量坐标场与所述环境坐标场在空间上的对准，通过所述计算系统，用由所述传感器捕获的原始测量数据填充所述环境坐标场；和基于、至少部分地基于填充到所述环境坐标场中的所述原始测量数据，通过所述计算系统识别至少一个检测事件，其中用于所述车辆的控制系统被配置，以基于、至少部分地基于所述检测事件来控制所述车辆的操作。

【技术特征摘要】
【国外来华专利技术】2016.09.08 US 62/385,149;2016.10.06 US 15/287,5371.一种方法，包括：基于、至少部分地基于安装在车辆中的传感器的位置，通过计算系统，将所述传感器的测量坐标场和与所述车辆相关联的环境坐标场在空间上对准；基于所述测量坐标场与所述环境坐标场在空间上的对准，通过所述计算系统，用由所述传感器捕获的原始测量数据填充所述环境坐标场；和基于、至少部分地基于填充到所述环境坐标场中的所述原始测量数据，通过所述计算系统识别至少一个检测事件，其中用于所述车辆的控制系统被配置，以基于、至少部分地基于所述检测事件来控制所述车辆的操作。2.根据权利要求1所述的方法，还包括：基于所述传感器捕获到所述原始测量数据的不同部分的时间，通过所述计算系统将所述原始测量数据在时间上对准，其中，用所述原始测量数据填充所述环境坐标场是基于、至少部分地基于所述原始测量数据在时间上的对准。3.根据权利要求1所述的方法，还包括：通过所述计算系统从所述检测事件中检测对象的存在；和通过所述计算系统用对应于所述对象的数据填充所述环境坐标场。4.根据权利要求3所述的方法，其中，所述从所述检测事件中检测对象的存在还包括：当利用新原始测量数据更新所述环境坐标场时，随时间跟踪所述检测事件；和基于随时间的对所述检测事件的跟踪，检测对应于所述检测事件的对象。5.根据权利要求4所述的方法，其中所述随时间跟踪所述检测事件还包括：基于所述原始测量数据将所述检测事件分类为对象类型；和根据基于所述检测事件的分类所选择的状态改变预测模型，随时间监测所述检测事件。6.根据权利要求1所述的方法，其中从所述原始测量数据中识别所述检测事件还包括：检测所述环境坐标场的部分中的所述原始测量数据的存在；和当检测到的环境坐标场的部分中的所述原始测量数据超出预定的噪声阀值时，识别所述检测事件，所述噪声阀值对应于所述原始测量数据中的强度随时间的改变、对应于所述原始测量数据中的反射随时间的改变、或者对应于所述原始测量数据中的像素值的改变。7.根据权利要求1所述的方法，还包括：用来自对象列表的信息填充所述环境坐标场，其中所述环境坐标场包括与来自所述对象列表的一个或多个对象整合的原始测量数据。8.一种装置，包括存储有指令的至少一个存储器设备，所述指令被配置以使一个或多个处理设备执行操作，所述操作包括：基于、至少部分地基于传感器安装在车辆中的位置，将所述传感器的测量坐标场和与所述车辆相关联的环境坐标场在空间上对准；基于所述测量坐标场与所述环境坐标场在空间上的对准，用由所述传感器捕获的原始测量数据填充所述环境坐标场；基于、至少部分地基于填充到环境坐标场中的所述原始测量数据，识别至少一个检测事件，其中用于所述车辆的控制系统被配置，以基于、至少部分地基于所述检测事件来控制所述车辆的操作。9.根据权利要求8所述的装置，其中，所述指令被进一步配置以使所述一个或多个处理设备执行操作，包括：基于所述传感器捕获到所述原始测量数据的不同部分的时间，将所述原始测量数据在时间上对准，其中用所述原始测量数据填充所述环境坐标场是基于、至少部分地基于所述原始测量数据在时间上的对准。10.根据权利要求8所述的装置，其中所述指令被进一步配置以使所述一个或多个处理设备执行操作，包括：从所述检测事件中检测对象的存在；和用对应于所述对...

【专利技术属性】
技术研发人员：R·奥德，A·E·盖格尔，L·默塞，M·博莱克，
申请(专利权)人：明导发展德国有限公司，
类型：发明
国别省市：德国,DE