具有对传感器数据的机器学习分类的嵌入式机动车辆感知制造技术

该申请披露了一种计算系统，以实施车辆的辅助或自动驾驶系统的传感器数据中的感知。所述计算系统可以生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示，并且将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较。基于该比较，所述计算系统可以至少部分地基于所述传感器测量数据的可匹配的表示与所述对象模型进行的比较，将所述传感器测量数据分类为与所述对象的类型相对应。用于所述车辆的控制系统可以被配置以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制车辆的操作。

Embedded vehicle awareness with machine learning classification for sensor data

【技术实现步骤摘要】
【国外来华专利技术】具有对传感器数据的机器学习分类的嵌入式机动车辆感知相关申请本专利申请要求于2017年5月1日提交的62/492,416号美国临时专利申请的优先权，该申请通过引用并入本文。
本申请总体上涉及自动驾驶和辅助系统，并且更具体地涉及一种具有对传感器数据的机器学习分类的嵌入式机动车辆感知。
技术介绍
许多现代车辆包括内置的先进驾驶员辅助系统(ADAS)，以提供自动的安全和/或辅助驾驶功能。例如，这些先进驾驶员辅助系统可以具有多种应用，以实施自适应巡航控制、自动驻车、自动制动、盲点监测、碰撞避免、驾驶员睡意检测、车道偏离警报等。下一代车辆可以包括自动驾驶(AD)系统，以独立于人机交互而进行对车辆的控制和导航。这些车辆典型地包括多个传感器，例如一个或多个摄像头、光检测和测距(LightDetectionandRanging，激光雷达)传感器、无线电检测和测距(RadioDetectionandRanging，雷达)系统、超声波等，以测量车辆周围环境的不同部分。每一个传感器处理它们随时间捕获的测量结果，以检测它们视场内的对象，并且然后向该传感器专用于其中的先进驾驶员辅助系统或者自动驾驶系统中的应用提供检测到的对象的列表。在一些情况下，这些传感器也可以基于它们所捕获的测量结果提供与其在列表中的对象的检测相对应的置信水平(confidencelevel)。所述先进驾驶员辅助系统或者自动驾驶系统中的应用可以使用从它们的对应传感器接收的对象列表，并且在一些情况下，可以使用它们的检测的相关联的置信水平，以实施自动安全和/或驾驶功能。例如，当车辆前部的雷达传感器向车辆中的先进驾驶员辅助系统提供具有在车辆的当前路径上的对象的列表时，先进驾驶员辅助系统中的对应于前端碰撞的应用可以向车辆的驾驶员提供警报或者控制车辆，以避免与所述对象发生碰撞。由于每一个应用具有专用传感器，所述应用可以接收来自这些专用传感器的对象列表，从而向所述应用提供围绕车辆的一部分中的固定的视场。当用于应用的多个传感器具有至少部分交叠的视场时，所述应用可以将来自它的为该应用提供的用于围绕车辆的该部分中的固定的视场的多个专用传感器的对象列表进行整合。但是，由于车辆移动，这些传感器所提供的狭窄的视场将会使所述应用对潜在对象存在盲区。相反地，较宽的视场会增加成本(例如，由于额外的传感器)，并且增加数据处理延迟。
技术实现思路
本申请披露了一种计算系统，用以执行车辆的辅助或自动驾驶系统中对传感器测量数据的机器学习分类。所述计算系统可以接收来自多个不同的传感器模态的传感器测量数据，其中该计算系统可以在时间上和空间上与环境模型对准。所述计算系统可以检测所述传感器测量数据中的事件，例如数据点群集或图像特征。所述计算系统可以实施机器学习对象分类器，以生成对应于所述检测事件的传感器测量数据的分类，并且可选地生成与所生成的分类相关联的置信水平。所述计算系统可以将所述传感器测量数据的可匹配的表示输入到机器学习对象分类器中，从而可以将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的至少一个对象模型进行比较。所述对象模型可以包括用于某个对象类型的可匹配的数据(所述对象类型包括各种姿态、方位、过渡状态、姿态或方位的潜在变形、纹理特征等)，以与可匹配的表示进行比较。基于该比较，所述计算系统可以将传感器测量数据分类(或预分类)为与对象类型相对应。在一些实施例中，所述计算系统可以通过确定用于所述传感器测量数据的边界轮廓，并且基于(至少部分地基于)所述传感器测量数据在所述边界轮廓内创建表面积数据，来生成所述传感器测量数据的可匹配的表示。所述计算系统还可以估算检测事件中所述车辆和与传感器测量数据相关联的对象之间的距离，该距离可以由机器学习对象分类器在传感器测量数据的可匹配的表示与对象模型之间的比较中加以利用。在一些实施例中，所述机器学习对象分类器可以包括多个分类图或者计算图，例如，其中的每一个用以描述不同的对象模型。在一些实施例中，所述分类图可以包括多个节点，每一个节点被配置以包括对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征的子集的可匹配的数据。实施该机器学习对象分类器的计算系统可以通过遍历一个或多个分类图中的节点，执行传感器测量数据的可匹配的表示与对象模型的比较，从而对所述传感器测量数据进行分类。在一些实施例中，所述分类系统还可以包括管理节点，以选择在比较期间将要遍历其中哪些分类图，并且例如基于从所选择的分类图的节点的输出，控制对于所选择的分类图的遍历。所述计算系统可以以各种方式来利用传感器测量数据的分类和相关联的置信水平。在一些实施例中，所述计算系统可以利用该分类作为用于对环境模型中的对象进行后续跟踪的预分类。用于所述车辆的控制系统可以被配置，以基于(至少部分地基于)传感器测量数据的已分类的对象的类型来控制所述车辆的操作。在一些实施例中，所述分类可识别车辆周围的特定信息，例如相邻车辆是否具有点亮的制动灯、停车灯的颜色等，这些信息可由计算系统的情景感知功能来加以利用。下面将更加详细地描述各个实施例。附图说明图1示出了根据各个实施例的示例性的自动驾驶系统。图2A示出了根据各个实施例的用于被部署在车辆中的传感器系统的示例性的测量坐标场。图2B示出了根据各个实施例的与用于车辆的环境模型相关联的示例性的环境坐标场。图3示出了根据各个示例的示例性的传感器融合系统。图4示出了根据各个实施例的传感器融合系统中的示例性的分类系统。图5A示出了根据各个示例的分类系统的机器学习对象分类器实施方式中的示例分类图。图5B示出了根据各个实施例的用于将传感器测量数据与分类图的节点中的可匹配的数据进行比较的示例性的流程。图6示出了根据各个示例的用于传感器测量数据的分类的示例性的流程图。图7和图8示出了可以用于实施本专利技术的各个实施例那种类型的计算机系统的示例。具体实施方式用于自动驾驶的传感器融合。图1示出了根据各个实施例的示例性的自动驾驶系统100。参见图1，所述自动驾驶系统100，在被安装在车辆中时，可以感测车辆周围的环境，并且可以基于(至少部分地基于)所感测的环境来控制车辆的操作。该自动驾驶系统100可以包括具有多个传感器的传感器系统110，每一个传感器可以测量车辆周围的环境中的不同部分，并且可以输出测量结果，作为原始测量数据115。所述原始测量数据115可以包括：由传感器捕获的光、电磁波或者声音的特性(例如，光、电磁波或者声音的强度和频率)；由传感器接收的角度；光、电磁波或者声音的传输与对应的接收之间的时间延迟；光、电磁波或者声音的捕获时间等。所述传感器系统110可以包括多种不同类型的传感器，例如，图像捕获设备111、无线电检测和测距(雷达)设备112、光检测和测距(激光雷达)设备113、超声波设备114、一个或多个麦克风、红外或夜视摄像头、飞行时间摄像头、能够检测并传输像素强度差异的摄像头等。所述图像捕获本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由计算系统，生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示；/n由所述计算系统，将所述传感器测量数据的所述可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和/n由所述计算系统，至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作。/n

【技术特征摘要】
【国外来华专利技术】20170501 US 62/492,416;20180116 US 15/872,259;20181.一种方法，包括：
由计算系统，生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示；
由所述计算系统，将所述传感器测量数据的所述可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和
由所述计算系统，至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作。


2.根据权利要求1所述的方法，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
提取对应于所述传感器测量数据的结构的线；和
确定所述线之间的关系和连接，从而生成所述传感器测量数据的所述可匹配的表示。


3.根据权利要求1所述的方法，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
确定用于所述传感器测量数据的边界轮廓；和
至少部分地基于所述传感器测量数据，在所述边界轮廓内创建表面积数据，从而生成所述传感器测量数据的所述可匹配的表示。


4.根据权利要求1所述的方法，其中，将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较进一步包括：
至少部分地基于所述传感器测量数据中的一个或多个检测事件，从多个分类图中选择至少一个分类图，其中每一个分类图包括一个或多个计算节点以实施所述对象模型；和
遍历所选择的分类图中的所述计算节点，从而将所述传感器测量数据的所述可匹配的表示与在对象模型中所描述的对象的不同特性进行比较，其中所述对象模型与所选择的分类图相关联。


5.根据权利要求4所述的方法，其中，所述计算节点中的每一个包括有在所述对象模型中所描述的所述对象的表示，所述对象模型包括所述对象的姿态、所述对象的状态、所述对象的方位、所述对象的纹理特征、所述对象的帧间差异、或所述对象的一种或多种变形中的至少一种。


6.根据权利要求4所述的方法，其中，在所选择的分类图中的所述计算节点中的每一个被配置，以生成所述传感器测量数据的所述可匹配的表示与被包括在对应的计算节点中的所述对象的表示之间的匹配距离，其中所述遍历所选择的分类图中的所述计算节点是至少部分地基于由所述计算节点中的一个或多个生成的所述匹配距离。


7.根据权利要求1所述的方法，还包括：由所述计算系统，估算与所述传感器测量数据相关联的对象到所述车辆的距离，其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较是至少部分地基于所述对象到所述车辆的已估算距离、所述传感器测量数据的重心、或对应于所述传感器测量数据的边界框的中心。


8.一种装置，其包括存储有指令的至少一个存储设备，所述指令被配置以使一个或多个处理设备执行操作，所述操作包括：
生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示；
将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和
至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作。


9.根据权利要求8所述的装置，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
提取对应于所述传感器测量数据的结构的线；和
确定所述线之间的关系和连接，从而生成所述传感器测量数据的所述可匹配的表示。


10.根据权利要求8所述的装置，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
确定用于所述传感器测量数据的边界轮廓；和
至少部分地基于所述传感器测量数据，在所述边界轮廓内创建表面积数据，从而生成所述传感器测量数据的所述可匹配的表示。


11.根据...

【专利技术属性】
技术研发人员：L·默塞，M·博莱克，
申请(专利权)人：明导发展德国有限公司，
类型：发明
国别省市：德国;DE