用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法技术方案

用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。一种比较模块从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。一种感知模块基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。一种诊断模块基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。

【技术实现步骤摘要】
用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法
引言本节中提供的信息是为了总体上呈现本公开的上下文的目的。当前署名的专利技术人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。本公开总体上涉及在自主车辆中使用的感知系统，且更特别地涉及用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。
技术介绍
在自主车辆中使用的感知系统利用各种传感器来感测车辆的周围环境。感知系统从这些传感器接收有关车辆周围环境的数据。例如，这些传感器包括摄像头和其他（例如，雷达、LIDAR、声纳等）传感器，它们位于车辆内和外部的各种位置处并将数据提供给感知系统。感知系统处理从这些传感器接收的数据并确定车辆的周围环境。例如，周围环境可包括其他车辆、行人、道路标志、交通标志、建筑物、地标等等。自主车辆的子系统可以基于这些确定点（determinations）来控制车辆。这些确定点也可以用以通知和警告驾驶员车辆周围的条件。
技术实现思路
一种系统包括比较模块、感知模块和诊断模块。比较模块被构造成：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。感知模块被构造成：基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。诊断模块被构造成基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。在另一个特征中，系统进一步包括缓解模块，该缓解模块被构造成响应于诊断模块在传感器中的一者或感知模块中诊断出故障来执行缓解程序。在另一个特征中，诊断模块被构造成基于在移动窗口上求平均值的第一差异和第二差异中的每一者的多个来确定传感器中的一者或感知模块是否有故障。在另一个特征中，响应于车辆是静止的，比较模块被构造成通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。在另一个特征中，响应于车辆处于运动中，比较模块被构造成：通过从第一数据和第二数据中识别特征并通过对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。在其他特征中，比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征。比较模块被构造成：分别将第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。在其他特征中，比较模块包括配对模块，该配对模块被构造成基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对。比较模块包括过滤模块，该过滤模块被构造成过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体。比较模块包括距离确定模块，该距离确定模块被构造成基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。在另一个特征中，配对模块被构造成：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。在另一个特征中，过滤模块被构造成：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。在其他特征中，距离确定模块被构造成通过以下步骤来确定第一组感知结果和第二组感知结果之间的欧几里得距离：在过滤后的被分类的第一组感知结果和第二组感知结果中生成被配对物体之间的距离的第一平均值；使用查找表基于被配对物体的类型来生成第二平均值；通过相应的权重来缩放第一平均值和第二平均值；以及将加权后的第一平均值和第二平均值进行组合。在再其他特征中，一种方法包括：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。该方法进一步包括：使用感知模块基于第一数据来生成第一组感知结果；使用感知模块基于第二数据来生成第二组感知结果；以及使用感知模块基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。该方法进一步包括：基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。在另一个特征中，该方法进一步包括：响应于在传感器中的一者或感知模块中诊断出故障来执行缓解程序。在另一个特征中，该方法进一步包括：通过在移动窗口上对第一差异和第二差异中的每一者的多个求平均值来确定传感器中的一者或感知模块是否有故障。在另一个特征中，该方法进一步包括：响应于车辆是静止的，通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。在另一个特征中，该方法进一步包括：响应于车辆处于运动中，通过从第一数据和第二数据中识别特征并对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。在其他特征中，该方法进一步包括：从多个相同的神经网络模型中选择第一神经网络模型和第二神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征；分别将第一数据和第二数据输入到第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。在其他特征中，该方法进一步包括：基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对；过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。在其他特征中，配对进一步包括：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。在另一个特征中，过滤进一步包括：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类本文档来自技高网...

【技术保护点】
1.一种系统，其包括：/n比较模块，其被构造成：/n从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；/n在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；/n将所述第一数据与所述第二数据进行比较；以及/n基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；/n感知模块，其被构造成：/n基于所述第一数据来生成第一组感知结果；/n基于所述第二数据来生成第二组感知结果；以及/n基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及/n诊断模块，其被构造成：基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。/n

【技术特征摘要】
20191101 US 16/6713451.一种系统，其包括：
比较模块，其被构造成：
从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；
在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；
将所述第一数据与所述第二数据进行比较；以及
基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；
感知模块，其被构造成：
基于所述第一数据来生成第一组感知结果；
基于所述第二数据来生成第二组感知结果；以及
基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及
诊断模块，其被构造成：基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。


2.根据技术方案1所述的系统，其进一步包括缓解模块，所述缓解模块被构造成响应于所述诊断模块在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。


3.根据技术方案1所述的系统，其中，所述诊断模块被构造成基于在移动窗口上求平均值的所述第一差异和所述第二差异中的每一者的多个来确定所述传感器中的一者或所述感知模块是否有故障。


4.根据技术方案1所述的系统，其中，响应于所述车辆是静止的，所述比较模块被构造成通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。


5.根据技术方案1所述的系统，其中，响应于所述车辆处于运动中，所述比较模块被构造成：
通过从所述第一数据和所述第二数据中识别特征并通过对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及
基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。


6.根据技术方案1所述的系统，其中，所述比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征，并...

【专利技术属性】
技术研发人员：胡峣，佟维，林玟樵，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US