具有自修复能力的自主驾驶车辆的多模态感测制造技术

一种用于自主车辆的装置，该装置包括具有独立的分类过程的感知流水线，该独立的分类过程并行操作以基于来自多个不同类型传感器中的多个传感器的传感器数据流来分别标识属于特定对象类型的对象。该装置还包括传感器监测级，该传感器监测级用于与感知流水线并行地操作并用于使用传感器数据流来估计和跟踪多个不同类型的传感器中的每一个传感器的置信度水平，并且在与缺陷传感器相关联的置信度水平未能满足置信度阈值时，使缺陷传感器无效。

Multimodal sensing of autonomous vehicle with self-healing ability

【技术实现步骤摘要】
【国外来华专利技术】具有自修复能力的自主驾驶车辆的多模态感测
本公开的实施例在自主或半自主装置的领域中，尤其涉及具有自修复能力的自主驾驶车辆中的多模态感测。
技术介绍
本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。除非在本文中另有指示，否则本部分中描述的材料不是本申请中的权利要求的现有技术，并且不因为包含在本部分中而被承认为现有技术。自主或半自主装置(诸如，自动驾驶汽车、无人驾驶飞行器(UAV，也称为无人机)或机器人)可依赖于多模态的传感器集合来感知、绘制和跟踪周围环境。传感器可包括若干类型，诸如远距离雷达、中距离雷达前端、夜视相机、摄像机、后视相机、超声、中距离雷达后端等。每种类型的传感器可具有其自身的优点和缺陷。一旦定义了最小传感器集，这些传感器中的每一个传感器对于安全地操作车辆都是必不可少的。每当这种最小集的传感器发生故障时，当前的车辆行为就将采取行动以通过接合紧急制动系统(EmergencyBrakeSystem)或类似的适用于无人驾驶车辆的紧急停车方法来安全地停车，否则会损害车辆的自主性和安全性。出于该原因，自主车辆制造商选择提供最小传感器集的超集，以提供每传感器类型的冗余，这最终导致车辆设计的更高的成本和更高的外围设备复杂度。附图说明通过下列结合附图的详细描述，将容易地理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。在所附附图的各图中，通过示例的方式而非通过限制的方式来图示实施例。图1图示了自主或半自主车辆上的代表性多模态异构传感器阵列。图2图示具有连续传感器监测和自修复能力的多模态传感器感知流水线的示图。图3是图示根据一个公开的实施例的由具有传感器监测和自修复能力的多模态感知流水线执行的过程的流程图。图4图示了用作用于在给定所有其他相关的传感器的行为的情况下估计传感器发生故障的概率的管理程序的贝叶斯网络(BayesNetwork)。图5图示了由贝叶斯网络管理程序用于估计传感器发生故障的概率的方程式。图6是比较从不同传感器解释的向量描述符的一个分量的曲线图。图7图示了可以用于检测(多个)异常值传感器的示例集群算法。图8A图示了针对图6所示示例的由图7的集群算法输出的集群结果。图8B是图示故障传感器的误差度量的曲线图。图9是图示了基于传感器转换器模型的示例传感器套件管理程序过程的框图。图10图示出根据各实施例的可采用本文中所描述的装置和/或方法的示例计算设备。具体实施方式描述了与具有自修复能力的自主车辆中的多模态感测相关联的装置、方法、和存储介质。在以下详细描述中，参考形成本文一部分的附图，其中贯穿各附图相同的标记指示相同的部分，并且其中通过图示的方式示出了可实施的实施例。应理解，可利用其他实施例，并且可作出结构或逻辑的改变而不背离本公开的范围。因此，以下详细描述不应以限制的意义来理解，并且实施例的范围由所附权利要求及其等效方案来限定。所附说明书中公开了本公开的多个方面。可以构想本公开的替代实施例及其等效方案而不背离本公开的精神或范围。应当注意，下文所公开的相同的要素由附图中相同的附图标记指示。可以按在理解要求保护的主题时最有帮助的方式将各操作描述为依次的多个分立动作或操作。然而，不应将描述的次序解释为暗示这些操作必然依赖于次序。具体而言，可以不按照呈现的次序执行这些操作。能以不同于所描述的实施例的次序执行所描述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略所描述的操作。出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意思是(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。说明书可使用短语“在实施例中”或“在多个实施例中”，其可各自指代相同或不同实施例中的一个或多个。此外，如相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。如本文中所使用的，术语“电路系统”可指以下各项，可以是以下各项的部分，或可包括以下各项：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和/或存储器(共享的、专用的、或组)、组合逻辑电路和/或提供所描述的功能的其他合适的组件。本文的实施例向自主车辆或其他设备提供了用于对象检测和分类的多模态方法，该多模态方法被用作传统融合网格机制的输入。在利用多模态的传感器集合的设备中，设备可通过利用从一个模态获得的信息来检测并补偿另一个模态中的传感器缺陷(例如，传感器不活动、传感器故障、传感器失效、传感器重置、与传感器中的至少一个传感器相关联的安全事件)。这使得稳健的基于多传感器的感知方法能够在传感器发生故障后维持自主性。在进一步地实施例中，将传感器故障检测能力扩展为对检测到的故障传感器的自修复能力。这使得安全操作无需检测最小传感器集的较大超集，从而降低成本和系统级复杂度。设备可以是交通工具(诸如，轮式道路机动车辆或越野机动车辆或诸如在轨道上运行的交通工具之类的任何其他类型的交通工具、飞机、船只、机器人等、或其组合)或者非交通工具(诸如，使用多于一种传感器类型的固定式监视系统)的组件。图1图示了根据示例实施例的操作具有自修复功能的感知流水线200(如图2中所描述)的自主或半自主车辆上的代表性多模态异构传感器阵列。在一些应用中，传感器阵列中的每个异构传感器可以监测不同的物理空间。例如，在机动车辆实施例中的异构传感器阵列中，传感器可以监测机动车辆周围的不同的空间，诸如，机动车辆前方的特定区域、或机动车辆后方的特定区域。机动车辆周围的被监测区域的示例可以包括：远距离雷达区域10、中距离雷达前端区域12、夜视相机区域14、摄像机区域16、超声区域18、中距离雷达后端区域20和后视相机区域22，其中的一些区域重叠(例如，部分重叠)。可以监测机动车辆前方的各个区域的不同类型的传感器可包括：超声、摄像机(明视和/或夜视)、中距离雷达和远距离雷达、LIDAR(光成像、检测和测距)等。可以监测机动车辆后方的各个区域的不同类型的传感器可包括：超声和后视相机等。在传统的基于自主驾驶传感器的感知流水线中，每个传感器的信息都独立用于特定类型的对象的单传感器(单模)分类，这些特性类型的对象可以从该单个传感器提供的信息中容易地可识别。这意味着存在仅从LIDAR、雷达或相机中检测到的对象，这些对象随后会被融合网格融合成单个表示并且对于机动车辆的轨迹规划至关重要。尽管此方法通常可以被归类为传感器数据融合，但是这种融合不会利用(来自所有传感器的)总可用信息来优化每个对象的检测/分类。在传统的感知流水线设置中，单个传感器故障可能会使车辆丧失对只能通过该传感器可感知的特定对象进行分类的能力。因此，当前的行为是触发紧急停车的行为，因为车辆的自主性和安全性被损害。由于完全依赖于最小传感器集中的每个传感器，因此这反映出系统级解决方案缺乏稳健性。传统自主驾驶感知流水线中的解决本文档来自技高网...

【技术保护点】
1.一种用于自主车辆的装置，所述装置包括：/n具有独立的分类过程的感知流水线，所述独立的分类过程并行地操作以基于来自多个不同类型传感器中的多个传感器的传感器数据流来分别标识属于特定对象类型的对象；以及/n传感器监测级，用于与所述感知流水线并行地操作并用于使用所述传感器数据流来估计和跟踪所述多个不同类型的传感器中的每一个传感器的置信度水平，并且在与缺陷传感器相关联的置信度水平未能满足置信度阈值时使所述缺陷传感器无效。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于自主车辆的装置，所述装置包括：
具有独立的分类过程的感知流水线，所述独立的分类过程并行地操作以基于来自多个不同类型传感器中的多个传感器的传感器数据流来分别标识属于特定对象类型的对象；以及
传感器监测级，用于与所述感知流水线并行地操作并用于使用所述传感器数据流来估计和跟踪所述多个不同类型的传感器中的每一个传感器的置信度水平，并且在与缺陷传感器相关联的置信度水平未能满足置信度阈值时使所述缺陷传感器无效。


2.如权利要求1所述的装置，其特征在于，响应于所述缺陷传感器被无效，所述传感器监测级将传感器控制信号发送到无效的传感器，以试图将所述无效的传感器恢复到可操作的置信度水平，并使得所述无效的传感器输出的实际感测到的数据值被无效的值数据流替代。


3.如权利要求2所述的装置，其特征在于，响应于所述多个分类过程中的一个分类过程接收无效的值数据流作为与所述无效的传感器相对应的输入，所述分类过程以降级模式操作，在所述降级模式中，所述分类过程在没有所述无效的传感器实际传感器数据的情况下使用正确地工作的传感器的传感器数据流继续标识各个对象类型的对象，同时维持预定的准确性水平。


4.如权利要求1、2或3所述的装置，其特征在于，用于估计所述多个传感器中的目标传感器的所述置信度水平包括用于：将所述目标传感器的经同步的传感器数据流与统计上相关的传感器集合的传感器数据流进行比较。


5.如权利要求4所述的装置，其特征在于，用于将所述目标传感器的所述经同步的传感器数据流与统计上相关的传感器的传感器数据流进行比较包括用于：访问所述目标传感器的预训练的传感器转换模型，所述预训练的传感器转换模型将统计上相关的参考传感器的数据作为输入并生成所述目标传感器的预测输出，并计算预测输出与实际目标传感器数据之间的相似性度量。


6.如权利要求4所述的装置，其特征在于，用于将所述目标传感器的所述经同步的传感器数据流与统计上相关的传感器的传感器数据流进行比较包括用于：访问预训练的信念网络，所述预训练的信念网络在给定由相关传感器生成的特征的值的情况下计算从所述目标传感器生成的特征的后验概率估计。


7.如权利要求4所述的装置，其特征在于，用于将所述目标传感器的所述经同步的传感器数据流与统计上相关的传感器的传感器数据流进行比较包括用于：计算相似性/距离度量，所述相似性/距离度量被计算为包括所述目标传感器的所述统计上相关的传感器集合中每对传感器的成对的相似性/距离的加权平均值；以及执行实时聚类并计算每个传感器到表示传感器的所述置信度水平的集群质心的距离，其中所述集群中的异常值表示所述缺陷传感器。


8.如权利要求4所述的装置，其特征在于，用于将所述目标传感器的所述经同步的传感器数据流与统计上相关的传感器的传感器数据流进行比较包括：用于访问参数非线性滤波器以将从所述目标传感器生成的特征和来自所述相关的传感器的特征融合到公共状态空间，以及从非线性滤波器的误差协方差矩阵生成置信度水平信息。


9.如权利要求1、2或3所述的装置，其特征在于，用于沿着耦合在多个不同传感器与所述传感器监测级之间的传感器修复反馈路径发送所述传感器控制信号，以重新配置所述无效的目标传感器并将所述无效的目标传感器恢复到可操作的置信度水平。


10.如权利要求9所述的装置，其特征在于，当与所述无效的目标传感器相关联的所述置信度水平满足所述置信度阈值时，所述传感器监测级重新使所述目标传感器能够将正常的传感器数据流值输出到所述感知流水线。


11.如权利要求9所述的装置，其特征在于，所述多个不同类型的传感器包括相应的数据预处理器，用于从原始传感器数据中提取特征并输出预处理的传感器数据流，这些预处理的传感器数据流被馈送到传感器数据同步级，以便及时同步所述预处理的传感器数据流并将所述经同步的传感器数据流输出到所述分类级和所述传感器监测级。


12.如权利要求11所述的装置，其特征在于，所述传感器监测级将所述传感器控制信号发送到所述相应的缺陷传感器的所述传感器数据预处理器以及发送到所述传感器数据同步级。


13.如权利要求11或12所述的装置，其特征在于，当所述传感器正确地操作但所述传感器数据预处理器需要被调谐或当所述传感器数据同步级需要被重新同步时，所述传感器监测级仅向所述传感器数据预处理器和所述传感器数据同步级发送所述传感器控制信号。


14.如权利要求1、2或3所述的装置，其特征在于，所述分类过程被预训练以在操作期间在传感器缺陷的所有所需组合上维持预定的准确性水平，其中任何缺陷传感器的所述...

【专利技术属性】
技术研发人员：D·阿尔迪奇伊里茨基，I·J·阿尔瓦雷兹，J·C·扎莫拉伊奎维尔，P·洛佩斯迈耶，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US