传感器流水线的上下文感知验证制造技术

公开了用于传感器流水线的上下文感知验证的系统、方法和计算机可读介质。自动驾驶车辆(AV)可以包括大量的传感器，以便为AV的认知和控制系统提供足够的态势感知。为使这些系统可靠运行，应检查来自不同传感器的数据的完整性。为此，本文描述的系统和方法可以使用上下文线索来确保来自不同传感器的数据是可靠的。文线索来确保来自不同传感器的数据是可靠的。文线索来确保来自不同传感器的数据是可靠的。

【技术实现步骤摘要】
【国外来华专利技术】传感器流水线的上下文感知验证

技术介绍

[0001]自动驾驶车辆(AV)可能需要大量传感器来为AV认知任务和控制任务提供足够的态势感知。为了让这些任务可靠地运行，应该检查来自不同传感器的数据的完整性。目前存在一些执行这种完整性检查的方法。一种示例方法涉及使用可用于检测由AV的相机执行的图像或视频捕获是否被冻结的帧计数器。然而，这种方法的缺点是，即使相机朝向错误的方向，相机也会通过检查(即，只有在相机捕获的数据冻结时，检查才会失败)。其他方法可以包括监测各个像素值以检查死像素或卡住的像素(这可能变得复杂且依赖于场景)以及对像素值进行校验和并且注入测试图案，这可能仅验证成像器下游的一切。
附图说明
[0002]参考附图提出了详细说明。附图仅用于说明的目的，并且仅描绘了本公开的示例实施例。提供这些附图是为了便于理解本公开，并且不应被视为限制本公开的广度、范围或适用性。在附图中，附图标记的最左边的(一个或多个)数字可以标识附图标记首次出现在其中的附图。使用相同的附图标记指示相似但不一定是同一或相同的组件。然而，也可以使用不同的附图标记来标识相似的组件。各种实施例可以利用与附图中所示的那些不同的元件或组件，并且一些元件和/或组件在各种实施例中可能不存在。根据上下文，使用单数术语来描述组件或元素可以包括复数个这样的组件或元素，反之亦然。
[0003]图1描述了根据本公开的一个或多个示例实施例的示例系统的示意图。
[0004]图2描绘了根据本公开的一个或多个示例实施例的几何上下文线索的示例。
[0005]图3描绘了根据本公开的一个或多个示例实施例的几何上下文线索的另一示例。
[0006]图4描绘了根据本公开的一个或多个示例实施例的几何上下文线索的另一示例。
[0007]图5描绘了根据本公开的一个或多个示例实施例的示例方法。
[0008]图6描绘了根据本公开的一个或多个示例实施例的示例方法。
[0009]图7描绘了根据本公开的一个或多个示例实施例的示例方法。
[0010]图8描绘了根据本公开的一个或多个示例实施例的示例计算设备架构的示意图。
具体实施方式
[0011]本公开通常涉及传感器流水线(传感器流水线通常可以指由传感器提供的数据流)的上下文感知验证及其他。自动驾驶车辆(AV)可以包括大量的传感器，以便为自动驾驶车辆的认知系统和控制系统提供足够的态势感知。为使这些系统可靠运行，应检查来自不同传感器的数据的完整性。为此，本文描述的系统和方法可以使用上下文线索来确保来自不同传感器的数据是可靠的。使用上下文线索来验证传感器数据可以使用多种不同的方法来实现，这些方法的示例可以在下面更详细地描述。尽管下面可以参考特定类型的传感器(例如，相机或LIDAR系统)，但是本文描述的系统和方法也可以潜在地应用于任何其他类型的传感器(例如，相机、LIDAR、RADAR、超声波传感器或任何其他类型的传感器)。
[0012]在一些实施例中，可用于验证传感器完整性的第一方法可以包括使用与车辆的部
分被包括在由车辆的不同相机执行的任何捕获中的位置有关的上下文线索。车辆的“部分”可以指车辆的任何物理部分(例如，车身面板、后视镜等)。该第一方法在图2中进一步示出。给定车辆可以包括在车辆上的不同位置并且面向远离(或朝向)车辆的不同方向的布置在车辆上的任意数量的相机。在一些情况下，相机可以捕获车辆外部环境的一个或多个图像和/或视频(例如，如图2和图4所示)。在一些情况下，捕获图像可以指捕获各个图像和/或还可以指捕获(一个或多个)视频，因为视频可以包括一系列图像或帧。因此，对捕获图像的任何引用也可以类似地适用于捕获视频。车辆可以使用图像和/或视频来获取关于车辆外部环境的信息，并且然后可以使用该信息来执行某些任务(例如，可以使用该信息来帮助车辆自动导航环境)。在一些情况下，一些或所有相机指向的方向可以是固定的，使得相机可以始终相对于车辆指向相同的方向。在这种情况下，如果车辆的任何部分在特定相机的视场内，则车辆的该部分应该在由相机执行的任何后续捕获中出现在相同的位置。例如，第一相机可以固定在车辆的前面(例如，在引擎盖、挡风玻璃、仪表板等上)，并且可以是朝前的。鉴于此，车辆的引擎盖的一部分可以被包括在由第一相机执行的捕获中。如果第一相机是固定的，则无论在什么时间执行捕获，第一相机执行的任何捕获都应包括引擎盖的这一部分。作为第二示例，可以将第二相机固定到车辆的后部后备箱。鉴于此，车辆的后备箱的一部分可被包括在由第二相机执行的任何捕获中。如果第二相机是固定的，则无论在什么时间执行捕获，后备箱的这一部分都被包括在第二相机执行的任何捕获中。这些只是两个非限制性示例，并且任何其他相机也可以被包括在车辆的任何其他部分上。此外，即使给定的相机是可移动的而不是固定的(例如，即使相机在车辆操作期间调整其朝向的方向)，这一点也可以适用。例如，相机可以被配置为旋转给定量，以与相机一直固定并指向同一方向相比允许相机捕获车辆外部更大的视场。如果关于相机的移动的信息是已知的，则可以预期车辆的给定部分可能在由相机以周期性间隔执行的捕获内的特定位置。例如，上述第一相机可以被配置为围绕假想的垂直轴执行90度旋转。在旋转的一个端点处，车辆的引擎盖可以被包括在由第一相机执行的捕获内的特定位置。在旋转的另一端点，车辆的引擎盖可能不再被包括在相机捕获的范围内，或者可能仅部分被包括在内。如果相机以恒定(或以其他方式已知)速率旋转，并且相机以恒定(或以其他方式已知)速率捕获图像和/或视频，则可以确定在相机捕获的特定位置处应该包括车辆引擎盖的时间间隔。在这种情况下，可以在该确定的间隔执行对由相机执行的捕获的分析，以标识在给定间隔的特定位置中是否包括车辆的引擎盖。类似地，也可以分析间隔之间的捕获(例如，以确定引擎盖是不被包括在捕获中、部分被包括在捕获中还是其他方式)。应当注意的是，虽然本文描述的度量是相机捕获到的车辆部分的位置，但是也可以使用其他参数作为位置信息的备选或与位置信息结合使用。例如，也可以使用诸如车辆部分的外观尺寸之类的其他参数。
[0013]考虑到车辆上的相机配置的以上示例，可以通过分析由给定相机产生的捕获来使用第一方法执行对给定相机产生的数据的验证。该分析可以涉及标识预期在给定相机的捕获中的特定位置的车辆的一部分是否实际位于该捕获中的该预期位置。在一些情况下，可以捕获基准图像或视频，该基准图像或视频可以被分析以确定由给定相机执行的任何捕获中车辆部分的预期位置。然后，可以在后续图像或视频中使用基准图像或视频、或作为对图像或视频执行的分析的结果而产生的数据，以确定这些后续图像或视频中的车辆部分是否被包括在预期位置中。基准可以在任何给定时间建立，例如在车辆上初始安装相机、在车辆
进行任何行程之前、在用户调整相机之后等等。在一些情况下，基准图像和/或视频本身可能不一定用于分析，而是可以在分析中使用通过基准获得的关于车辆部分的位置的信息(或任何其他信息)。再次返回到上述第一示例相机：如果标识出车辆的引擎盖没有被包括在由第一相机执行的捕获中，或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种车辆，包括：计算机处理器，可操作以执行计算机可读指令集；以及存储器，可操作以存储所述计算机可读指令集，所述计算机可读指令集可操作以：接收所述车辆的第一相机捕获的第一图像；在所述第一图像中定位与所述车辆的第一部分相关联的第一特征；接收所述第一相机捕获的第二图像；在所述第二图像中定位与所述车辆的所述第一部分相关联的所述第一特征；计算所述第一图像中的所述第一特征与所述第二图像中的所述第一特征之间的距离；以及基于所述距离大于阈值量来执行动作。2.根据权利要求1所述的车辆，其中所述计算机可读指令还可操作以：接收所述车辆的第二相机捕获的第三图像；在所述第三图像中定位与所述车辆的第二部分相关联的第二特征；接收所述第二相机捕获的第四图像；在所述第四图像中定位与所述车辆的所述第二部分相关联的所述第二特征；计算所述第三图像中的所述第二特征与所述第四图像中的所述第二特征之间的距离；以及基于所述距离大于阈值量来执行动作。3.根据权利要求1所述的车辆，其中所述动作包括以下至少一个：向用户提供警告、关闭所述第一相机、滤除从所述第一相机接收的后续图像或视频、或存储所述距离。4.根据权利要求1所述的车辆，其中可操作以定位所述第一特征的指令包括对所述第一图像执行边缘检测的指令。5.根据权利要求1所述的车辆，其中所述计算机可读指令还可操作以：基于所述车辆的LIDAR系统捕获的数据接收第一点云；存储指示所述车辆的第一部分被包括在所述第一点云内的第三位置的数据；基于所述LIDAR系统捕获的数据接收第二点云；将所述车辆的所述第一部分被包括在所述第二点云内的第四位置与所述车辆的所述第一部分被包括在所述第一点云内的所述第三位置进行比较；计算所述第三位置和所述第四位置之间的距离；以及根据差异大于阈值量来执行动作。6.根据权利要求1所述的车辆，其中所述计算机可读指令还可操作以：接收所述第一相机在第一时间捕获的第五图像；标识对象在所述第五图像内的第一位置；接收所述第一相机在第二时间捕获的第六图像，其中所述第二时间在所述第一时间之后；标识所述对象在所述第六图像内的第二位置；基于所述车辆的行进方向确定第一矢量，所述第一矢量表示所述对象在所述第五图像中的所述第一位置与所述对象在所述第六图像中的预期位置之间的方向差异；将所述第一矢量与第二矢量比较，所述第二矢量表示所述对象在所述第五图像中的所
述第一位置与所述对象在所述第六图像中的所述第二位置之间的方向差异；计算所述第一矢量和所述第二矢量之间的差异；以及根据所述差异大于阈值量来执行动作。7.根据权利要求1所述的车辆，其中所述计算机可读指令还可操作以：基于所述车辆的所述第一部分的一部分被包括在所述第一图像中来标识所述第一图像中的遮挡。8.一种方法，包括：接收车辆的第一相机在第一时间捕获的第一图像，其中所述第一相机包括所述车辆外部的视场；标识对象在所述第一图像内的第一位置；接收所述第一相机在第二时间捕获的第二图像，其中所述第二时间在所述第一时间之后；标识所述对象在所述第二图像内的第二位置；基于所述车辆的行进方向来确定第一矢量，所述第一矢量表示所述对象在所述第一图像中的所述第一位置与所述对象在所述第二图像中的预期位置之间的方向差异；将所述第一矢量与第二矢量进行比较，所述第二矢量表示所述对象在所述第一图像中的所述第一位置与所述对象在所述第二图像中的所述第二位置之间的方向差异；计算所述第一矢量和所述第二矢量之间的差异；以及基于所述差异大于阈值量来执行动作。9.根据权利要求8所述的方法，其中所述动作包括以下至少一个：向用户提供警告、关闭所述第一相机、滤除从所述第一相机接收的后续图像或视频、或存储所述第一位置和所述第二位置之间的差异。10.根据权利要求8所述的方法，还包括：基于由所述车辆的LIDAR系统捕获的数据接收第一点云；存储指示所述车辆的第一部分被包括在所述第一点云内的第三位置的数据；基于由所述LIDAR系统捕获的数据接收第二点云；将所述车辆的所述第一部分被包括在所述第二点云内的第四位置与所述车辆的所述第一部分被包括在所述第一点云内的所述第三位置进行比较；计算所述第三位置和所...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：阿尔戈人工智能有限责任公司，
类型：发明
国别省市：