用于自动驾驶车辆中的传感器同步性数据分析的系统技术方案

本公开描述了用于传感器同步性的在线系统级验证的各种实施方式。根据实施方式，分析自动驾驶车辆(ADV)中的传感器同步性的示例性方法包括以下操作：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；以及根据从原始传感器数据提取的时间戳，基于原始传感器数据生成精度图。该方法还包括以下操作：使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。

【技术实现步骤摘要】
【国外来华专利技术】用于自动驾驶车辆中的传感器同步性数据分析的系统
本公开的实施方式总体上涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及传感器同步性验证。
技术介绍
以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。车载传感器需要进行校准、同步和融合，以便安全且稳定地控制自动驾驶车辆。通常，可使用传感器数据上的时间戳来测量传感器数据的同步性。然而，这种方法仅提供软件级的验证，而不能验证提供数据收集和传输的传感器和系统硬件。因此，期望具有可用于在系统级上验证传感器数据同步性并提供反馈以提高系统级同步精度的技术。
技术实现思路
在第一方面，本公开的实施方式提供了一种分析自动驾驶车辆(ADV)中的传感器同步性的计算机实施的方法，该方法包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。在第二方面，本公开的实施方式提供了一种存储有指令的非暂时性机器可读介质，该指令在由处理器执行时致使处理器执行操作，该操作包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。在第三方面，本公开的实施方式提供了一种数据处理系统，该系统包括：处理器；以及存储器，该存储器联接至处理器以存储指令，该指令在由处理器执行时致使处理器执行操作，该操作包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。附图说明本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考标记指示相似元件。图1是示出根据一个实施方式的网络化系统的框图。图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。图3A至图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。图4是示出根据一个实施方式的自动驾驶系统的架构的框图。图5A和图5B是示出根据一个实施方式的传感器单元的示例的框图。图6示出根据一个实施方式的用于验证自动驾驶车辆中的传感器同步性的示例性系统。图7进一步示出根据一个实施方式的自动驾驶车辆中的图6所示的示例性系统。图8A和图8B示出根据一些实施方式的示例性精度图。图9示出根据一个实施方式的围绕目标对象的示例性边界框。图10示出根据一个实施方式的验证自动驾驶车辆中的传感器同步性的示例性过程。具体实施方式将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。本公开描述了用于传感器同步性的在线系统级验证的各种实施方式。根据一个实施方式，分析自动驾驶车辆(ADV)中的传感器同步性的示例性方法包括以下操作：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；以及根据从原始传感器数据提取的时间戳，基于原始传感器数据生成精度图。该方法还包括以下操作：使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。根据实施方式，同步验证模块可设置在ADV中，以便在系统级上验证车载传感器的同步性和传感器数据融合。软件模块可联接至ADV中的传感器系统，并从传感器系统获取原始传感器数据以进行分析。基于原始传感器数据，同步验证模块可检测传感器系统正在检测的目标对象的类型，并确定原始传感器数据是否具有适当的时间戳以便彼此同步。在一个实施方式中，同步验证模块针对每个目标对象生成精度图，以便根据它们各自的时间戳示出不同传感器数据的对齐方式，并且针对来自每种类型传感器的传感器数据生成围绕目标对象的边界框。同步验证模块可在给定目标对象的类型的情况下确定不同的传感器数据是否在预期点对齐，以及围绕目标对象的边界框是否彼此匹配。可对照精度图对边界框进行交叉检查，以确定是否期望边界框中存在任何不匹配区域。自动驾驶车辆图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可通过网络102通信地联接至一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102联接至彼此和/或联接至服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。自动驾驶车辆是指可配置成处于自动驾驶模式下的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可包括传感器系统，所述传感器系统具有配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。在一个实施方式中，自动驾驶车辆101包括，但不限本文档来自技高网...

【技术保护点】
1.一种分析自动驾驶车辆(ADV)中的传感器同步性的计算机实施的方法，包括：/n从安装在所述ADV上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述ADV的周围环境中的目标对象；/n基于所述原始传感器数据和从所述原始传感器数据提取的时间戳，生成精度图；/n使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及/n根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。/n

【技术特征摘要】
【国外来华专利技术】1.一种分析自动驾驶车辆(ADV)中的传感器同步性的计算机实施的方法，包括：
从安装在所述ADV上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述ADV的周围环境中的目标对象；
基于所述原始传感器数据和从所述原始传感器数据提取的时间戳，生成精度图；
使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及
根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。


2.如权利要求1所述的方法，其中，所述第一传感器是摄像机和光检测，以及所述第二传感器是光检测和测距(LiDAR)装置。


3.如权利要求2所述的方法，其中，所述一个或多个预先配置的传感器设置包括所述摄像机的扫描方向和所述LiDAR装置的扫描方向。


4.如权利要求2所述的方法，其中，执行所述分析还包括：
根据各自的获取时间戳，确定来自所述摄像机的第一条原始传感器数据和来自所述LiDAR装置的第二条原始传感器数据是否在预定的同步点处彼此对齐。


5.如权利要求4所述的方法，其中，所述同步点基于所述目标对象的类型来确定。


6.如权利要求2所述的方法，其中，所述第一边界框是基于来自所述摄像机的第一条传感器数据生成的2D边界框，以及其中，所述第二边界框是基于来自所述LiDAR装置的第二条传感器数据生成的3D边界框。


7.如权利要求2所述的方法，其中，执行所述分析还包括：
确定所述第一边界框边界框和所述第二边界框是否彼此匹配。


8.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述ADV的周围环境中的目标对象；
根据从所述原始传感器数据提取的时间戳，基于所述原始传感器数据生成精度图；
使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及
根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。


9.如权利要求8所述的非暂时性机器可读介质，其中，所述第一传感器是摄像机和光检测，并且所述第二传感器是光检测和测距(LiDAR)装置。


10.如权利要求9所述的非暂时性机器可读介质，其中，所述一个或多个预先配置的传感器设置包括所述摄像机的扫描方向和所述LiDAR装置的扫描方...

【专利技术属性】
技术研发人员：王帅，郭双城，李贤飞，李冲冲，盛健，黄岱，张满江，
申请(专利权)人：百度时代网络技术北京有限公司，百度美国有限责任公司，
类型：发明
国别省市：北京;11