自动驾驶车辆中具有压缩视频流的多传感器数据存储制造技术

ADV包括组合来自多个传感器的数据的方法。该方法压缩来自相机的视频数据以生成压缩视频数据。压缩视频数据被分段。该方法将压缩视频数据的每个段与来自其他传感器的数据进行时间同步。然后，该方法将压缩视频数据的每个段与其他传感器的相应时间同步传感器数据组合。在一个实施方式中，压缩视频数据的每个段均为可独立解码的。在另一实施方式中，压缩视频数据的每个段均包括压缩视频单元，该压缩视频单元被前置有紧接在压缩视频单元之前的压缩视频数据的缓存部分。压缩视频单元的长度小于压缩视频数据的可独立解码段的长度，从而通过权衡在使压缩视频数据与其他传感器数据时间同步中提供更精细的间隔尺寸。

【技术实现步骤摘要】
【国外来华专利技术】自动驾驶车辆中具有压缩视频流的多传感器数据存储
本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及用于自动驾驶车辆(ADV)的视频流的后处理。
技术介绍
以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。运动规划和控制是自动驾驶中的关键操作。运动规划和控制操作的准确性和效率在很大程度上依赖车辆的传感器。诸如相机、光探测和测距(LIDAR)单元、雷达等的传感器用于捕获车辆周围环境的视频和电磁图像，以进行运动规划和控制。除了将其实时用于运动规划和控制外，规定还可能要求存储传感器数据以用于事故分析和诊断目的。基于标准的图像和视频压缩算法用于压缩相机捕获的大量图像或视频数据，以进行有效存储。尽管压缩的单个图像数据可轻松地与来自其他传感器的数据组合，但是单个图像的压缩可能无法提供足够的压缩率。另一方面，压缩的视频流提供更高的压缩率，但难以与其他传感器数据组合和同步。需要简单且有效的机制将压缩视频数据与其他传感器数据组合并在时间上同步，以实现ADV中的有效存储和实时使用。
技术实现思路
在本公开的一方面，提供了用于操作自动驾驶车辆(ADV)的计算机实现的方法。该方法包括：在传感器单元处将从安装在自动驾驶车辆(ADV)上的相机接收的视频数据分割成多个视频段，其中，传感器单元联接在包括相机的多个传感器与用于自动驾驶ADV的感知与规划系统之间；在时间上使视频段中的每个与从多个传感器中的第一传感器接收的传感器数据同步；将每个视频段与第一传感器的对应的时间同步传感器数据进行组合，以生成组合传感器数据；以及，将组合传感器数据传输至感知与规划系统，以用于感知在与视频段相对应的时间点处ADV周围的驾驶环境。在本公开的另一方面，提供了自动驾驶系统的传感器单元。传感器单元包括：传感器接口，能够联接至多个传感器，传感器包括安装在自动驾驶车辆(ADV)上的相机；主机接口，能够联接至感知与规划系统；以及同步模块，联接至传感器接口和主机接口，其中，同步模块配置为将从相机接收的视频数据分割成多个视频段，使视频段中的每个均在时间上与从多个传感器中的第一传感器接收的传感器数据同步，将每个视频段与第一传感器的相应时间同步传感器数据组合，以生成组合传感器数据，并将组合传感器数据传输至感知与规划系统，以用于感知与视频段相对应的时间点处ADV周围的驾驶环境。在本公开的另一方面，提供了自动驾驶系统。该系统包括：多个传感器，包括相机，待安装在自动驾驶车辆上；感知与规划系统；以及传感器单元，其中，传感器单元包括：联接至多个传感器的传感器接口、能够联接至感知与规划系统的主机接口、以及联接至传感器接口和主机接口的同步模块，其中同步模块配置为将从相机接收的视频数据分割成多个视频段，使视频段中的每个均在时间上与从多个传感器中的第一传感器接收的传感器数据同步，将每个视频段与第一传感器的相应时间同步传感器数据组合，以生成组合传感器数据，并将组合传感器数据传输至感知与规划系统，以用于感知与视频段相对应的时间点处ADV周围的驾驶环境。附图说明本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考数字指示相似元件。图1是示出根据一个实施方式的网络化系统的框图。图2是示出一个实施方式的自动驾驶车辆的示例的框图。图3A至图3B是示出根据一些实施方式的由自动驾驶车辆使用的感知与规划系统的示例的框图。图4是示出根据一个实施方式的自动驾驶系统的架构的框图。图5A是示出根据一个实施方式的传感器单元的示例的框图。图5B是示出根据一个实施方式的组合来自多个传感器的数据的传感器单元的示例的框图。图6是示出根据一个实施方式的组合压缩视频数据与来自其他传感器的数据的传感器单元的示例的框图。图7是示出根据一个实施方式的将压缩视频数据分割成可独立解码的段以与来自其他传感器的数据进行组合和时间同步的图。图8是示出根据一个实施方式的将压缩视频数据划分为压缩视频单元以与来自其他传感器的数据进行组合和时间同步的图，该压缩视频单元与在每个压缩视频单元之前的、缓存的压缩视频数据组合。图9是示出根据一个实施方式的将压缩视频数据的可独立解码的段与来自其他传感器的数据进行组合和时间同步的方法的流程图。图10是示出根据一个实施方式的将具有缓存部分的压缩视频单元与来自其他传感器的数据进行组合和时间同步的方法的流程图。图11是示出根据一个实施方式的数据处理系统的框图。具体实施方式以下将参考所讨论的细节来描述本公开的各种实施方式和方面，附图将示出各个实施方式。下列描述和附图是对本公开的说明，而不应当解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。根据一些实施方式，执行方法来操作ADV。该方法压缩从相机接收的视频数据以生成压缩视频数据。该方法将压缩视频数据分割成多个段。该方法将压缩视频数据的每个段与从其他传感器接收的数据进行时间同步，从而为其他传感器生成相应的时间同步传感器数据。然后，该方法将压缩视频数据的每个段与其他传感器的相应时间同步传感器数据组合在一起。压缩视频数据的每个段均可独立解码为未压缩视频数据。在另一实施方式中，压缩视频数据的每个段均包括压缩视频单元，该压缩视频单元被前置有紧接在压缩视频单元之前的压缩视频数据的缓存部分。压缩视频单元的长度小于压缩视频数据的可独立解码段的长度，从而在以较高开销为代价使压缩视频数据与其他传感器数据时间同步中提供更精细的间隔尺寸。根据一方面，响应于从相机接收的视频数据(例如，视频流)，将视频数据分割成多个视频段。视频段中的每个在时间上与另一传感器(例如，LIDAR、RADAR)的传感器数据同步。然后，每个视频段均与其他传感器的对应时间同步传感器数据组合或合并，从而形成组合传感器数据(也称为组合传感器数据段)。然后，将组合传感器数据传输至感知与规划系统，以用于感知自动驾驶车辆(ADV)的驾驶环境，并规划路径以驾驶车辆在与视频段相对应的时间点处导航通过驾驶环境。根据另一方面，可用作自动驾驶系统的部分的传感器单元包括传感器接口、主机接口和同步模块。传感器接口可联接至多个传感器，传感器包括一个或多个相机、LIDAR设备和/或RADAR设备。主机接口可通过总线(例如，PCIe总线)联接至感知与规划系统，其中，感知与规划系统配置为感知ADV周围的驾驶环境，并规划路径以导航经过驾驶环境。在一个实施方式中，同本文档来自技高网...

【技术保护点】
1.一种用于操作自动驾驶车辆(ADV)的计算机实现的方法，所述方法包括：/n在传感器单元处将从安装在所述自动驾驶车辆(ADV)上的相机接收的视频数据分割成多个视频段，其中，所述传感器单元联接在包括所述相机的多个传感器与用于自动驾驶所述ADV的感知与规划系统之间；/n使所述视频段中的每个在时间上与从所述多个传感器中的第一传感器接收的传感器数据同步；/n将每个视频段与所述第一传感器的相应的时间同步传感器数据进行组合，以生成组合传感器数据；以及/n将所述组合传感器数据传输至所述感知与规划系统，以用于感知在与所述视频段相对应的时间点处所述ADV周围的驾驶环境。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于操作自动驾驶车辆(ADV)的计算机实现的方法，所述方法包括：
在传感器单元处将从安装在所述自动驾驶车辆(ADV)上的相机接收的视频数据分割成多个视频段，其中，所述传感器单元联接在包括所述相机的多个传感器与用于自动驾驶所述ADV的感知与规划系统之间；
使所述视频段中的每个在时间上与从所述多个传感器中的第一传感器接收的传感器数据同步；
将每个视频段与所述第一传感器的相应的时间同步传感器数据进行组合，以生成组合传感器数据；以及
将所述组合传感器数据传输至所述感知与规划系统，以用于感知在与所述视频段相对应的时间点处所述ADV周围的驾驶环境。


2.根据权利要求1所述的方法，还包括：在分割所述视频数据之前，将所述视频数据压缩为压缩视频数据，其中，所述压缩视频数据的每个段均能够独立地解码成未压缩视频数据。


3.根据权利要求2所述的方法，其中，压缩所述视频数据包括：使用预定压缩过程，以及其中，所述压缩视频数据的每个段的长度由所述预定压缩过程确定。


4.根据权利要求1所述的方法，其中，将所述视频数据分割成多个视频段包括：
将所述视频数据分割成多个视频单元；
缓存紧接在所述视频单元中的每个之前的所述视频数据的长度；以及
将经缓存的视频数据前置到相应视频单元的开头，以生成所述视频数据的多个段中的一个。


5.根据权利要求4所述的方法，其中，将所述视频段的每个段与相应的时间同步传感器数据组合包括：
将前置到相应视频单元的开头的、经缓存的视频数据和所述相应视频单元与所述相应的时间同步传感器数据组合。


6.如权利要求4所述的方法，其中，紧接在所述视频单元中的每个之前的视频数据的长度是能够配置的。


7.根据权利要求1所述的方法，其中，使所述视频段中的每个段在时间上与从所述第一传感器接收的传感器数据同步包括：
用相应的第一时间戳标记所述视频段的每个段；
用第二时间戳标记从所述第一传感器接收的所述传感器数据；以及
基于所述第一时间戳和所述第二时间戳识别所述相应的时间同步传感器数据。


8.根据权利要求1所述的方法，其中，所述第一传感器包括LIDAR装置或RADAR装置。


9.一种自动驾驶系统的传感器单元，所述传感器单元包括：
传感器接口，能够联接至多个传感器，所述传感器包括安装在自动驾驶车辆(ADV)上的相机；
主机接口，能够联接至感知与规划系统；以及
同步模块，联接至所述传感器接口和所述主机接口，其中，所述同步模块配置为：
将从所述相机接收的视频数据分割成多个视频段，
使所述视频段中的每个在时间上与从所述多个传感器中的第一传感器接收的传感器数据同步，
将每个视频段与所述第一传感器的相应的时间同步传感器数据组合，以生成组合传感器数据，以及
将所述组合传感器数据传输至所述感知与规划系统，以用于感知与所述视频段相对应的时间点处所述ADV周围的驾驶环境。


10.根据权利要求9所述的传感器单元，其中，在分割所述视频数据之前，所述视频数据被压缩为压缩视频数据，其中，所述压缩视频...

【专利技术属性】
技术研发人员：郭双城，王帅，周胜进，万吉，刘海东，曲宁，沈洪顺，张满江，
申请(专利权)人：百度时代网络技术北京有限公司，百度美国有限责任公司，
类型：发明
国别省市：北京;11