自动驾驶车辆中视频压缩的时间戳和元数据处理制造技术

公开了执行用于ADV的视频压缩的方法。该方法从多个相机接收图像数据的多个帧。将元数据附加至图像数据的每个帧以在接收到图像数据时生成未压缩图像数据的多个帧中的一个。可存储未压缩图像数据的帧。为了稍后压缩图像数据，该方法获取未压缩图像数据的帧，从未压缩图像数据的每个帧中提取元数据以生成经处理图像数据的多个帧中的一个。该方法利用提取的元数据来压缩已处理图像数据的每个帧，以生成压缩图像数据的多个帧中的一个。该方法将元数据重新附加至压缩图像数据的相应帧以生成多个压缩图像帧中的一个。元数据支持图像数据的时间同步和错误处理。

【技术实现步骤摘要】
【国外来华专利技术】自动驾驶车辆中视频压缩的时间戳和元数据处理
本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及用于自动驾驶车辆(ADV)的视频流的后处理。
技术介绍
以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。运动规划和控制是自动驾驶中的关键操作。运动规划和控制操作的准确性和效率在很大程度上依赖车辆的传感器。具体地，使用相机来捕获车辆周围场景的图像和视频，从而进行运动规划和控制。基于标准的图像和视频压缩算法用于压缩通过相机捕获的大量图像或视频数据。然而，视频压缩算法是为娱乐系统构建的，以方便用户观看，并不支持用于ADV中运行的机器感知过程的视频后处理。对视频压缩标准进行扩展以支持ADV应用程序所需的功能很复杂，并且普遍不受支持。需要一种简单且有效的机制来支持对用于ADV应用程序的捕获的视频数据进行后处理。
技术实现思路
在本公开的一方面，提供了一种用于操作自动驾驶车辆(ADV)的方法。该方法包括：从安装在所述ADV上的一个或多个相机接收图像数据的多个帧；将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个；以及将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。在本公开的另一方面，提供了一种自动驾驶车辆(ADV)的传感器单元。传感器单元包括：传感器接口，用于从安装在所述ADV上的一个或多个相机接收图像数据的多个帧；预处理模块，用于将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；处理器，用于从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；以及视频编解码器，用于压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个，其中，所述处理器配置为将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。在本公开的另一方面，提供了一种自动驾驶系统。该系统包括多个传感器以感测自动驾驶车辆(ADV)周围的驾驶环境，所述多个传感器包括一个或多个相机；感知与规划系统，用于规划路径并根据所述路径控制所述ADV，以导航所述驾驶环境；以及传感器单元，其中，所述传感器单元包括：传感器接口，用于从所述相机接收图像数据的多个帧；预处理模块，用于将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；处理器，用于从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；以及视频编解码器，用于压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个，其中，所述处理器配置为将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。附图说明本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考数字指示相同元件。图1是示出根据一个实施方式的网络化系统的框图。图2是示出一个实施方式的自动驾驶车辆的示例的框图。图3A至图3B是示出根据一些实施方式的由自动驾驶车辆使用的感知与规划系统的示例的框图。图4是示出根据一个实施方式的自动驾驶系统的架构的框图。图5是示出根据一个实施方式的传感器单元的示例的框图。图6是示出根据一个实施方式的视频压缩系统的示例的框图。图7是示出根据一个实施方式的包含由视频压缩系统附加的元数据和图像数据的图像帧的图。图8是示出根据一个实施方式的附加至图像帧的图像数据的元数据的示例的图。图9是示出根据一个实施方式的视频处理方法的流程图。图10是示出根据一个实施方式的数据处理系统的框图。具体实施方式以下将参考所讨论的细节来描述本公开的各种实施方式和方面，附图将示出各个实施方式。下列描述和附图是对本公开的说明，而不应当解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。根据一个方面，执行传感器数据处理方法来操作ADV。响应于从安装在ADV上的多个相机接收的图像数据的多个帧，将元数据(例如时间戳)附接或附加至图像数据的每个帧，以在接收到图像数据时生成未压缩图像数据的多个帧中的一个，例如，作为压缩预处理的部分。在稍后压缩图像数据之前，作为流水线处理，从未压缩图像数据的每个帧中提取元数据，以生成已处理图像数据的多个帧中的一个。然后，例如使用常规视频编解码器，利用提取的元数据对已处理的图像数据的每个帧进行压缩，以生成压缩图像数据的多个帧中的一个。然后，将元数据重新附加至压缩图像数据的相应帧，以生成多个压缩图像帧中的一个。根据另一方面，ADV的传感器单元包括：传感器接口，用于从安装在ADV上的一个或多个相机接收图像数据的帧；预处理模块，用于将元数据附加至图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；处理器，用于从未压缩图像数据的帧中的每个提取元数据，以生成已处理图像数据的多个帧中的一个；以及视频编解码器，用于压缩已处理图像数据的帧中的每个，以生成压缩图像数据的多个帧中的一个。处理器配置为将元数据重新附加至压缩图像数据的帧中的相应一个，以生成多个压缩图像帧中的一个，其中，利用压缩图像帧来感知ADV周围的驾驶环境。根据另一方面，自动驾驶系统包括多个传感器，该多个传感器可安装在ADV上以感测ADV周围的驾驶环境并包括一个或多个相机；感知与规划系统，用于感知驾驶环境并规划路径以控制ADV来导航驾驶环境。传感器单元包括如上所述的组件。图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可以通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可以通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任本文档来自技高网...

【技术保护点】
1.一种用于操作自动驾驶车辆(ADV)的方法，所述方法包括：/n从安装在所述ADV上的一个或多个相机接收图像数据的多个帧；/n将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；/n从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；/n压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个；以及/n将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于操作自动驾驶车辆(ADV)的方法，所述方法包括：
从安装在所述ADV上的一个或多个相机接收图像数据的多个帧；
将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；
从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；
压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个；以及
将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。


2.根据权利要求1所述的方法，其中，附加至所述图像数据的多个帧中的一个帧的元数据包括以下中的一个或多个：用于图像数据的所述一个帧的序号、接收图像数据的所述一个帧时的时间戳、用于指示从其接收图像数据的所述一个帧的所述相机中的一个的通道号、以及错误代码。


3.根据权利要求1所述的方法，还包括：
重新格式化从所述未压缩图像数据的多个帧中的每个提取的元数据，以生成重新格式化的元数据，以及其中，将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个包括：重新附加所述重新格式化的元数据。


4.根据权利要求1所述的方法，其中，从所述相机接收的图像数据的多个帧中的每个均包括原始图像数据的一个帧、与所述原始图像数据的一个帧相关联的标题数据和页脚数据。


5.根据权利要求4所述的方法，还包括：
替换或修改所述图像数据的多个帧中的一个的所述页脚数据。


6.根据权利要求4所述的方法，还包括：
从所述未压缩图像数据的多个帧中的每个提取所述标题数据和所述页脚数据，以生成所述已处理图像数据的多个帧中的一个，以及其中，压缩所述已处理图像数据的多个帧中的每个包括：压缩所述原始图像数据的多个帧中的每个。


7.根据权利要求1所述的方法，还包括：
发送所述多个压缩图像帧以用于感知与规划，从而操作所述ADV。


8.一种自动驾驶车辆(ADV)的传感器单元，包括：
传感器接口，用于从安装在所述ADV上的一个或多个相机接收图像数据的多个帧；
预处理模块，用于将元数据附加至所述图像数据的帧中的每个，以生成未压缩图像数据的多个帧中的一个；
处理器，用于从所述未压缩图像数据的多个帧中的每个中提取所述元数据，以生成已处理图像数据的多个帧中的一个；以及
视频编解码器，用于压缩所述已处理图像数据的多个帧中的每个，以生成压缩图像数据的多个帧中的一个，
其中，所述处理器配置为将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个，以生成多个压缩图像帧中的一个，其中，所述压缩图像帧被用于感知所述ADV周围的驾驶环境。


9.根据权利要求8所述的传感器单元，其中，附加至所述图像数据的多个帧中的一个帧的元数据包括以下中的一个或多个：用于图像数据的所述一个帧的序号、接收图像数据的所述一个帧时的时间戳、用于指示从其接收图像数据的所述一个帧的、所述相机中的一个的通道号、以及错误代码。


10.根据权利要求8所述的传感器单元，其中，所述处理器还配置为：重新格式化从所述未压缩图像数据的多个帧中的每个提取的元数据，以生成重新格式化的元数据，以及其中，将所述元数据重新附加至所述压缩图像数据的多个帧中的相应一个包括：重...

【专利技术属性】
技术研发人员：张满江，周胜进，王帅，郭双城，
申请(专利权)人：百度时代网络技术北京有限公司，百度美国有限责任公司，
类型：发明
国别省市：北京;11