数据处理方法及相关设备技术

公开了一种数据处理方法及相关设备，以降低自动驾驶系统中多任务感知模块的维护难度。该方法包括：获取传感器数据和目标文本，传感器数据为车辆的传感器采集的表示环境的数据，目标文本指示对环境的目标感知任务。根据传感器数据、目标文本和多模态模型，得到目标感知任务对应的感知信息。其中，多模态模型用于理解目标文本的语义，并根据语义处理传感器数据得到感知信息。得到感知信息。得到感知信息。

【技术实现步骤摘要】
数据处理方法及相关设备


[0001]本申请涉及自动驾驶
，特别是涉及一种数据处理方法及相关设备。

技术介绍

[0002]自动驾驶系统主要包括感知、规划决策和执行控制等模块。感知模块通过对车辆传感器采集的数据进行处理来感知环境中的行人、车辆、障碍物、车道线和交通灯等要素，以及预测行人和车辆的意图。下游的规划决策模块和执行控制模块基于预测模块输出的感知结果进行决策和车辆控制，从而实现自动驾驶。
[0003]目前，通过多任务感知算法实现对环境的感知。多任务感知算法主要特征为：主干网络对传感器数据(例如图像、雷达数据或激光雷达数据等)进行特征提取，后面接N个并行任务头。N个任务头承担不同感知要素的检测(如行人二维(2D)检测、车辆2D框检测、红绿灯2D框检测)。每个任务头后接细化的二级任务(如三维(3D)/掩码(mask)检测、关键点检测等)。此处的任务主要可分为动态任务和静态任务两种。动态任务是指识别环境中可能会发生移动的目标，如：行人，车辆的3D位置、朝向、速度识别。静态任务是指识别环境中不会发生移动的目标，如：车道线、停止线、交通灯、锥桶识别等。
[0004]感知架构演进过程中，下游决策模块经常有新的感知任务需求提出来。这就需要针对新增任务来定制化设计任务头，实现复杂。

技术实现思路

[0005]本申请提供了一种数据处理方法及相关设备，以解决新增感知任务需要重新涉及任务头，实现复杂的问题。
[0006]第一方面提供一种数据处理方法。该方法可以应用于车辆的自动驾驶系统(autonomous driving system，ADS)或高级驾驶辅助系统(Advanced Driving Assistant System，ADAS)。该方法包括：获取传感器数据，传感器数据为车辆的传感器采集的表示环境的数据。车辆上的传感器例如包括激光雷达、摄像头、超声波雷达和毫米波雷达中的至少一种。车辆上的传感器的数量包括至少一个。获取目标文本，目标文本指示对环境的目标感知任务。目标感知任务可以是对环境整体的感知任务，也可以是对环境中的目标对象的感知任务，例如对车辆、行人、自行车、交通灯、交通指示牌、障碍物或车道等对象的感知任务。根据传感器数据、目标文本和多模态模型，得到目标感知任务对应的感知信息，多模态模型用于理解目标文本的语义，并根据语义处理传感器数据得到感知信息。多模态模型可以识别处理自然语言(文本)和传感器数据，通过目标文本指示目标任务，使多能够模态模型根据目标文本的语义处理相应的任务。通过文本指令指示目标任务更加灵活，并且多模态模型对不同的任务具有更好的泛化迁移性能，从而可以通过删减输入多模态模型的文本调整实现任务需求的调整，而无需重新涉及任务头，调整任务更加灵活简单。
[0007]在一种可能的实现方式中，根据传感器数据、目标文本和多模态模型，得到目标感知任务对应的感知信息，包括：根据传感器数据得到传感器数据序列。根据目标文本得到目
标文本序列。拼接传感器数据序列和目标文本序列，得到多模态序列。将多模态序列输入多模态模型，以得到多模态模型输出的感知信息。序列化可以是指对目标文本和传感器数据进行编码，分别将目标文本和传感器数据映射到向量空间，使得多模态模型能够处理目标文本和传感器数据。
[0008]在一种可能的实现方式中，传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，传感器数据序列包括鸟瞰视图(bird eye view，BEV)数据序列，根据传感器数据得到传感器数据序列，包括：根据激光点云和/或图像获得BEV数据，序列化BEV数据得到BEV数据序列。基于BEV数据可以进行精准的3D目标检测，提高感知精度。
[0009]在一种可能的实现方式中，传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，传感器数据序列包括图像序列，图像序列为根据图像获得的。图像中包括更加丰富的语义信息，例如颜色、边缘和纹理等，输入多模态模型的传感器数据中包括图像序列，能够使多模态模型更加准确、全面地感知当前的环境，进而输出准确且全面的感知信息。
[0010]在一种可能的实现方式中，获取目标文本包括：从文本集的多个文本中获取目标文本，文本集中的每一文本指示一个感知任务。目标文本时文本集中的多个文本中的一个文本。文本集中不同的文本指示不同的感知任务，通过从文本集中获取不同的目标文本输入多模态模型，可以使多模态模型实现不同的感知任务，即基于文本集，多模态模型能够实现多任务感知。
[0011]在一种可能的实现方式中，每一文本配置有查询频率，查询频率指示文本被输入多模态模型的频率，从文本集的多个文本中获取目标文本包括：根据文本的查询频率在多个文本中获取目标文本。文本的查询频率可以根据该文本对应的感知任务的重要性以及对及时性的要求进行设置。为了保证能够及时和实时地对环境进行感知，可以以一定的频率向多模态模型输入文本，不同的文本可以根据文本对应的查询频率交替输入多模态模型，从而既能够实现多感知任务，又能够保证根据及时性要求和重要性对各感知任务按需进行处理。
[0012]第二方面提供一种装置。该装置可以为硬件(例如芯片)，也可以为软件产品，例如一种功能模块。装置包括获取模块和处理模块。其中，获取模块，用于获取传感器数据，传感器数据为车辆的传感器采集的表示环境的数据。获取模块，用于获取目标文本，目标文本指示对环境的目标感知任务。处理模块，用于根据传感器数据、目标文本和多模态模型，得到目标感知任务对应的感知信息，多模态模型用于理解目标文本的语义，并根据语义处理传感器数据得到感知信息。
[0013]在一种可能的实现方式中，处理模块，用于根据传感器数据得到传感器数据序列。处理模块，用于根据目标文本得到目标文本序列。处理模块，用于拼接传感器数据序列和目标文本序列，得到多模态序列。处理模块，用于将多模态序列输入多模态模型，以得到多模态模型输出的感知信息。
[0014]在一种可能的实现方式中，传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，传感器数据序列包括BEV数据序列。处理模块，用于根据激光点云和/或图像获得BEV数据。处理模块，用于序列化BEV数据得到BEV数据序列。
[0015]在一种可能的实现方式中，传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，传感器数据序列包括图像序列，图像序列为根据图像获得的。
[0016]在一种可能的实现方式中，获取模块，用于从文本集的多个文本中获取目标文本，文本集中的每一文本指示一个感知任务。
[0017]在一种可能的实现方式中，每一文本配置有查询频率，查询频率指示文本被输入多模态模型的频率。获取模块，用于根据文本的查询频率在多个文本中获取目标文本。
[0018]第三方面提供一种电子设备。该电子设备包括处理器和存储器，处理器耦接存储器，处理器被配置为基于存储在存储器中的指令，执行第一方面或第一方面的任一可能的实现方式中的数据处理方法。
[0019]第四方面提供一种计算机可读存储介质。计算机可读存储介质包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，方法包括：获取传感器数据，所述传感器数据为车辆的传感器采集的表示环境的数据；获取目标文本，所述目标文本指示对所述环境的目标感知任务；根据所述传感器数据、所述目标文本和多模态模型，得到所述目标感知任务对应的感知信息，所述多模态模型用于理解所述目标文本的语义，并根据所述语义处理所述传感器数据得到所述感知信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述传感器数据、所述目标文本和多模态模型，得到所述目标感知任务对应的所述感知信息，包括：根据所述传感器数据得到传感器数据序列；根据所述目标文本得到目标文本序列；拼接所述传感器数据序列和所述目标文本序列，得到多模态序列；将所述多模态序列输入所述多模态模型，以得到所述多模态模型输出的所述感知信息。3.根据权利要求2所述的方法，其特征在于，所述传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，所述传感器数据序列包括鸟瞰视图BEV数据序列，所述根据所述传感器数据得到所述传感器数据序列，包括：根据所述激光点云和/或所述图像获得BEV数据；序列化所述BEV数据得到所述BEV数据序列。4.根据权利要求2或3所述的方法，其特征在于，所述传感器数据包括激光雷达采集的激光点云和摄像头采集的图像，所述传感器数据序列包括图像序列，所述图像序列为根据所述图像获得的。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取目标文本包括：从文本集的多个文本中获取所述目标文本，所述文本集中的每一所述文本指示一个感知任务。6.根据权利要求5所述的方法，其特征在于，每一所述文本配置有查询频率，所述查询频率指示所述文本被输入所述多模态模型的频率，所述从文本集的多个文本中获取所述目标文本包括：根据所述文本的所述查询频率在所述多个文本中获取所述目标文本。7.一种装置，其特征在于，所述装置包括：获取模块，用于获取传感器数据，所述传感器数据为车辆的传感器采集的表示环境的数据；所述获取模块，用于获取目标文本，所述目标文本指示对所述环境的目标感知任务；...

【专利技术属性】
技术研发人员：叶超强，徐航，许松岑，程思源，张洪波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：