车辆的传感数据处理方法、装置、车辆及存储介质制造方法及图纸

本申请涉及一种车辆的传感数据处理方法、装置、车辆及存储介质，其中，方法包括：获取当前车辆的多个车载传感器采集的原始传感数据；将采集到的原始传感数据格式统一至多通道的二维表征，并组成多模的原始数据层，基于原始数据层得到传感数据；将传感数据输入至预先训练的多模态深度卷积网络，卷积处理得到至少一个融合特征，以基于至少一个融合特征识别至少一个目标的感知信息，其中，预先训练的多模态深度卷积网络的卷积核组由原始数据层得到。本申请通过将采集到的原始数据组成多模的原始数据层，并根据可变卷积核，对原始数据层进行特征提取，以生成识别结果，从而降低了网络维护成本，避免了网络的过拟合情况，提升了网络的泛化能力。的泛化能力。的泛化能力。

【技术实现步骤摘要】
车辆的传感数据处理方法、装置、车辆及存储介质


[0001]本申请涉及传感器融合
，特别涉及一种车辆的传感数据处理方法、装置、车辆及存储介质。

技术介绍

[0002]当前深度网络的识别技术在车载感知识别领域取得了瞩目的成果，并引领着自动驾驶往实用落地发展。然而各个传感器需要不同的配置，如图1所示，其不仅需要预先配置好传感器的参数及安装位置，还需要工程师进行大量复杂地适配工作。同时，各传感器的成本差别较大，即便再同类车型上，各级别的辅助驾驶或自动驾驶中，各传感器均是梯次装配，进而造成基于各传感器的感知网络或是独立识别，或是固定融合，如图2所示，由此造成了根据不同传感器配置，具有不同的识别网络，对网络的适配维护带来了较大地工作量。此外，不同传感器探测得到的原始信号、格式等都各不相同，例如，摄像头因其感光元件不同，经过不同ISP(Image Signal Processor，图像信号处理)算法处理后的图像质量也不同，如图3所示，因此，不同的传感器会拥有不同的前处理算法和识别网络算法等，从而导致算法迁移、公用较为困难。
[0003]目前，相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆的传感数据处理方法，其特征在于，包括以下步骤：获取当前车辆的多个车载传感器采集的原始传感数据；将采集到的所述原始传感数据格式统一至多通道的二维表征，并组成多模的原始数据层，基于所述原始数据层得到传感数据；以及将所述传感数据输入至预先训练的多模态深度卷积网络，卷积处理得到至少一个融合特征，以基于所述至少一个融合特征识别至少一个目标的感知信息，其中，所述预先训练的多模态深度卷积网络的多组卷积核组由所述多个车载传感器的数据得到。2.根据权利要求1所述的方法，其特征在于，所述基于所述原始数据层得到传感数据，包括：利用预设高维数组链接所述原始传感数据；或者，基于预设前处理网络对所述原始传感数据进行处理。3.根据权利要求1所述的方法，其特征在于，在所述获取当前车辆的多个车载传感器采集的原始传感数据之前，还包括：对所述多个车载传感器进行时空标定。4.一种车辆的传感数据处理方法，其特征在于，包括以下步骤：根据多种传感器的数据确定多组卷积核组的设计信息，以适应提取多种传感器组合时，生成对应的融合特征；基于所述多组卷积核组的设计信息和预设卷积组选择机制进行网络训练，得到预先训练的多模态深度卷积网络，以将传感数据输入所述多模态深度卷积网络，得到至少一个融合特征。5.根据权利要求4所述的方法，其特征在于，所述根据多种传感器的配置确定多组卷积核组的设计信息，包括：根据原始数据和/或特征图通道数比例匹配每层卷积核比例数。6.根据权利要求5所述的方法，其特征在于，所述基于所述多组卷积核组的设计信息和预设卷积组选择机制进行网络训练，得到预先训练的多模态深度卷积网络，包括：根据所述原始数据和/或特征图通道比例获取每组卷积核组的权值；基于所述每组卷积核组的权值进行卷积特征提取训练。7.一种车辆的传感数据处理装置，其特征在于，包括：获取模块，用于获取当前车辆的多个车载传感器采集的原始传感数据；预处理模块，用于将采集到的所述原始传感数据格式统一至多通道的二维表征，并组成多模的原始数据层，基于所述原始数据层得到传感数...

【专利技术属性】
技术研发人员：董楠，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：