融合感知方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种融合感知方法、装置、电子设备及存储介质，该方法通过对获取的车辆视觉图像进行图像特征编码得到图像编码特征，以及对获取的车辆点云数据进行点云特征编码得到点云编码特征，将上述特征均映射至预设三维特征空间，再进行平面化映射后进行特征融合得到融合特征，根据感知任务需求特征尺度将融合特征转化为需求尺度特征，并将需求尺度特征输入预设感知任务网络，得到感知结果，其采用的多摄视觉与雷达融合感知属于前融合信息处理方式，能够实现各个感知任务均基于车周环境空间全域视角的多模态传感器特征融合，使视觉特征和雷达点云特征形成特性互补，进而提升跨视域信息提取精度，降低了后处理难度、重要信息的丢失以及错误率。丢失以及错误率。丢失以及错误率。

【技术实现步骤摘要】
融合感知方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及自动驾驶感知
，具体涉及一种融合感知方法、装置、电子设备及存储介质。

技术介绍

[0002]全方位高精度环境感知能力是实现车辆高级自动驾驶的前提和基础。尤其是卷积神经网络技术的快速发展，使计算机初步具备了对车载2D视觉图像和3D雷达点云场景的语义理解能力。由于视觉图像与雷达点云能够从不同维度反映环境目标的色彩、形状、纹理、位姿等特性，结合视觉与雷达的多模态信息融合已被视为实现自动驾驶高级感知的有效手段。
[0003]然而，考虑到模型计算及信号流程的复杂度等现实因素，当前大量多模态应用主要采用后融合信息处理方式，即对各个传感器数据独立完成环境目标与道路感知任务，再通过后处理方法实现目标校验及全域映射。但这种信息处理方式难以避免视觉、雷达等各传感器探测缺陷对独立检测识别带来的负面影响，大大增加后处理的难度，且在融合阶段容易造成重要信息的丢失，最终导致较高的错误概率。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术实施例提供一种融合感知方法、装置、电子设备及存储介质，以解决上述提到的相关技术中的结合视觉与雷达的多模态信息融合的信息处理方式存在不能避免视觉、雷达等各传感器探测缺陷对独立检测识别带来的负面影响，后处理难度较大、在融合阶段容易造成重要信息的丢失，错误概率较高的技术问题。
[0005]本专利技术实施例提供的融合感知方法，所述方法包括：获取车辆视觉图像和车辆点云数据；对所述车辆视觉图像进行图像特征编码，得到图像编码特征，以及对所述车辆点云数据进行点云特征编码，得到点云编码特征；将所述图像编码特征和所述点云编码特征映射至预设三维特征空间，并对所述预设三维特征空间中的所述图像编码特征和所述点云编码特征进行平面化映射，得到平面点云编码特征和平面图像编码特征；对所述平面点云编码特征和所述平面图像编码特征进行特征融合，得到融合特征；根据感知任务需求特征尺度将所述融合特征转化为需求尺度特征，并将所述需求尺度特征输入预设感知任务网络，得到感知结果，所述感知任务需求特征尺度为所述预设感知任务网络所需要的特征尺度。
[0006]于本专利技术一实施例中，将所述图像编码特征映射至预设三维特征空间包括：以车辆坐标系原点为中心，以车身纵向方向、车身横向方向和车身高度方向作为三个维度方向构建所述预设三维特征空间；获取车辆图像采集设备的图像设备内参和所述车辆图像采集设备与所述预设三维特征空间之间的图像设备外参，并计算所述预设三维特征空间中各体素网格单元对应在所述图像编码特征中的图像体素位置，通过双线性插值方法确定各所述体素网格单元的图像体素特征向量，所述图像编码特征为二维视觉特征图，所述车辆视觉图像通过所述车辆图像采集设备采集得到。
[0007]于本专利技术一实施例中，以车辆坐标系原点为中心，以车身纵向方向、车身横向方向和车身高度方向作为三个维度方向构建所述预设三维特征空间之后，将所述点云编码特征映射至预设三维特征空间包括：获取车辆点云采集设备与所述预设三维特征空间之间的点云设备外参，并计算所述预设三维特征空间中各体素网格单元对应在所述点云编码特征中的点云体素位置，通过三线性插值方法确定各所述体素网格单元的点云体素特征向量，所述点云编码特征为三维点云特征，所述车辆点云数据通过所述车辆点云采集设备采集得到。
[0008]于本专利技术一实施例中，对所述预设三维特征空间中的所述图像编码特征和所述点云编码特征进行平面化映射包括：在所述预设三维特征空间的第一预设平面上沿第一预设维度方向对所有所述体素网格单元的图像体素特征向量进行加和平均处理或维度堆叠处理，得到多个平面图像编码特征；在所述预设三维特征空间的所述第一预设平面上沿所述第一预设维度方向对所有所述体素网格单元的点云体素特征向量进行加和平均处理或维度堆叠处理，得到多个平面点云编码特征。
[0009]于本专利技术一实施例中，对所述平面点云编码特征和所述平面图像编码特征进行特征融合，得到融合特征包括：将所述预设三维特征空间的第二预设平面上各所述体素网格单元对应的所述平面点云编码特征和所述平面图像编码特征沿特征维度进行拼接，得到所述融合特征。
[0010]于本专利技术一实施例中，根据感知任务需求特征尺度将所述融合特征转化为需求尺度特征包括：对所述融合特征进行特征解码；将解码后的融合特征通过特征金字塔基于所述感知任务需求特征尺度输出所述需求尺度特征，所述需求尺度特征满足所述感知任务需求特征尺度的特征尺度要求。
[0011]于本专利技术一实施例中，将所述需求尺度特征输入预设感知任务网络，得到感知结果包括：若所述感知任务需求特征尺度的数量为多个，所述需求尺度特征包括多个不同尺度的需求尺度子特征；将第一目标尺度子特征输入目标检测任务网络，得到目标框的位置信息，所述第一目标尺度子特征的第一尺度大于第一预设尺度阈值；将第二目标尺度子特征输入道路可通行区域任务网络和车道线分割任务网络中至少之一，得到道路可通行区域和车道线分割结果中至少之一，所述第二目标尺度子特征的第二尺度小于第二预设尺度阈值，所述第二预设尺度阈值小于或等于所述第一预设尺度阈值，所述预设感知任务网络包括目标检测任务网络、道路可通行区域任务网络和车道线分割任务网络中至少之一，所述感知结果包括目标框的位置信息、道路可通行区域和车道线分割结果中至少之一。
[0012]于本专利技术一实施例中，将所述需求尺度特征输入预设感知任务网络之前，所述融合感知方法还包括：获取样本车辆的行驶区域高精度地图数据，以及所述样本车辆行驶过程中采集的多个样本视觉图像和多个样本点云数据；基于所述样本视觉图像的图像采集时间和所述样本点云数据的点云采集时间对多个样本视觉图像和多个样本点云数据进行时间对准；对所述行驶区域高精度地图数据标注样本道路可通行区域和样本车道线分割结果，以及在所述样本点云数据所在的三维空间标注样本目标和样本目标框；根据所述样本道路可通行区域、样本车道线分割结果、样本目标、样本目标框以及时间对准后的所述样本视觉图像、所述样本点云数据生成训练样本集；根据目标检测损失和道路结构分割损失确定模型总损失函数，所述目标检测损失基于分类损失与目标框回归损失得到，所述道路结
构分割损失基于道路可通行区域二值交叉熵和车道线二值交叉熵损失得到；通过所述训练样本集和所述模型总损失函数对初始感知任务网络进行训练，得到所述预设感知任务网络。
[0013]于本专利技术一实施例中，基于所述样本视觉图像的图像采集时间和所述样本点云数据的点云采集时间对多个样本视觉图像和多个样本点云数据进行时间对准之前，所述融合感知方法还包括：获取所述样本车辆行驶过程中的多个车辆位姿；基于车辆位姿的位姿采集时间、样本视觉图像的图像采集时间对至少一部分所述样本视觉图像进行第一运动补偿，以及基于所述车辆位姿的位姿采集时间、样本点云数据的点云采集时间对至少一部分所述样本点云数据进行第二运动补偿。
[0014]于本专利技术一实施例中，所述车辆视觉图像包括待感知车辆的多个视角的图像采集设备所采集的车辆子视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合感知方法，其特征在于，所述融合感知方法包括：获取车辆视觉图像和车辆点云数据；对所述车辆视觉图像进行图像特征编码，得到图像编码特征，以及对所述车辆点云数据进行点云特征编码，得到点云编码特征；将所述图像编码特征和所述点云编码特征映射至预设三维特征空间，并对所述预设三维特征空间中的所述图像编码特征和所述点云编码特征进行平面化映射，得到平面点云编码特征和平面图像编码特征；对所述平面点云编码特征和所述平面图像编码特征进行特征融合，得到融合特征；根据感知任务需求特征尺度将所述融合特征转化为需求尺度特征，并将所述需求尺度特征输入预设感知任务网络，得到感知结果，所述感知任务需求特征尺度为所述预设感知任务网络所需要的特征尺度。2.如权利要求1所述的融合感知方法，其特征在于，将所述图像编码特征映射至预设三维特征空间包括：以车辆坐标系原点为中心，以车身纵向方向、车身横向方向和车身高度方向作为三个维度方向构建所述预设三维特征空间；获取车辆图像采集设备的图像设备内参和所述车辆图像采集设备与所述预设三维特征空间之间的图像设备外参，并计算所述预设三维特征空间中各体素网格单元对应在所述图像编码特征中的图像体素位置，通过双线性插值方法确定各所述体素网格单元的图像体素特征向量，所述图像编码特征为二维视觉特征图，所述车辆视觉图像通过所述车辆图像采集设备采集得到。3.如权利要求2所述的融合感知方法，其特征在于，以车辆坐标系原点为中心，以车身纵向方向、车身横向方向和车身高度方向作为三个维度方向构建所述预设三维特征空间之后，将所述点云编码特征映射至预设三维特征空间包括：获取车辆点云采集设备与所述预设三维特征空间之间的点云设备外参，并计算所述预设三维特征空间中各体素网格单元对应在所述点云编码特征中的点云体素位置，通过三线性插值方法确定各所述体素网格单元的点云体素特征向量，所述点云编码特征为三维点云特征，所述车辆点云数据通过所述车辆点云采集设备采集得到。4.如权利要求3所述的融合感知方法，其特征在于，对所述预设三维特征空间中的所述图像编码特征和所述点云编码特征进行平面化映射包括：在所述预设三维特征空间的第一预设平面上沿第一预设维度方向对所有所述体素网格单元的图像体素特征向量进行加和平均处理或维度堆叠处理，得到多个平面图像编码特征；在所述预设三维特征空间的所述第一预设平面上沿所述第一预设维度方向对所有所述体素网格单元的点云体素特征向量进行加和平均处理或维度堆叠处理，得到多个平面点云编码特征。5.如权利要求4所述的融合感知方法，其特征在于，对所述平面点云编码特征和所述平面图像编码特征进行特征融合，得到融合特征包括：将所述预设三维特征空间的第二预设平面上各所述体素网格单元对应的所述平面点云编码特征和所述平面图像编码特征沿特征维度进行拼接，得到所述融合特征。
6.如权利要求1
‑
5任一项所述的融合感知方法，其特征在于，根据感知任务需求特征尺度将所述融合特征转化为需求尺度特征包括：对所述融合特征进行特征解码；将解码后的融合特征通过特征金字塔基于所述感知任务需求特征尺度输出所述需求尺度特征，所述需求尺度特征满足所述感知任务需求特征尺度的特征尺度要求。7.如权利要求6所述的融合感知方法，其特征在于，将所述需求尺度特征输入预设感知任务网络，得到感知结果包括：若所述感知任务需求特征尺度的数量为多个，所述需求尺度特征包括多个不同尺度的需求尺度子特征；将第一目标尺度子特征输入目标检测任务网络，得到目标框的位置信息，所述第一目标尺度子特征的第一尺度大于第一预设尺度阈值；将第二目标尺度子特征输入道路可通行区域任务网络和车...

【专利技术属性】
技术研发人员：漆昇翔，董楠，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：