交叉视角下多模态特征融合的三维目标检测方法和系统技术方案

本发明专利技术涉及一种交叉视角下多模态特征融合的三维目标检测方法和系统，包括以下步骤：对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息；构建基于交叉视角多模态数据的融合网络，对得到的交叉视角下的特征信息进行深度融合并提取特征，同时进行目标类别及三维位置信息的回归，得到完整的三维目标检测信息。本发明专利技术充分考虑了相机图像信息在前视图视角下的空间特征以及毫米波雷达点云信息在鸟瞰图视角下的空间特征，能够适应不同传感器的空间特性进一步进行有效的融合，提高融合性能，有效提高准确率，便于进行后续算法处理。本发明专利技术可以广泛应用于智能汽车的环境感知领域。域。域。

【技术实现步骤摘要】
交叉视角下多模态特征融合的三维目标检测方法和系统


[0001]本专利技术涉及智能汽车的环境感知领域，特别是关于一种利用交叉视角下多模态特征融合的三维目标检测方法和系统。

技术介绍

[0002]智能汽车需要利用车载传感器提供的观测信息，进行驾驶环境感知与理解，通过实现目标检测与跟踪、语义分割、场景理解等算法，将感知结果用于路径规划、风险目标避障等驾驶任务。而由于智能汽车的驾驶环境通常具有较高的复杂性与动态性，对车辆感知系统的准确性、稳定性、可靠性提出了较高的要求。单传感器在感知范围、感知精度、感知信息丰富度上具有局限性，难以满足高级自动驾驶的感知需求，因此利用多传感器信息进行融合感知成为了一种有效的感知增强手段。
[0003]相机和毫米波雷达是两种常见的车载感知传感器。相机采集的图像具有稠密的语义信息，而毫米波雷达能够直接观测目标的相对位置与速度信息，同时毫米波雷达的全天候工作特性使得其能够抵御恶劣的天气条件，因此这两种传感器的信息融合感知算法已在量产的辅助驾驶功能系统中得到了大规模的应用。但由于相机采集的图像缺乏景深信息，毫米波雷达点云缺乏高度信息，同时毫米波雷达点云稀疏且杂波多，因此来自相机与毫米波雷达的信息均缺乏对三维环境空间的完整描述，在三维目标感知任务中难以直接应用。
[0004]现有的雷达点云与相机图像融合感知方法通常将毫米波雷达点云数据利用空间标定矩阵投影至相机图像上，并设计相应的特征表达规则，使得雷达点云在图像空间上进行一致性表达，再进行后续的融合特征提取，实现目标检测或目标跟踪。这种做法没有考虑毫米波雷达点云与相机图像信息作为两种空间异构的信息，数据之间存在的较大空间差异性，在进行多模态数据融合时强行统一至相机空间所在的前视图视角，对毫米波雷达数据特征适应不佳，导致融合效果有限，算法性能有待提升。

技术实现思路

[0005]针对上述问题，本专利技术的目的是提供一种交叉视角下多模态特征融合的三维目标检测方法和系统，其能够应用于来自多传感器的多模态空间异构信息进行数据级融合的感知算法，能够充分适应不同模态数据的空间特性，提高融合性能，得到更加准确、可靠的目标检测信息，提高智能汽车系统的安全性。
[0006]为实现上述目的，本专利技术采取以下技术方案：
[0007]第一方面，本专利技术提供一种交叉视角下多模态特征融合的三维目标检测方法，包括以下步骤：
[0008]对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息；
[0009]构建基于交叉视角多模态数据的融合网络，对得到的交叉视角下的特征信息进行深度融合并提取特征，同时进行目标类别及三维位置信息的回归，得到完整的三维目标检
测信息。
[0010]进一步，所述对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息的方法，包括以下步骤：
[0011]构建相机图像视角下的特征提取器，对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征及其对应的2D目标检测位置；
[0012]构建毫米波雷达视角下的特征提取器，对毫米波雷达点云数据进行多帧点云累计处理，并得到鸟瞰图视角下的雷达点云特征分布图；
[0013]构建交叉视角特征转换器，将前视图视角下的二维多尺度卷积特征以及鸟瞰图视角下的雷达点云特征分布图进行视角转换，得到交叉视角下的特征信息。
[0014]进一步，所述构建相机图像视角下的特征提取器，对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征及其对应的2D目标检测位置的方法，包括以下步骤：
[0015]利用卷积神经网络对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征；
[0016]基于得到的二维多尺度卷积特征，对相机图像的每一个像素坐标为(h，w)的像素估计其深度分布D及类别分布同时进行目标2D位置的初步回归，得到相机图像的2D目标检测位置。
[0017]进一步，所述构建毫米波雷达视角下的特征提取器，对毫米波雷达数据进行多帧点云累计处理，并得到鸟瞰图视角下的雷达点云特征分布图的方法，包括以下步骤：
[0018]对毫米波雷达点云数据进行多帧点云累计处理，得到当前帧毫米波雷达点云观测结果；
[0019]基于当前帧毫米波雷达点云观测结果，利用高斯概率分布模型构建鸟瞰图视角下的雷达点云特征分布图。
[0020]进一步，所述当前帧毫米波雷达点云观测结果为：
[0021]Z
radar
(t)＝T
c_from_r
T
c_from_g
(t)T
g_from_c
(t
‑
k)T
r_from_c
Z
radar
(t
‑
k)
[0022]其中，Z
radar
(t)为当前帧毫米波雷达点云观测结果；T
c_from_r
表示从毫米波雷达坐标系到自车坐标系的转移矩阵；T
c_from_g
(t)表示当前帧从全局坐标系到自车坐标系的转移矩阵；T
g_from_c
(t
‑
k)表示前第k帧从自车坐标系到全局坐标系的转移矩阵；T
r_from_c
表示从自车到毫米波雷达坐标系的转移矩阵；Z
radar
(t)和Z
radar
(t
‑
k)表示当前帧毫米波雷达点云观测结果和k帧前的毫米波雷达点云观测结果。
[0023]进一步，所述构建交叉视角特征转换器，将前视图视角下的二维多尺度卷积特征以及鸟瞰图视角下的雷达点云特征分布图进行视角转换，得到交叉视角下的特征信息的方法，包括以下步骤：
[0024]基于图像的内外参信息构建前视图视角特征转换器，将鸟瞰图视角下的雷达点云特征分布图转换至前视图视角下，得到前视图下的雷达高斯特征融合结果；
[0025]基于图像的内外参信息构建鸟瞰图视角特征转换器，将前视图视角下的二维多尺度卷积特征转换至鸟瞰图视角下，得到鸟瞰图视角下的图像卷积特征融合结果。
[0026]进一步，所述基于图像的内外参信息构建前视图视角特征转换器，将鸟瞰图视角下的雷达点云特征分布图转换至前视图视角下，得到前视图下的雷达高斯特征融合结果，包括以下步骤：
[0027]首先，利用鸟瞰图到前视图坐标系的空间转换关系T
f_from_b
，将雷达点云投影至前视图；
[0028]其次，根据相机图像的2D目标检测位置，对落于目标在前视图中二维空间包围框内的雷达点云进行保留，填充对应的像素位置，得到前视图下的雷达高斯特征融合结果。
[0029]进一步，所述基于毫米波雷达与图像之间的标定信息，构建鸟瞰图视角特征转换器，将前视图视角下的二维多尺度卷积特征转换至鸟瞰图视角下，得到鸟瞰图视角下的图像卷积特征融合结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交叉视角下多模态特征融合的三维目标检测方法，其特征在于，包括以下步骤：对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息；构建基于交叉视角多模态数据的融合网络，对得到的交叉视角下的特征信息进行深度融合并提取特征，同时进行目标类别及三维位置信息的回归，得到完整的三维目标检测信息。2.如权利要求1所述的一种交叉视角下多模态特征融合的三维目标检测方法，其特征在于，所述对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息的方法，包括以下步骤：构建相机图像视角下的特征提取器，对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征及其对应的2D目标检测位置；构建毫米波雷达视角下的特征提取器，对毫米波雷达点云数据进行多帧点云累计处理，并得到鸟瞰图视角下的雷达点云特征分布图；构建交叉视角特征转换器，将前视图视角下的二维多尺度卷积特征以及鸟瞰图视角下的雷达点云特征分布图进行视角转换，得到交叉视角下的特征信息。3.如权利要求2所述的一种交叉视角下多模态特征融合的三维目标检测方法，其特征在于，所述构建相机图像视角下的特征提取器，对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征及其对应的2D目标检测位置的方法，包括以下步骤：利用卷积神经网络对相机图像进行特征提取，得到前视图视角下的二维多尺度卷积特征；基于得到的二维多尺度卷积特征，对相机图像的每一个像素坐标为(h，w)的像素估计其深度分布D及类别分布同时进行目标2D位置的初步回归，得到相机图像的2D目标检测位置。4.如权利要求2所述的一种交叉视角下多模态特征融合的三维目标检测方法，其特征在于，所述构建毫米波雷达视角下的特征提取器，对毫米波雷达数据进行多帧点云累计处理，并得到鸟瞰图视角下的雷达点云特征分布图的方法，包括以下步骤：对毫米波雷达点云数据进行多帧点云累计处理，得到当前帧毫米波雷达点云观测结果；基于当前帧毫米波雷达点云观测结果，利用高斯概率分布模型构建鸟瞰图视角下的雷达点云特征分布图。5.如权利要求4所述的一种交叉视角下多模态特征融合的三维目标检测方法，其特征在于，所述当前帧毫米波雷达点云观测结果为：Z
radar
(t)＝T
c_from_r
T
c_from_g
(t)T
g_from_c
(t
‑
k)T
r_from_c
Z
radar
(t
‑
k)其中，Z
radar
(t)为当前帧毫米波雷达点云观测结果；T
c_from_r
表示从毫米波雷达坐标系到自车坐标系的转移矩阵；T
c_from_g
(t)表示当前帧从全局坐标系到自车坐标系的转移矩阵；T
g_from_c
(t
‑
k)表示前第k帧从自车坐标系到全局坐标系的转移矩阵；T
r_from_c
表示从自车到毫米波雷达坐标系的转移矩阵；Z
radar
(t)和Z
radar
(t
‑
k)表示当前帧毫米波雷达点云观测结果和k帧前的毫米波雷达点云观测结果。
6....

【专利技术属性】
技术研发人员：江昆，杨殿阁，周韬华，杨蒙蒙，陈俊杰，
申请(专利权)人：清华大学，
类型：发明
国别省市：