一种基于相机和毫米波雷达数据的自动对齐方法技术

本发明专利技术公开了一种基于相机和毫米波雷达数据的自动对齐方法，该方法首先通过毫米波雷达扫描获得点云数据，通过相机获取视觉图像信息，然后基于到DLA

【技术实现步骤摘要】
一种基于相机和毫米波雷达数据的自动对齐方法


[0001]本专利技术属于无人驾驶感知算法领域，具体涉及多元异构数据的融合技术，特别是一种相机和毫米波雷达数据的自动对齐方法。

技术介绍

[0002]无人驾驶汽车的技术结构主要分为环境感知、导航定位、路径规划和运动控制四个方面，其中环境感知是其它3类关键技术的数据基础。环境感知技术所采用的传感器包括相机、激光雷达和毫米波雷达等。这些传感器各有优缺点，也互为补充。因此如何高效的融合多传感器数据，也就自然的成为感知算法研究的热点之一。激光雷达成本高，全天候效果差。而毫米波雷达具有稳定的探测性能和良好的环境适应性，是未来无人驾驶的必备传感器。由于毫米波雷达和相机的优势互补，利用视觉雷达融合策略精确测量周围物体的类型和坐标的研究也越来越广泛。
[0003]已知现有的毫米波雷达数据仅有径向和水平距离信息，对高度信息测量不精确，即仅有相机坐标系下的(X、H、Z)信息，没有Y轴信息(高度H不确定)，因此在投影时一个3D点云被映射为(fX/Z、fH/Z)，映射的可能位置是图片上一条垂直线。对于视觉和毫米波雷达的融合，技术实现上的主要难点在于数据对齐。常见的做法是对雷达点云进行高度补齐，例如假设一个点云对应的目标物体高度为3m，最终将一个点云投影为图像上的一条线段，与图像对齐；或者沿高度方向延伸点云形成一个个柱体，与视觉识别物体3D重建后的目标候选框进行对齐；还有的做法是将点云扩充为圆，增强图像效果。
[0004]现有技术的做法都是通过手工设计组件来进行数据对齐，可能会限制神经网络的学习能力，而且严重依赖于两个传感器之间的高质量校准，由于固有的时空偏差，这种校准往往难以获得。
[0005]为此，本专利技术提出一种相机和毫米波雷达数据的自动对齐方法，该方法通过attention进行隐性对齐，雷达数据包含径向和水平距离、rcs等数据，可以帮助数据对齐。

技术实现思路

[0006]专利技术目的：针对现有技术采用手工设计数据对齐组件，无法通过模块实现毫米雷达波和相机数据的自动对齐问题，本专利技术提供一种相机和毫米波雷达数据的自动对齐方法。
[0007]技术方案：一种基于相机和毫米波雷达数据的自动对齐方法，所述方法包括如下步骤：
[0008](1)针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；
[0009](2)对步骤(1)获得的图像信息进行预处理，基于DLA
‑
34网络结构进行处理，得到图像特征图；
[0010](3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中，得到每
个毫米波雷达点云在图像特征图中的位置；
[0011](4)设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值。
[0012]计算点云特征向量；
[0013](5)将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；
[0014](6)将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；
[0015](7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。
[0016]进一步的，步骤(1)考虑到毫米波雷达点云的稀疏性，应用若干个毫米波雷达点云数据和单个摄像机的图像数据，并且融合和当前图像帧时序最近的多帧点云数据。
[0017]进一步的，步骤(3)对于毫米波雷达点云映射过程如下：
[0018](3.1)根据毫米波雷达点的状态属性值筛选和过滤掉无效雷达点；
[0019](3.2)将有效的雷达点检测得到的横纵向距离通过投影变换转换到对应的视觉传感器所在的图像坐标系中转换为图像像素坐标系，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一，如果投影到图像像素坐标系上的雷达点存在重合情况，则采用“近留远舍”的规则，距离近的覆盖距离远的雷达点；
[0020]其中，坐标转换通过标定矩阵完成，标定矩阵公式如下：
[0021][0022]其中，[X
w
，Y
w
，Z
w
，1]是毫米波雷达点在世界坐标系中的坐标，[X
c
，Y
c
，Z
c
，1]是像素坐标系中的坐标，[u，v]是图像像素坐标系中的坐标；
[0023]图像到DLA
‑
34最后一个特征图间的下采样系数为d，毫米波雷达点云P(u，v)在特征图中的坐标为P
′
(u
′
，v
′
)，其中(u
′
，v
′
)＝(u/d，v/d)。
[0024]进一步的，步骤(4)设定最大目标数的步骤如下：
[0025]图像的尺寸为h，w，图像到DLA
‑
34最后一个特征图间的下采样系数为d，该特征图的尺寸为h
′
＝h/d，w
′
＝w/d，通道数为c1；特征图最多可检测出w
′
个目标物体，因此最大目标数可设定为N＝w
′
。
[0026]进一步的，步骤(4)中点云特征向量的计算步骤包括创建大小为N
×
c2的点云特征向量，然后从每个位置的雷达点的属性中选择c2个属性值，作为该点云特征向量u处的初始特征值，其中：N为最大目标数，c2为毫米波雷达点云数据属性值个数。
[0027]进一步的，步骤(5)中图像融合特征图包括如下过程：
[0028](5.1)获取步骤(2)中的图像特征图E∈R
L
×
C1
，步骤(4)中的点云特征向量Q
q
∈R
N
×
C2
，其中L为图像特征图的空间特征数，即(h
′×
w
′
)；
[0029](5.2)预测每个点云特征向量对应的目标物体的中心点位置(c
h
′
，c
w
′
)和尺寸大小(s
h
′
，s
w
′
)，计算过程如下：
[0030]c
h
′
，c
w
′
＝sigmoid(FC(Q
q
))
[0031]s
h
′
，s
w
′
＝FC(Q
q
)
[0032]并使用预测值生成目标物体的二维高斯分布G(i，j)，其中，β表示调节高斯分布的带宽，表达式如下：
[0033][0034](5.3)给定点云特征向量Q
q
∈R
N
×
c2
和图像特征图E∈R
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机和毫米波雷达数据的自动对齐方法，其特征在于，所述方法包括如下步骤：(1)针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；(2)对步骤(1)获得的图像信息进行预处理，基于DLA
‑
34网络结构进行处理，得到图像特征图；(3)将步骤(1)得到的毫米波雷达点云映射到步骤(2)中的图像特征图中，得到每个毫米波雷达点云在图像特征图中的位置；(4)设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值，计算点云特征向量；(5)将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；(6)将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；(7)对步骤(6)中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。2.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(1)考虑到毫米波雷达点云的稀疏性，应用若干个毫米波雷达点云数据和单个摄像机的图像数据，并且融合和当前图像帧时序最近的多帧点云数据。3.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(3)对于毫米波雷达点云映射过程如下：(3.1)根据毫米波雷达点的状态属性值筛选和过滤掉无效雷达点；(3.2)将有效的雷达点检测得到的横纵向距离通过投影变换转换到对应的视觉传感器所在的图像坐标系中转换为图像像素坐标系，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一，如果投影到图像像素坐标系上的雷达点存在重合情况，则采用“近留远舍”的规则，距离近的覆盖距离远的雷达点；其中，坐标转换通过标定矩阵完成，标定矩阵公式如下：其中，[X
w
，Y
w
，Z
w
，1]是毫米波雷达点在世界坐标系中的坐标，[X
c
，Y
c
，Z
c
，1]是像素坐标系中的坐标，[u，v]是图像像素坐标系中的坐标；图像到DLA
‑
34最后一个特征图间的下采样系数为d，毫米波雷达点云P(u，v)在特征图中的坐标为P
′
(u
′
，v
′
)，其中(u
′
，v
′
)＝(u/d，v/d)。4.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(4)设定最大目标数的步骤如下：图像的尺寸为h，w，图像到DLA
‑
34最后一个特征图间的下采样系数为d，该特征图的尺
寸为h
′
＝h/d，w
′
＝w/d，通道数为c1；特征图最多可检测出w
′
个目标物体，因此最大目标数可设定为N＝w
′
。5.根据权利要求1所述的基于相机和毫米波雷达数据的自动对齐方法，其特征在于，步骤(4)中点云特征...

【专利技术属性】
技术研发人员：范玲，郝洁，邓海，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：