一种基于深度学习的激光雷达与相机外参标定方法及装置制造方法及图纸

本发明专利技术实施例中提供的一种基于深度学习的激光雷达与相机外参标定方法、装置、计算机设备，利用沙漏网络使用跳层来保留每个分辨率的空间信息，有效地处理和整合不同规模的特征，通过堆叠多个沙漏网络能有效利用各层次特征再次发掘新特征。引入了选核网络将两者提取到的深层特征进行通道上的级联，然后从级联好的深度图与图像特征中提取多尺度信息，自适应地进行特征聚合。将聚合好的特征通过两个全连接分支回归出激光雷达与相机之间外参的平移分量和旋转分量，提升了标定速度，减少了人力成本和实验成本，克服了对特定标定实验场景、特定实验目标的依赖。从实验结果看，较好的实现了标定功能，取得了较好的实验结果。取得了较好的实验结果。取得了较好的实验结果。

【技术实现步骤摘要】
一种基于深度学习的激光雷达与相机外参标定方法及装置


[0001]本专利技术涉及计算机领域，特别涉及一种基于深度学习的激光雷达与相机外参标定方法、装置、计算机设备以及存储有计算机指令的非瞬时计算机可读存储介质。

技术介绍

[0002]在过去的一段时间里，自动驾驶已经成为了一个非常热门的发展方向，而感知系统作为自动驾驶系统的眼睛，其重要性不言而喻。现实环境复杂而多变，基于单一传感器的感知系统很难应对，所以多传感器融合成了众多感知系统的解决方案，特别是能提供稀疏3D信息的激光雷达和稠密2D信息的相机之间的数据融合。标定是计算机视觉与机器人领域的基础问题，比如，在无人驾驶车辆等同时搭载有激光雷达和相机这两类传感器的移动平台中，则需要进行激光雷达与相机之间的标定。而雷达点云数据与相机图像数据融合的基础是通过标定得到激光雷达与相机之间准确的外参。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种基于深度学习的激光雷达与相机外参标定方法、装置、计算机设备以及存储有计算机指令的非瞬时计算机可读存储介质。
[0004]第一方面，本专利技术实施例中提供了一种基于深度学习的激光雷达与相机外参标定方法，所述方法包括：
[0005]获取相机采集的图像数据以及激光雷达所采集的点云数据；
[0006]将所述点云数据投影至所述相机的像平面上组成深度图；
[0007]利用堆叠沙漏网络分别提取所述图像数据的第一深层特征和所述深度图的第二深层特征；
[0008]利用选核网络对所述第一深层特征和所述第二深层特征进行通道上的级联得到级联特征，通过不同感受野卷积核对所述级联特征进行特征提取，确定不同感受野下所述深度图和所述图像数据的特征相关性，利用注意力机制对不同的特征聚合通道进行自适应选择得到聚合特征；
[0009]将所述聚合特征通过全连接层回归得到所述激光雷达和所述相机之间外参的平移分量和旋转分量，完成标定。
[0010]作为一种可选的方案，所述将所述点云数据投影至所述相机的像平面上组成深度图，包括：
[0011]给定所述激光雷达与所述相机之间的初始外参矩阵T
init
和所述相机内参矩阵K，将所述点云数据中的每个点P
i
(x
i
,y
i
,z
i
)都投影至像平面上组成深度图D，所述深度图D对应的像素坐标为p
i
(u
i
，v
i
)，像素值为Z
i
，投影过程如下：
[0012][0013][0014]其中，是像素坐标P
i
的齐次坐标。
[0015]作为一种可选的方案，还包括：
[0016]将每帧点云数据通过真值外参T
LC
转到相机空间坐标系下，再乘以随机扰动矩阵
△
T以及相机内参转成深度图，此时每帧点云数据对应的初始外参矩阵为T
init
＝
△
T*T
LC
。
[0017]作为一种可选的方案，所述将所述聚合特征通过全连接层回归得到所述激光雷达和所述相机之间外参的平移分量和旋转分量，包括：
[0018]将所述聚合特征通过一个全连接层，输出的是1
×
3的平移向量t
pred
和1
×
4的旋转四元数q
pred
＝(q0,q1,q2,q3)，四元数与旋转矩阵的转换公式：
[0019][0020]设置两种损失函数分别为回归损失L
T
和点云距离损失L
p
：
[0021]L＝λ
T
L
T
+λ
p
L
p
ꢀꢀꢀ
(4)
[0022]其中，回归损失L
T
由平移分量损失L
t
和旋转分量损失L
R
两部分组成,L
t
为t
pred
与t
gt
之间的smooth L1损失，其中t
gt
和q
gt
对应外加的随机旋转误差和平移误差，L
R
计算q
gt
＝(q0,q1,q2,q3)和q
pred
＝(q'0,q1',q'2,q'3)，其中λ
T
，λ
p
均为经验值；
[0023][0024]L
T
＝λ
t
L
t
+λ
q
L
R
ꢀꢀꢀ
(6)
[0025]点云P＝{P1，...P
N
}，P
i
∈R3点云距离损失L
p
计算公式如式(7)：
[0026][0027]作为一种可选的方案，还包括：
[0028]对标定后的激光雷达与相机之间的外参进行评估；
[0029]将回归得到的矩阵的逆乘以
△
T得到新矩阵，提取所述新矩阵的平移向量t1，将所述平移向量t1和所述新矩阵的真值平移向量t
gt
＝[0,0,0]各分量之差的绝对值作为平
移分量的评价指标E
t_i
，i∈(x,y,z)：
[0030]E
t_i
＝|t
1_i
‑
t
gt_i
|
ꢀꢀꢀ
(8)
[0031]将旋转矩阵变换为欧拉角，分别计算各个轴的角度误差E
R_j
，j∈(α,β,γ)：
[0032]E
R_j
＝|R
1_j
‑
R
gt_j
|
ꢀꢀꢀ
(9)。
[0033]第二方面，本专利技术实施例中提供了一种基于深度学习的激光雷达与相机外参标定装置，包括：
[0034]获取模块，用于获取相机采集的图像数据以及激光雷达所采集的点云数据；
[0035]预处理模块，用于将所述点云数据投影至所述相机的像平面上组成深度图；
[0036]特征提取模块，用于利用堆叠沙漏网络分别提取所述图像数据的第一深层特征和所述深度图的第二深层特征；
[0037]特征聚合模块，用于利用选核网络对所述第一深层特征和所述第二深层特征进行通道上的级联得到级联特征，通过不同感受野卷积核对所述级联特征进行特征提取，确定不同感受野下所述深度图和所述图像数据的特征相关性，利用注意力机制对不同的特征聚合通道进行自适应选择得到聚合特征；
[0038]回归模块，用于将所述聚合特征通过全连接层回归得到所述激光雷达和所述相机之间外参的平移分量和旋转分量，完成标定。
[0039]第三方面，本专利技术实施例中提供了一种计算机设备，包括：...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的激光雷达与相机外参标定方法，其特征在于，所述方法包括：获取相机采集的图像数据以及激光雷达所采集的点云数据；将所述点云数据投影至所述相机的像平面上组成深度图；利用堆叠沙漏网络分别提取所述图像数据的第一深层特征和所述深度图的第二深层特征；利用选核网络对所述第一深层特征和所述第二深层特征进行通道上的级联得到级联特征，通过不同感受野卷积核对所述级联特征进行特征提取，确定不同感受野下所述深度图和所述图像数据的特征相关性，利用注意力机制对不同的特征聚合通道进行自适应选择得到聚合特征；将所述聚合特征通过全连接层回归得到所述激光雷达和所述相机之间外参的平移分量和旋转分量，完成标定。2.根据权利要求1所述的基于深度学习的激光雷达与相机外参标定方法，其特征在于，所述将所述点云数据投影至所述相机的像平面上组成深度图，包括：给定所述激光雷达与所述相机之间的初始外参矩阵T
init
和所述相机内参矩阵K，将所述点云数据中的每个点P
i
(x
i
，y
i
，z
i
)都投影至像平面上组成深度图D，所述深度图D对应的像素坐标为P
i
(u
i
，v
i
)，像素值为Z
i
，投影过程如下：，投影过程如下：其中，是像素坐标P
i
的齐次坐标。3.根据权利要求1或2所述的基于深度学习的激光雷达与相机外参标定方法，其特征在于，还包括：将每帧点云数据通过真值外参T
LC
转到相机空间坐标系下，再乘以随机扰动矩阵
△
T以及相机内参转成深度图，此时每帧点云数据对应的初始外参矩阵为T
init
＝
△
T*T
LC
。4.根据权利要求1所述的基于深度学习的激光雷达与相机外参标定方法，其特征在于，所述将所述聚合特征通过全连接层回归得到所述激光雷达和所述相机之间外参的平移分量和旋转分量，包括：将所述聚合特征通过一个全连接层，输出的是1
×
3的平移向量t
pred
和1
×
4的旋转四元数q
pred
＝(q0,q1,q2,q3)，四元数与旋转矩阵的转换公式：
设置两种损失函数分别为回归损失L
T
和点云距离损失L
p
：L＝λ
T
L
T
+λ
p
L
p
ꢀꢀ
(4)其中，回归损失L
T
由平移分量损失L
t
和旋转分量损失L
R
两部分组成,L
t
为t
pred
与t
gt
之间的smooth L1损失，其中t
gt
和q
...

【专利技术属性】
技术研发人员：高文，伍易，魏铭，王博，刘慧莹，林慧兰，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：