一种基于深度学习的多传感器外参联合标定方法及系统技术方案

本发明专利技术公开了一种基于深度学习的多传感器外参联合标定方法及系统。所述方法，采用建立的相机

【技术实现步骤摘要】
一种基于深度学习的多传感器外参联合标定方法及系统


[0001]本专利技术涉及传感器外参标定领域，特别是涉及一种基于深度学习的多传感器外参联合标定方法及系统。

技术介绍

[0002]自动驾驶是近年来的热门课题，涉及感知、控制、规划等复杂任务，其首要任务是实现基于多传感器融合的智能感知。通过激光雷达、相机等传感器进行外部环境的感知，然后再对各类传感器的感知数据进行融合以增强自动驾驶环境下的环境感知能力。
[0003]在自动驾驶系统的感知层，最为普遍使用的传感器是RGB相机(单目、双目)和多线激光雷达。激光雷达向周围环境发射激光并接收反射激光，根据接收和反射的时间差以及光速来计算被探测点到激光雷达的距离。基于这样的测距原理，激光雷达可以获得水平360度及纵向一定角度的高精度的深度信息。然而，激光雷达的光线数量有限，只能获得分辨率有限的稀疏点云。RGB单目相机能够从环境中获取高分辨率的颜色和纹理信息，但无法从图像数据恢复出真实3D运动中的尺度信息，不能获得高精度的深度信息。因此，RGB相机和激光雷达在数据层面是互补的，二者的融合也是当今自动驾驶传感融合的热门研究问题。为了实现高质量的传感融合，相机和激光雷达的外参数标定是极为关键的，只有得到了各传感器之间精确的坐标系变换关系，才能精确地将各传感器获得的数据进行匹配，从而进行数据的各个层次的融合。
[0004]目前，相机
‑
3D激光雷达的外参标定方法大多采用离线标定，该类标定方法无法纠正由于环境变化或在现场运行过程中的振动而造成的任何偏差，一旦传感器由于外界环境不可抗力因素造成校准偏差，往往需要专业人员重新标定，而人为标定，不仅费时耗力，且误差较大。因此，现有的传感器外参标定方法的标定效率和标定精度都有待提高。

技术实现思路

[0005]基于此，本专利技术实施例提供一种基于深度学习的多传感器外参联合标定方法及系统，全程无需人为的参与、调控，实现了全自动的在线标定和误差自我修正，能够提高标定效率和标定精度。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于深度学习的多传感器外参联合标定方法，包括：
[0008]建立相机
‑
3D激光雷达外参在线标定深度学习模型；所述相机
‑
3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；
[0009]其中，所述相机
‑
3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出
特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。
[0010]可选的，所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层；所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征。
[0011]可选的，所述空间金字塔池化模块，包括：第一卷积层、第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层；所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接。
[0012]可选的，所述标定参数回归模块，包括：液态时间常数网络；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间网络的输出与所述预测输出模块的输入连接。
[0013]可选的，所述预测输出模块，包括：第一全连接层、第二全连接层和第三全连接层；所述第一全连接层的输入与所述标定参数回归模块的输出连接；所述第一全连接层的输出分别与所述第二全连接层和所述第三全连接层连接。
[0014]可选的，所述特征提取模块，包括：图像特征提取子模块和点云深度图特征提取子模块；所述图像特征提取子模块和所述点云深度图特征提取子模块均采用resnet
‑
18网络，所述点云深度图特征提取子模块中的各层卷积核的数量均为所述图像特征提取子模块中相应层卷积核数量的一半；所述图像特征提取子模块用于从所述RGB图像中提取特征；所述点云深度图特征提取子模块用于从所述激光雷达点云深度图中提取特征。
[0015]可选的，所述相机
‑
3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的；
[0016]其中，训练过程，具体包括：
[0017]对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图；
[0018]将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoch的深度学习模型输出的标定参数预测值，计算损失函数输出的损失值是否处于设定范围内；所述验证集包括RGB验证图像和激光雷达点云深度验证图；所述损失值包括预测变换损失和点云距离变换损失；
[0019]若是，则保存所述当前epoch的深度学习模型的参数，继续训练下一个epoch；
[0020]当所有的epochs都训练结束，在保证训练时的损失值和验证时的损失值均未出现过拟合和欠拟合的情况下，从保存的所有参数中，选择损失值最小的参数作为模型的最优参数；所述最优参数对应的深度学习模型为所述相机
‑
3D激光雷达外参在线标定深度学习模型。
[0021]可选的，所述损失函数为：
[0022]L
total
＝aL
t
+bL
p
；
[0023]其中，
[0024]L
t
＝||R
pre
‑
R
gt
||+||t
pre
‑
t
gt
||2；
[0025][0026]L
total
表示损失值，L
t
表示预测变换损失，L
p
表示点云距离损失，a表示预测变换损失的平衡因子，b表示预测变换损失的平衡因子，T
pre
表示深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多传感器外参联合标定方法，其特征在于：建立相机
‑
3D激光雷达外参在线标定深度学习模型；所述相机
‑
3D激光雷达外参在线标定深度学习模型用于实现相机和3D激光雷达之间的外参标定；其中，所述相机
‑
3D激光雷达外参在线标定深度学习模型，具体包括：依次连接的特征提取模块、通道注意力机制模块、空间金字塔池化模块、标定参数回归模块和预测输出模块；所述特征提取模块用于对RGB图像和激光雷达点云深度图进行特征提取；所述通道注意力机制模块用于采用通道注意力机制对所述特征提取模块输出的特征进行自适应加权；所述空间金字塔池化模块用于从加权后的特征中挖掘不同尺寸特征并采用固定长度输出特征，以避免模型迁移所需的数据裁剪；所述标定参数回归模块用于对所述空间金字塔池化模块输出的特征进行标定参数的回归，以挖掘所述RGB图像和所述激光雷达点云深度图之间的匹配映射关系；所述预测输出模块用于根据所述匹配映射关系输出标定参数预测值。2.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述通道注意力机制模块，包括：图像通道注意力机制子模块和点云深度图通道注意力机制子模块；所述图像通道注意力机制子模块和所述点云深度图通道注意力机制子模块均包括依次连接的全局平均池化层、第二卷积层和第三卷积层；所述图像通道注意力机制子模块的输入为所述特征提取模块从所述RGB图像中提取的特征；所述点云深度图通道注意力机制子模块的输入为所述特征提取模块从所述激光雷达点云深度图中提取的特征。3.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述空间金字塔池化模块，包括：第一卷积层、第一空间金字塔池化层、第二空间金字塔池化层和第三空间金字塔池化层；所述第一卷积层的输入与所述通道注意力机制模块的输出连接，所述第一卷积层的输出分别与所述第一空间金字塔池化层、所述第二空间金字塔池化层和所述第三空间金字塔池化层连接。4.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述标定参数回归模块，包括：液态时间常数网络；所述液态时间常数网络的输入与所述空间金字塔池化模块的输出连接；所述液态时间网络的输出与所述预测输出模块的输入连接。5.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述预测输出模块，包括：第一全连接层、第二全连接层和第三全连接层；所述第一全连接层的输入与所述标定参数回归模块的输出连接；所述第一全连接层的输出分别与所述第二全连接层和所述第三全连接层连接。6.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述特征提取模块，包括：图像特征提取子模块和点云深度图特征提取子模块；所述图像特征提取子模块和所述点云深度图特征提取子模块均采用resnet
‑
18网络，所述点云深度图特征提取子模块中的各层卷积核的数量均为所述图像特征提取子模块中相应层卷积核数量的一半；所述图像特征提取子模块用于从所述RGB图像中提取特征；所述点云深度图特征提取子模块用于从所述激光雷达点云深度图中提取特征。7.根据权利要求1所述的一种基于深度学习的多传感器外参联合标定方法，其特征在于，所述相机
‑
3D激光雷达外参在线标定深度学习模型是采用训练集和验证集对参数未定的深度学习模型进行训练得到的；
其中，训练过程，具体包括：对于当前的epoch，将训练集输入深度学习模型中进行训练，得到当前epoch的深度学习模型；所述训练集包括RGB训练图像和激光雷达点云深度训练图；将验证集输入所述当前epoch的深度学习模型，根据标定参数参考值和所述当前epoc...

【专利技术属性】
技术研发人员：胡斌杰，尚洪程，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：