基于注意力机制的激光雷达和相机自动标定方法及装置制造方法及图纸

本申请涉及一种基于注意力机制的激光雷达和相机自动标定方法、装置、计算机设备和存储介质。所述方法包括：将RGB图像和激光雷达点云输入到预先训练好的跨模态注意力目标关联网络进行编码，得到场景特征和目标特征图；根据场景特征进行计算，得到视角注意力图，对目标特征图进行双线性插值采样，得到初始特征集合；利用预先训练好的跨模态注意力目标关联网络对初始特征集合进行图结构编码，得到目标特征集合；将视角注意力图和目标特征集合进行目标关联注意，得到跨模态目标匹配的结果；利用级联粒子群优化算法对跨模态目标匹配的结果进行优化，得到相对姿态。采用本方法能够实现激光雷达和相机自动标定。激光雷达和相机自动标定。激光雷达和相机自动标定。

【技术实现步骤摘要】
基于注意力机制的激光雷达和相机自动标定方法及装置


[0001]本申请涉及激光雷达和相机标定
，特别是涉及一种基于注意力机制的激光雷达和相机自动标定方法、装置、计算机设备和存储介质。

技术介绍

[0002]激光雷达与相机相对姿态的标定任务，是通过标定算法计算出二者的相对位姿，即相对旋转矩阵和平移矩阵。实现激光雷达与相机姿态的标定任务，最重要的是要找到雷达数据和相机图像中的对应特征，然后通过优化算法如Epnp等求解相对位姿。激光雷达与相机的自动标定背后的问题是跨膜态匹配的问题，对于人类来说，能很容易地从未标定过的激光雷达
‑
相机数据中找到对应的场景、目标、边缘。比如手动的标定方法是依靠人类的跨模态匹配能力来寻找对应特征关联，实现标定的。这种标定方法费时费力，对标定场景有较高的要求，无法在线标定。实现自动标定的基础是自动从自然环境中找到对应特征，由于两种模态数据(点云、RGB图像)的特征相差较大，因此部分标定算法通过设计特定形状的标定物(比如圆形、正方体或者菱形标定板)降低算法自动匹配雷达和相机相关特征的难度，但是这种方法对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的激光雷达和相机自动标定方法，其特征在于，所述方法包括：获取相机拍摄的RGB图像和激光雷达点云；将所述RGB图像和激光雷达点云输入到预先训练好的跨模态注意力目标关联网络进行编码，得到所述RGB图像和激光雷达点云对应的场景特征和目标特征图；根据所述激光雷达点云的场景特征和所述RGB图像的场景特征进行计算，得到视角注意力图，对所述激光雷达点云的目标特征图和所述RGB图像的目标特征图进行双线性插值采样，得到初始特征集合；利用所述预先训练好的跨模态注意力目标关联网络对所述初始特征集合进行图结构编码，得到目标特征集合；将所述视角注意力图和目标特征集合进行目标关联注意，得到跨模态目标匹配的结果；利用级联粒子群优化算法对所述跨模态目标匹配的结果进行优化，得到相对姿态；所述相对姿态为自动标定结果。2.根据权利要求1所述的方法，其特征在于，所述预先训练好的跨模态注意力目标关联网络的损失函数为其中，P
ij
表示模型预测的第i个点云目标和第j个图像目标的关联概率，P
ijgt
表示人工标注的概率，m表示点云中3D目标的个数，n表示图像中目标的个数。3.根据权利要求1所述的方法，其特征在于，根据所述激光雷达点云的场景特征和所述RGB图像的场景特征进行计算，得到视角注意力图，包括：根据所述激光雷达点云的场景特征和所述RGB图像的场景特征进行计算，得到视角注意力图为A＝softmax(conv(S
R
,S
I
)),A∈R1×
32
×4×
16
，其中S
R
表示激光雷达点云的场景特征，S
I
表示RGB图像的场景特征，softmax表示软最大值算法，conv表示卷积运算。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述初始特征集合包括所述激光雷达点云的初始特征和所述RGB图像的初始特征；对所述激光雷达点云的目标特征图和所述RGB图像的目标特征图进行双线性插值采样，得到初始特征集合，包括：对所述激光雷达点云的目标特征图进行双线性插值采样，得到激光雷达点云的初始特征为X
I
＝Bilinear(F
I
,O
I
),X
I
∈R
N
×
32
,其中，F
I
表示激光雷达点云的目标特征图，N表示图像中的目标个数，32表示的特征维度，OI表示激光雷达点云的目标；Bilinear表示双线性插值运算；对所述RGB图像的目标特征图进行双线性插值采样，得到RGB图像的初始特征为X
R
＝Bilinear(F
R
,O
R
),X

【专利技术属性】
技术研发人员：李健，孙毅，王宇茹，徐昕，孙振平，杨晓慧，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：