【技术实现步骤摘要】
本专利技术属于实时建图与定位，具体涉及一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法。
技术介绍
1、随着无人驾驶技术的不断发展，实时建图与定位已经成为实现自动驾驶系统稳定运行的核心技术之一。精确的车辆姿态估计在实时建图与定位技术中至关重要，尤其是在复杂动态环境中，准确掌握车辆的位姿信息是路径规划、障碍物检测和自动控制系统决策的基础。传统的姿态估计方法通常依赖单一传感器数据，如惯性测量单元(imu)或单目相机，但这些方法在实际应用中存在一定的局限性，难以满足高精度要求。近年来，激光雷达(lidar)与相机的融合技术获得了广泛关注，成为提高姿态估计精度和鲁棒性的有效手段。lidar通过激光扫描生成的点云数据提供高精度的空间信息，能够有效辅助姿态估计；而相机则提供丰富的视觉信息，在场景理解和物体识别方面具有显著优势。然而，如何高效地对齐这两种异构传感器的特征信息，并基于此实现高精度的车辆姿态估计，仍然是一个技术难题。此外，现有的车辆姿态估计算法通常采用单一的模型结构，仅在输出阶段估计姿态变换结果，使得模型在训练阶段无法进行更精细的优化，从而影响了估计结果的精度。
技术实现思路
1、本专利技术充分考虑了现有方法存在的缺点，其目的在于提供一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，通过图像和点云特征匹配对齐的方式和跨模态注意力机制，实现多模态共性特征表示能力的增强，进而实现对姿态估计结果的微调，提升车辆姿态估计的准确率。
2、一、技术原理
3、目
4、二、根据上述原理，本专利技术通过以下方案实现：
5、一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，包括以下步骤：
6、(1)获取点云和图像数据集；收集对应无人驾驶车辆在一段连续行驶过程中采集的图像和点云数据集作为训练集，该数据集包含按照时间顺序连续采集的n帧图像数据{i1,i2,…,in}、点云数据{pc1,pc2,…,pcn}以及对应的标定参数集，图像和点云数据的采样频率相同，且it和pct,{t＝1,2,…,n}具有相同的采集时间戳，图像数据由单个相机采集，点云数据由单个旋转式激光雷达采集；采用同样方式对对应无人驾驶车辆在一段连续行驶过程中采集的图像和点云数据集作为测试集。
7、(2)构建位姿估计模型；该模型由数据预处理模块、深度估计模块、多模态特征编码模块、特征对齐和姿态细化模块构成，具体构建过程包括以下步骤：
8、(2-a)构建数据预处理模块，以t-1和t连续两帧点云pct-1和pct作为输入，将pct-1和pct依次通过柱状投影和坐标转换分别生成点云投影图vt-1和vt，其中坐标转换为从点云坐标系转换为相机坐标系。
9、(2-b)构建深度估计模块，以t-1和t连续两帧图像it-1和it作为输入，将图像尺寸调整为h×w分别得到调整后图像和使用深度估计神经网络monodepth2处理和分别得到相对深度图dt-1和dt；其中h和w为正整数，且h∈[1,10000]，w∈[1,10000]。
10、(2-c)构建多模态特征编码模块，该模块由图像编码器、深度编码器、雷达编码器、初始回归器组成；将步骤(2-b)中获取的调整后图像和在通道维度进行拼接，随后输入以resnet-18作为特征提取器的图像编码器，得到图像特征eimg；将步骤(2-b)中获取的相对深度图dt-1和dt在通道维度进行拼接，随后输入以resnet-18作为特征提取器的深度编码器，得到深度特征edepth；将步骤(2-a)中得到的点云投影图vt-1和vt在通道维度进行拼接，随后输入以resnet-18作为特征提取器的雷达编码器，对雷达编码器得到的输出使用自适应平均池化操作将其形状池化为与edepth一致，得到点云特征elidar；将eimg、edepth和elidar使用初始回归器分别估计它们对应的姿态估计结果，并对这些结果进行加权求和，得到初始姿态变换矩阵其中初始回归器由三个全连接层构成。
11、(2-d)构建特征对齐和姿态细化模块，将步骤(2-c)中得到的图像二阶段特征eimg和点云二阶段特征elidar分别展平后输入全连接层，将特征维度降为m，分别得到和其中m为正整数，且m∈[1,10000]。
12、将调整后图像和点云投影图vt-1通过步骤(ii-3)得到的进行扭曲操作分别得到扭曲后的图像和点云投影图将它们一起输入匹配点对齐模块1得到m对匹配的图像点和3d点将和在通道维度进行拼接，得到ft-1,img，将和在通道维度进行拼接，得到ft-1,lidar；将ft-1,img和ft-1,lidar分别作为跨模态注意力模块1的图像特征输入和点云特征输入得到融合特征ft-1,fusion。
13、将调整后图像和点云投影图vt一起输入匹配点对齐模块2得到m对匹配的图像点和3d点将和在通道维度进行拼接，得到ft,img，将和在通道维度进行拼接，得到ft,lidar；将ft,img和ft,lidar分别作为跨模态注意力模块2的图像特征输入和点云特征输入得到融合特征ft,fusion。
14、将ft-1,fusion和ft,fusion输入跨帧注意力模块得到微调特征ffinal；将ffinal输入微调回归器得到姿态微调矩阵δt，使用δt对初始姿态变换矩阵进行姿态微调得到最终姿态变换结果其计算公式为：
15、
16、其中微调回归器由两个全连接层和一个回归层构成；即为位姿估计模型的输出。
17、该步骤中的匹配点对齐模块匹配点对齐模块1和匹配点对齐模块2具有相同的结构，构建如下：
18、(2-d-1)构建匹配点对齐模块；计算点云投影图中每个3d点在调整后图像的像素坐标系下的位置，提取调整后图像中该位置的rgb值作为该3d点对应的图像匹配点，对所有有效匹配点对进行随机采样，得到m对匹配的图像点和3d点，即为匹配点对齐模块的输出。
19、该步骤中的跨模态注意力模块1和跨模态注意力模块2具有相同的结构，构建如下：
20、(2-d-2)构建本文档来自技高网...
【技术保护点】
1.一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，所述步骤(II-4)中的匹配点对齐模块1和匹配点对齐模块2具有相同的结构，构建如下：
3.如权利要求1所述的一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，所述步骤(II-4)中的跨模态注意力模块1和跨模态注意力模块2具有相同的结构，构建如下：
4.如权利要求1所述的一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，所述步骤(II-4)中的跨帧注意力模块构建如下：
【技术特征摘要】
1.一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于图像和点云特征对齐及姿态微调的车辆姿态估计方法，其特征在于，所述步骤(ii-4)中的匹配点对齐模块1和匹配点对齐模块2具有相同的结构，构建如下：
3.如权利要求1所述的...
【专利技术属性】
技术研发人员：代建龙，李生洋，宋吟彧，郑东磊，赵于前，桂瑰，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。