一种基于深度估计改进的无人车姿态校正方法技术

本发明专利技术公开了一种基于深度估计改进的无人车姿态校正方法，包括以下步骤：分别采集点云和图像，利用Depth Angthing算法获得深度图像；将点云、图像和深度图像输入姿态校正网络，得到点云‑图像集合；利用EPnP算法对点云‑图像集合进行求解，得到初次姿态矩阵；从混合图像的局部特征中提取深度特征，利用深度特征对初次姿态矩阵进行优化，得到最终的相机姿态矩阵。本发明专利技术通过提取深度图、点云和图像特征，计算出重叠区域，并进行初步姿态估计，通过深度图完成二次配准，利用每个像素的深度值信息和投影在图像上的点云的距离信息建立多项式模型，并在小范围内寻找最佳的位置，从而带动所有点的移动以及相机姿态的调整。

【技术实现步骤摘要】

本专利技术涉及一种基于深度估计改进的无人车姿态校正方法，属于无人驾驶。

技术介绍

1、点云和图像配准在无人驾驶中的姿态和位置校正方面起着关键作用，通过对激光雷达和摄像头采集的数据进行准确对齐，确保车辆能够准确感知周围环境的三维结构和视觉信息，从而实现精确的位置定位和车辆姿态校正，保障车辆安全行驶。同时也是是计算机视觉、机器人技术和增强现实等领域中的重要问题之一。

2、它涉及将二维图像与三维点云进行对齐，以实现准确的场景理解、虚拟对象的叠加、三维重建等应用。近年来，随着深度学习技术的发展，基于深度学习的图像向点云配准方法逐渐成为研究热点。这些方法利用深度学习模型学习图像和点云之间的复杂映射关系，实现端到端的配准过程。

3、尽管目前在点云与图像配准的精度研究上有了非常大的进步，但仍不满足当下的发展需要，而且对于图像信息的发掘与利用还有不小的发掘空间。目前在许多研究点云和图像的配准目光都盯在以局部空间的特征提取进行对应匹配，而忽略了对单目相机进行深度估计获取到像素的深度值与点云的距离直接也存在一定程度上的联系，若是能姿态估计的过程中加入这本文档来自技高网...

【技术保护点】

1.一种基于深度估计改进的无人车姿态校正方法，其特征在于，所述无人车上设置有激光雷达和摄像头，包括以下步骤：

2.如权利要求1所述的基于深度估计改进的无人车姿态校正方法，其特征在于，步骤二中所述图像到点云注意融合模块I2PAF包括图像注意力权重生成模块和图像特征权重生成模块，所述图像注意力权重生成模块包括MLP函数和第一Softmax函数，用于根据连接后的混合图像的全局图像特征和三维点云的局部点云特征得到图像注意力权重，所述图像特征权重生成模块用于将图像注意力权重和混合图像的局部特征点乘得到图像权重特征；

3.如权利要求1所述的基于深度估计改进的无人车姿态校正方法...

【技术特征摘要】

1.一种基于深度估计改进的无人车姿态校正方法，其特征在于，所述无人车上设置有激光雷达和摄像头，包括以下步骤：

2.如权利要求1所述的基于深度估计改进的无人车姿态校正方法，其特征在于，步骤二中所述图像到点云注意融合模块i2paf包括图像注意力权重生成模块和图像特征权重生成模块，所述图像注意力权重生成模块包括mlp函数和第一softmax函数，用于根据连接后的混合图像的全局图像特征和三维点云的局部点云特征得到图像注意力权重，所述图像特征权重生成模块用于将图像注意力权重和混合图像的局部特征点乘得到图像权重特征；

3.如权利要求1所述的基于深度估计改进的无人车姿态校正方法，其特征在于，步骤二中所述点云解码器包括第一特征值模块和点云分数模块，所述第一特征值模块包括第一pointnet网络和第一上采样模块，用于根据连接后的混合图像的权重特征和三维点云的局部点云特征得到第...

【专利技术属性】
技术研发人员：肖志恒，陈金生，邓娜，童旭东，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：