【技术实现步骤摘要】
一种基于深度学习的激光点云与图像对齐方法和装置
[0001]本专利技术涉及图像对齐领域，尤其涉及一种基于深度学习的激光点云与图像对齐方法和装置
。
技术介绍
[0002]激光视觉融合技术是一种将激光扫描和计算机视觉相结合的技术，旨在实现更准确
、
高效的三维感知和识别
。
它结合了激光扫描的精确测距和计算机视觉的图像处理能力，可以在实时或离线情况下获取场景的三维信息，并将其与视觉图像进行融合
。
[0003]在激光视觉融合技术中，激光扫描器通常用于测量场景中的物体位置和形状
。
它通过发射激光束并测量其返回时间来计算物体与扫描仪之间的距离，从而得到场景的三维点云数据
。
这些点云数据提供了物体的准确空间位置和形状信息
。
[0004]计算机视觉部分负责从传感器
(
如相机
)
捕获的图像中提取特征并进行分析
。
通过使用计算机视觉算法，可以检测和识别物体，提取出它们的特征，例如颜色
、
纹理
、
形状等
。
[0005]激光视觉融合技术的关键在于将激光扫描数据和计算机视觉数据进行有效融合
。
这可以通过将激光点云数据与图像进行对准和配准来实现
。
通过将激光点云数据映射到图像坐标系中，可以将点云的准确空间位置与图像中的像素相对应，从而实现点云和图像的融合
。
这可以通过在激
【技术保护点】
【技术特征摘要】
1.
一种基于深度学习的激光点云与图像对齐方法，其特征在于，包括以下步骤：
S1、
通过激光雷达和摄像机进行数据采集，得到激光点云数据和
2D
图像，并对激光点云数据进行预处理；
S2、
将预处理后的点云数据进行三角形网格划分，得到点云数据的三维网格模型；
S3、
确定激光雷达和摄像机的相对位置关系，在所述三维网格模型中构建虚拟摄像机，拍摄与摄像机同位置同角度的
2D
模拟图像；
S4、
利用
CNN
卷积神经网络将摄像机拍摄的
2D
图像与虚拟摄像机拍摄的
2D
模拟图像进行对齐，生成相互映射的对齐图像
。2.
根据权利要求1所述的一种基于深度学习的激光点云与图像对齐方法，其特征在于，步骤
S1
中，对激光点云数据进行预处理包括：去噪
、
滤波
、
去离群点
、
特征提取
。3.
根据权利要求2所述的一种基于深度学习的激光点云与图像对齐方法，其特征在于，所述特征提取具体为：
(1)
确认点云数据的标签或类别信息，将点云数据进行再处理，再处理包括：归一化
、
中心化
、
缩放；
(2)
将再处理后的点云数据输入到
PointNet
网络中进行编码，
PointNet
通过多层感知机和对称函数来提取点云的全局特征表示，多层感知机对每个点的特征进行处理，对称函数将每个点的特征合并为整个点云的全局特征；
(3)
将点云的全局特征输入到
PointNet
网络的输出层中进行预测或分类，预测点云的标签或类别；
(4)
人为标注点云数据进行分类并贴标签，作为真实标签，将人为标注点云数据划分为测试集和验证集，使用测试集进行
PointNet
网络训练，使用交叉熵损失函数度量预测
PointNet
网络结果与真实标签之间的差异，并使用反向传播算法和梯度下降算法调整
PointNet
网络的权重参数，使网络能够学习到更准确的点云特征，使用验证集对训练好的
PointNet
模型进行评估
。4.
根据权利要求3所述的一种基于深度学习的激光点云与图像对齐方法，其特征在于，使用验证集对训练好的
PointNet
模型进行评估的评估指标包括：训练好的
PointNet
模型在预测和分类任务上的准确性
、
精确度
、
召回率
。5.
根据权利要求1所述的一种基于深度学习的激光点云与图像对齐方法，其特征在于，步骤
S2
具体为：
S21、
读入预处理后的点云数据的所有点，选取前四个不共面的点构成第一个四面体；
S22、
取新的点，判断该点的空间位置，若该点在所有已有四面体的外部，则执行步骤
S23
；若该点在已有的某个四面体
A2
...
【专利技术属性】
技术研发人员：沈鹿易，焦玉勇，王子雄，闫雪峰，胡郁乐，韩增强，王益腾，周杰，陈双源，
申请(专利权)人：中国科学院武汉岩土力学研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。