一种基于在线校正的视觉增强激光里程计方法技术

本发明专利技术公开了一种基于在线校正的视觉增强激光里程计方法。采集场景的彩色图像和三维点云，通过预处理生成顶点图、法向量图和顶点着色图构建视觉

【技术实现步骤摘要】
一种基于在线校正的视觉增强激光里程计方法


[0001]本专利技术属于计算机视觉
的一种无监督视觉
‑
激光里程计方法，特别是涉及了一种基于在线校正的视觉增强激光里程计方法。

技术介绍

[0002]里程计方法又称位姿估计，是无人驾驶、增强现实等任务中的关键问题。传统的里程计方法往往遵循特征提取、特征匹配、位姿解算的三步流程，但是这类方法高度依赖手工设计的特征，在光照变化剧烈、存在弱纹理区域的复杂场景中易受到影响。近期深度学习方法在图像分类、目标检测等许多计算机视觉问题中都证明了其在特征提取上的卓越性能，因此基于深度学习的里程计方法也开始得到越来越多的研究者关注。如Zhou等人发表在《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》的《Unsupervised Learning of Depth and Ego
‑
Motion from Video》以及Cho等人发表在《2020IEEE International Conference on Robotics and Automation》的《Unsupervised Geometry
‑
Aware Deep LiDAR Odometry》，分别为无监督的弹幕视觉里程计和激光里程计方法，可以在没有任何真值的情况下直接从单目图像序列或三维点云序列进行学习。
[0003]然而截至目前，基于深度学习里程计方法的相关研究中很大一部分都集中在视觉里程计(Visual Odometry,VO)或激光里程计(LiDAR Odometry,LO)上，视觉
‑
激光里程计(Visual
‑
LiDAR Odometry,VLO)的研究还相对较少。而视觉
‑
激光信息的互补优势，已经在许多的计算机视觉任务(如3D目标检测，深度补全以及场景流估计)中得到应用，因此对于VLO的研究依旧是很有前景的研究方向。
[0004]现有的深度学习视觉
‑
激光里程计方法都采用了视觉主导的融合策略，如Li等人发表在《2021IEEE Winter Conference on Applications of Computer Vision》的《Self
‑
supervised Visual
‑
LiDAR Odometry with Flip Consistency》，将激光雷达采集的三维点云投影到相机成像平面得到与单目彩色图像分辨率相同的稀疏深度图，输入彩色图像序列和稀疏深度图序列来预测帧间位姿。但是这种方法面临两个问题，首先是稀疏深度图和稠密彩色图像之间的特征融合存在困难，另外这种方法需要同时预测一张稠密深度图和帧间位姿才能实现无监督训练，而这也导致位姿很容易受预测深度图的噪声影响。
[0005]无监督学习可以使用在线优化方法，在测试阶段进一步优化网络模型预测结果。根据优化过程中的优化参数类型可以分为在线学习和在线校正两种。前者对网络权重进行优化，后者则直接将网络的预测结果作为待优化变量。相比于在线学习来说，在线校正方法可以显著减少待优化参数数量，有更高的计算效率。但是现有的采用在线优化的里程计方法均采用了视觉主导的策略，如Zhang等人发表在《2021IEEE International Conference on Robotics and Automation》的《Deep Online Correction for Monocular Visual Odometry》，这种方法需要同时预测稠密深度图和帧间位姿来构建优化目标函数，导致位姿优化的性能极易受预测深度的噪声干扰。

技术实现思路

[0006]为了解决
技术介绍
中存在的问题，本专利技术提供了一种基于在线校正的视觉增强激光里程计方法，采用激光主导的融合策略，通过球面投影将三维点云投影成一张稠密的顶点图，并找到顶点图上每个3D点在彩色图像上的对应像素位置，用对应像素的颜色为该点进行着色，得到顶点着色图。本专利技术将顶点图和顶点着色图序列输入视觉增强激光里程计网络预测位姿。由于顶点图和顶点着色图都是2D稠密图像，本专利技术可以更好地进行视觉
‑
激光模态融合。同时本专利技术的方法不需要额外预测深度图，只需要预测帧间位姿就可以构建损失函数进行无监督训练。随后在测试阶段本专利技术引入位姿在线校正模块对训练好的视觉增强激光里程计网络PoseNet的预测位姿做进一步优化，并引入难例挖掘技术筛选对优化贡献更高的难例促进优化效果。
[0007]本专利技术利用了激光主导融合策略来设计视觉
‑
激光里程计，相比于采用了将三维点云投影成稀疏深度图的视觉主导融合策略的方法来说，不仅可以更好地进行视觉
‑
激光模态融合，而且还只需要预测帧间位姿就可以进行训练，简化了优化问题的难度，极大提高了在线优化的效果，取得了显著的性能提升。与采用在线优化的视觉主导里程计方法相比，本专利技术在主要误差指标上都取得了更好的表现。
[0008]本专利技术采用的技术方案是：
[0009]1)使用彩色相机和激光雷达联合采集后获得场景的彩色图像序列和对应的三维点云序列，再对场景的彩色图像序列和对应的三维点云序列预处理后生成对应的顶点图序列、法向量图序列、顶点着色图序列，由彩色图像序列和对应的顶点图序列、法向量图序列、顶点着色图序列组成视觉
‑
激光里程计数据集；
[0010]2)利用视觉
‑
激光里程计数据集对视觉增强激光里程计网络PoseNet进行训练，获得训练好的视觉增强激光里程计网络PoseNet；
[0011]3)待测的彩色图像序列和对应的三维点云序列中，由相邻两帧的待测彩色图像和对应的三维点云组成一个待测图像输入对，将各个待测图像输入对预处理后生成对应的待测顶点图与顶点着色图输入对，再将所有待测顶点图与顶点着色图输入对依次输入到训练好的视觉增强激光里程计网络PoseNet中，分别输出各个待测图像输入对对应的预测帧间位姿；
[0012]4)根据待测的彩色图像序列，利用位姿在线校正模块对各个待测图像输入对对应的预测帧间位姿分别进行优化校正，获得各个校正后的帧间位姿；
[0013]5)将各个校正后的帧间位姿依次累乘后获得全局位姿。
[0014]所述1)具体为：
[0015]由彩色相机采集连续时刻下场景的彩色图像，获得彩色图像序列，再由激光雷达采集同样连续时刻下相同场景的三维点云，获得三维点云序列；对于三维点云序列中每帧三维点云，首先将每帧三维点云进行球面投影后得到对应的顶点图，接着基于顶点图求解每个点的法向量，得到对应的法向量图，最后通过相机成像投影找到顶点图上每个点在对应彩色图像中的相应颜色，得到顶点着色图，遍历三维点云序列后，基于三维点云序列处理获得对应的顶点图序列、法向量图序列和顶点着色图序列，由彩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在线校正的视觉增强激光里程计方法，其特征在于，包括以下步骤：1)使用彩色相机和激光雷达联合采集后获得场景的彩色图像序列和对应的三维点云序列，再对场景的彩色图像序列和对应的三维点云序列预处理后生成对应的顶点图序列、法向量图序列、顶点着色图序列，由彩色图像序列和对应的顶点图序列、法向量图序列、顶点着色图序列组成视觉
‑
激光里程计数据集；2)利用视觉
‑
激光里程计数据集对视觉增强激光里程计网络PoseNet进行训练，获得训练好的视觉增强激光里程计网络PoseNet；3)待测的彩色图像序列和对应的三维点云序列中，由相邻两帧的待测彩色图像和对应的三维点云组成一个待测图像输入对，将各个待测图像输入对预处理后生成对应的待测顶点图与顶点着色图输入对，再将所有待测顶点图与顶点着色图输入对依次输入到训练好的视觉增强激光里程计网络PoseNet中，分别输出各个待测图像输入对对应的预测帧间位姿；4)根据待测的彩色图像序列，利用位姿在线校正模块对各个待测图像输入对对应的预测帧间位姿分别进行优化校正，获得各个校正后的帧间位姿；5)将各个校正后的帧间位姿依次累乘后获得全局位姿。2.根据权利要求1所述的一种基于在线校正的视觉增强激光里程计方法，其特征在于，所述1)具体为：由彩色相机采集连续时刻下场景的彩色图像，获得彩色图像序列，再由激光雷达采集同样连续时刻下相同场景的三维点云，获得三维点云序列；对于三维点云序列中每帧三维点云，首先将每帧三维点云进行球面投影后得到对应的顶点图，接着基于顶点图求解每个点的法向量，得到对应的法向量图，最后通过相机成像投影找到顶点图上每个点在对应彩色图像中的相应颜色，得到顶点着色图，遍历三维点云序列后，基于三维点云序列处理获得对应的顶点图序列、法向量图序列和顶点着色图序列，由彩色图像序列及对应的顶点图序列、法向量图序列和顶点着色图序列组成视觉
‑
激光里程计数据集。3.根据权利要求1所述的一种基于在线校正的视觉增强激光里程计方法，其特征在于，所述2)中，视觉增强激光里程计网络PoseNet的总损失函数是根据彩色图像、顶点图、顶点着色图、法向量图以及预测帧间位姿进行计算，每次训练时，视觉增强激光里程计网络PoseNet的输入为顶点图序列中连续两帧的顶点图以及对应的两帧顶点着色图，视觉增强激光里程计网络PoseNet的输出为当前两帧的预测帧间位姿。4.根据权利要求1所述的一种基于在线校正的视觉增强激光里程计方法，其特征在于，所述视觉增强激光里程计网络PoseNet由特征编码器和位姿预测器相连组成；特征编码器由11个卷积模块依次连接构成，视觉增强激光里程计网络PoseNet的输入经通道级联后再作为第一卷积模块的输入，第十一卷积模块的输出作为特征编码器的输出，位姿预测器包括两个卷积模块和两个卷积池化单元，特征编码器的输出作为第十二卷积模块的输入，第十二卷积模块与第十三卷积模块相连，第十三卷积模块与两个卷积池化单元相连，两个卷积池化单元分别输出帧间位姿中的平移向量和欧拉角向量，两个卷积池化单元的输出作为视觉增强激光里程计网络PoseNet的输出。5.根据权利要求4所述的一种基于在线校正的视觉增强激光里程计方法，其特征在于，所述两个卷积池化单元的结构均相同，由卷积模块、全局平均池化模块和卷积层依次连接构成，所有的卷积模块的结构均相同，由卷积层、批归一化层和激活函数层依次连接组成。
6.根据权利要求3所述的一种基于在线校正的视觉增强激光里程计方法，其特征在于，所述视觉增强激光里程计网络PoseNet的总损失函数是根据彩色图像、顶点图、顶点着色图、法向量图以及预测帧间位姿进行计算，具体为：S1：根据每张顶点图生成对应的有效顶点二值掩膜图Mv，计算公式如下：其中，Mv(u)表示有效顶点二值掩模图Mv中像素位置u处的顶点有效性，V(u)表示顶点图中像素位置u的点坐标，为指示函数，|| ||为L2范数；S2：计算法向量图中每个点与周围四个邻点的法向量之间的余弦相似度，获得当前点的置信度，从而获得法向量图对应的置信度图C，基于法向量图和置信度图C生成对应的有效法向量二值掩膜Mn，计算公式如下：效法向量二值掩膜Mn，计算公式如下：其中，δ
c
表示置信度的阈值，表示像素位置u相邻的4个像素位置集合，Mn(u)表示有效法向量二值掩膜Mn中像素位置u的法向量有效性，C(u)表示置信度图中像素位置u的法向量置信度，N(u)表示法向量图中像素位置u的法向量，N(u
i
)表示法向量图中像素位置u的相邻像素u
i
的法向量；S3：基于顶点着色图Vc生成对应的有效颜色二值掩膜Mc，计算公式如下：其中，Mc(u)表示有效颜色二值掩膜Mc中像素位置u的顶点对应颜色有效性，Vc(u)表示顶点着色图Vc中像素位置u的颜色；S4：根据有效顶点二值掩膜图Mv和有效法向量二值掩膜Mn构建几何损失函数，公式如下：下：M
geo
＝Mv
t+1
⊙
Mn
t+1
p
t
＝V
t
(π(p
′
t
))其中，表示几何损失函数值，p
′
t
表示通过利用网络预测的帧间位姿P
t
←
t+1
转换得到的变换矩阵...

【专利技术属性】
技术研发人员：李斌，龚小谨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：