基于弱尺度监督的视觉惯性组合定位方法和装置制造方法及图纸

本发明专利技术公开一种基于弱尺度监督的视觉惯性组合定位方法和装置，该方法通过对载体运动过程中的视觉、惯性信息和激光点云信息进行采集，通过从图像和惯性数据中分别提取视觉特征向量与惯性特征向量在通道上进行融合，再对融合特征的时间相关性进行建模后得到准确的位置和姿态估计。同时从图像中估计像素级的深度图像，再对多个时间序列的光度误差进行建模，对觉惯性组合定位模型中的各个功能模块进行联合训练，以此来得到结构更细致的深度图像，并使用激光点云信息作为弱尺度监督信号约束得到具有全局一致绝对尺度的位姿参数。本发明专利技术应用于导航定位领域，能够有效地解决自监督学习的视觉惯性组合定位中全局绝对尺度难以估计问题。计问题。计问题。

【技术实现步骤摘要】
基于弱尺度监督的视觉惯性组合定位方法和装置


[0001]本专利技术涉及导航定位
，具体是一种基于弱尺度监督的视觉惯性组合定位方法和装置。

技术介绍

[0002]在无人车、无人机和移动机器人等无人平台的导航任务中，视觉里程计用于获得平台的位置和姿态。传统基于模型的视觉里程计使用手工设计的特征点检测方法检测图像中的特征点，并使用特征跟踪方法建立图像之间的点到点匹配关系，然后通过多视觉几何模型计算相邻帧之间的相对姿态。根据视觉里程计中摄像机的数量，可分为单目视觉里程计和多目视觉里程计。单目视觉里程计无法获得绝对深度，因此预测的姿势无法保持全局一致的绝对比例。引入惯性测量单元后，形成视觉惯性组合里程计，通过惯性积分得到各时刻的绝对姿态。基于模型的视觉里程计在大多数情况下都能获得令人满意的性能，但在缺乏纹理和弱光的复杂环境中鲁棒性较差。
[0003]近年来越来越多研究人员对端对端基于深度学习的视觉里程计感兴趣。深度神经网络广泛应用于图像识别、目标检测等图像处理领域。最近的工作构建了端到端的视觉里程计，并在公共数据集上实现了与基于模型的视觉里程计相当的性能。为了解决数据集上的真实标签不足的问题，提出了一些无监督的运动估计方法。无监督视觉里程计一般有姿态网络和深度估计网络，其中姿态网络用于估计相邻摄像机帧之间的相对姿态，深度估计网络用于预测目标帧和源帧的深度。然后结合两个网络获得的姿态和深度构造光度损失误差，以约束网络的训练。大多数无监督的工作只使用视觉信息，忽略了惯性信息。同时，由于没有考虑多尺度时间上下文信息，无监督的单目视觉里程计算法无法获得绝对尺度深度，因此在很多实际应用场景下的使用受到限制。

技术实现思路

[0004]针对上述现有技术中自监督学习的视觉惯性组合定位方法中全局绝对尺度难以估计问题，本专利技术提供一种基于弱尺度监督的视觉惯性组合定位方法和装置，可适用于机器人、手持设备、穿戴设备或无人车等载体，能够有效地实现载体的精确定位。
[0005]为实现上述目的，本专利技术提供一种基于弱尺度监督的视觉惯性组合定位方法，包括如下步骤：
[0006]步骤1，获取载体采集的视觉图像序列、惯性数据序列与激光点云数据序列；
[0007]步骤2，构建视觉惯性组合定位模型，并基于视觉惯性组合定位模型进行如下处理：
[0008]对视觉图像序列中连续的第i帧图像与第i+1帧图像中提取出视觉特征向量，得到视觉特征向量序列；
[0009]对惯性数据序列中第i帧图像与第i+1帧图像之间对应的惯性数据中提取出视觉特征向量，得到惯性特征向量序列，其中，视觉特征向量与惯性特征向量一一对应；
[0010]对视觉特征向量序列与惯性特征向量序列进行时间序列建模，得到考虑了时间特性的融合特征向量序列，并基于融合特征向量序列得到载体的位姿信息与相邻帧图像之间的姿态变换矩阵；
[0011]提取视觉图像序列中每一帧图像的深度信息，并基于激光点云数据序列中的激光点云数据相同帧图像的深度信息的深度信息进行修正，得到具有全局一致绝对尺度的深度弱尺度监督信号；
[0012]基于深度弱尺度监督信号与视觉惯性组合定位模型输出的相邻帧图像之间的姿态变换矩阵构建多个时间尺度上的光度误差；
[0013]步骤3，以多个时间尺度上的光度误差为视觉惯性组合定位模型的代价函数，自监督的训练视觉惯性组合定位模型；
[0014]步骤4，将训练好的视觉惯性组合定位模型部署在载体上，实时预测输出载体的位姿信息与深度信息。
[0015]为实现上述目的，本专利技术还提供一种基于弱尺度监督的视觉惯性组合定位装置，其特征在于，采用上述的方法实时预测输出载体的位置、姿态和场景的深度信息，所述视觉惯性组合定位装置包括：
[0016]单目相机，搭载在载体上，用于采集视觉图像序列；
[0017]惯性测量器件，搭载在载体上，用于采集惯性数据序列；
[0018]点云相机，搭载在载体上，用于采集激光点云数据序列；
[0019]视觉惯性组合定位模型，部署在载体上且分别与单目相机、惯性测量器件、点云相机相连，用于实时预测输出载体的位置、姿态和场景的深度信息。
[0020]本专利技术提供的一种基于弱尺度监督的视觉惯性组合定位方法和装置，通过对载体运动过程中的视觉、惯性信息和激光点云信息进行采集并制作为数据集，通过从图像和惯性数据中分别提取视觉特征向量与惯性特征向量，再将视觉特征向量与惯性特征向量在通道上进行融合，再对融合特征的时间相关性进行建模，基于融合特征得到准确的位置和姿态估计。从图像中估计像素级的深度图像，再对多个时间序列的光度误差进行建模，对觉惯性组合定位模型中的各个功能模块进行联合训练，以此来得到结构更细致的深度图像，并使用激光点云信息作为弱尺度监督信号约束得到具有全局一致绝对尺度的位姿参数。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0022]图1为本专利技术实施例中视觉惯性组合定位方法的流程图；
[0023]图2为本专利技术实施例中视觉惯性组合定位装置的模块示意图。
[0024]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]在本专利技术中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0027]在本专利技术中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。
[0028]另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0029]实施例1
[0030]如图1所示为本实施例公开的一种基于弱尺度监督的视觉惯性组合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弱尺度监督的视觉惯性组合定位方法，其特征在于，包括如下步骤：步骤1，获取载体采集的视觉图像序列、惯性数据序列与激光点云数据序列；步骤2，构建视觉惯性组合定位模型，并基于视觉惯性组合定位模型进行如下处理：对视觉图像序列中连续的第i帧图像与第i+1帧图像中提取出视觉特征向量，得到视觉特征向量序列；对惯性数据序列中第i帧图像与第i+1帧图像之间对应的惯性数据中提取出视觉特征向量，得到惯性特征向量序列，其中，视觉特征向量与惯性特征向量一一对应；对视觉特征向量序列与惯性特征向量序列进行时间序列建模，得到考虑了时间特性的融合特征向量序列，并基于融合特征向量序列得到载体的位姿信息与相邻帧图像之间的姿态变换矩阵；提取视觉图像序列中每一帧图像的深度信息，并基于激光点云数据序列中的激光点云数据相同帧图像的深度信息的深度信息进行修正，得到具有全局一致绝对尺度的深度弱尺度监督信号；基于深度弱尺度监督信号与视觉惯性组合定位模型输出的相邻帧图像之间的姿态变换矩阵构建多个时间尺度上的光度误差；步骤3，以多个时间尺度上的光度误差为视觉惯性组合定位模型的代价函数，自监督的训练视觉惯性组合定位模型；步骤4，将训练好的视觉惯性组合定位模型部署在载体上，实时预测输出载体的位姿信息与深度信息。2.根据权利要求1所述的基于弱尺度监督的视觉惯性组合定位方法，其特征在于，步骤2中，所述深度弱尺度监督信号的获取过程为：督信号的获取过程为：式中，D
i
为第i帧时间尺度对应的深度弱尺度监督信号，λ为第i帧时间尺度上激光点云的尺度，D
lidar
为第i帧时间尺度上激光点云数据中各扫描点的深度信息，为第i帧图像中各像素点的深度信息。3.根据权利要求1所述的基于弱尺度监督的视觉惯性组合定位方法，其特征在于，步骤2中，构建多个时间尺度上的光度误差的过程为：获取第i
‑
1帧图像与第i帧图像之间的第一光度误差；获取第i
‑
1帧图像与第i+1帧图像之间的第二光度误差；基于第一光度光度误差与第二光度误差构建多个时间尺度上的光度误差。4.根据权利要求3所述的基于弱尺度监督的视觉惯性组合定位方法，其特征在于，所述获取第i
‑
1帧图像与第i帧图像之间的第一光度误差，具体为：将第i帧图像作为第一源图像，将第i
‑
1帧图像中的像素映射到第i帧图像上，生成第一目标图像，为：
式中，为第一目标图像上的像素点，K为相机内参数，为视觉惯性组合定位模型输出的第i
‑
1帧图像到第i帧图像的姿态变换矩阵，D
i
为第i帧时间尺度对应的深度弱尺度监督信号，ρ
i
‑1为第i
‑
1帧图像上的像素点；基于第一源图像与第一目标图像构建光度误差L1，为：式中，ρ
i
为第一源图像上的像素点，I
i
(ρ
i
)表示相邻时间轴上的投影点ρ
i
的像素坐标，m、n表示图像在长和宽方向的像素个数。5.根据权利要求3所述的基于弱尺度监督的视觉惯性组合定位方法，其特征在于，所述获取第i
...

【专利技术属性】
技术研发人员：陈昶昊，屈豪，王雄飞，张礼廉，胡小平，陈泽，范晨，毛军，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：