一种基于帧间约束的深度学习视觉SLAM方法技术

本专利公开了一种基于帧间约束的深度学习视觉SLAM技术及方法，使用相机采集环境图像信息；深度学习视觉里程计模块接收相机传输的图像信息，并输出待约束的位姿信息；位姿局部约束模块接收IMU的数据信息，进行积分计算，将积分结果作为约束块约束两帧位姿；关键帧判断模块对图像序列判断并提取关键帧，用于后续的回环检测模块；深度学习回环检测模块接收关键帧图像，输出对应的图像特征矩阵，通过特征哈希法判断是否发生回环，进行位姿修正；重定位模块检查系统是否出现“跑丢”的情况，通过建立新系统和回环检测的方法进行多重地图的融合。新系统和回环检测的方法进行多重地图的融合。新系统和回环检测的方法进行多重地图的融合。

【技术实现步骤摘要】
一种基于帧间约束的深度学习视觉SLAM方法


[0001]本专利技术涉及视觉SLAM算法领域，具体涉及一种基于帧间约束的深度学习视觉SLAM方法。

技术介绍

[0002]SLAM(Simultaneous localization and mapping，SLAM)全称为即时定位与地图构建，是机器人在未知环境下获得自身位置并建立周围环境的地图。视觉SLAM技术利用相机等视觉传感器采集环境图像信息，并进行后续的位姿求解和地图建立。传统视觉SLAM技术对光照较为敏感，在光照条件恶劣或者光照情况复杂的环境中鲁棒性不高；在相机运动幅度较大时，采用特征点追踪的方法容易丢失；传统视觉SLAM技术对于场景中的动态对象的处理不够理想；计算量大，系统响应较慢，容易出现“跟丢”的情况。
[0003]深度学习本质上属于数据驱动的方法，能够从大量数据中学习更高维的特征。将深度学习与视觉SLAM技术进行融合能够提升视觉SLAM技术的鲁棒性，使用深度学习代替视觉SLAM技术中的部分模块或者直接训练一个端到端的模型以直接输出无人机的位姿信息。端到端的深度学习模型可以规本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于帧间约束的深度学习视觉SLAM方法，其特征在于包括深度学习视觉里程计模块、关键帧判断模块、位姿局部约束模块、深度学习回环检测模块和重定位模块；其中深度学习视觉里程计接收视觉传感器的图像信息，输出待约束的位姿；关键帧判断模块通过设计的算法从图像序列中判断并提取关键帧；位姿局部约束模块接收IMU的数据并进行积分计算，将积分的结果插入对应两帧的图像当中，作为两帧间位姿的约束，并进行位姿约束操作；深度学习回环检测模块接收关键帧图像，输出对应的特征向量，进行回环检测的判断，如果检测出回环，则进行回环检测的位姿修正操作。2.根据权利要求1所述的基于帧间约束的深度学习视觉SLAM方法的深度学习视觉里程计模块，其特征在于，在深度学习网络的选择上，选择了由CNN和RNN组合而成的深度学习网络；将接收到的图像输入到深度学习网络当中，输出待约束的位姿信息。3.根据权利要求1所述的基于帧间约束的深度学习视觉SLAM方法的关键帧判断模块，其特征在于，采用了两条指标来选择并生成关键帧；S1：将输入图像的前十帧都设置为关键帧；S2：在前十帧图像之后，进行关键帧的选择与建立；首先，设立时间阈值Δt
fix
，当新一帧图像到来时，将该图像的时间戳I1与前一帧关键帧的时间戳I
KF
进行比较，如果时间戳的差值Δt大于时间阈值Δt
fix
，则设置该帧图像为关键帧：Δt＝||I
KF
‑
I
t
||＞Δt
fix
S3：如果步骤S2所求出的时间戳差值小于Δt
fix
，则比较该帧的位姿(x
t
，y
t
，z
t
，u
t
，v
t
，w
t
)与当前关键帧的位姿(x
KF
，y
KF
，z
KF
，u
KF
，v
KF
，w
KF
)，所使用的公式如下：Δα＝|u
t
‑
u
KF
|+|v
t
‑
v
KF
|+|w
t
‑
w
KF
|＞Δα
fix
其中，Δx
fix
、Δα
fix
是所设定的位移和角度的变化阈值，如果有任意一条公式满足上述的判断条件，则设定该帧为关键帧，并作为最新关键帧与后面的图像帧进行关键帧的判断。4.根据权利要求1所述的基于帧间约束的深度学习视觉SLAM方法的位姿局部约束模块，其特征在于首先将图像帧的时间戳与IMU数据的时间戳对齐，计算出两帧图像之间所有的IMU数据的积分，将该积分值作为约束块用来约束两帧图像的位姿；建立IMU模型如下：IMU的测量值为陀螺仪读数和加速度计读数测量...

【专利技术属性】
技术研发人员：李志宇，李宏光，王从庆，金凌云，高艳辉，郭剑东，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：