一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备技术

本发明专利技术公开了一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备，SLAM方法包括：步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征；步骤S2，关键帧并行选取；步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；步骤S4，构建全局轨迹地图。本发明专利技术修复因机器人运动过快导致的时滞图像特征，采用双测量约束优化相机位姿，恢复机器人运行轨迹，解决现有技术中由于移动机器人大视角快速运动中造成的局部相机位姿丢失与轨迹漂移问题。漂移问题。漂移问题。

【技术实现步骤摘要】
一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备


[0001]本专利技术属于同步定位与地图创建(Simultaneous Location And Mapping，SLAM)
，具体涉及基于一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备。

技术介绍

[0002]近年来，随着机器人与无人驾驶领域的快速发展，同时定位与建图(Simultaneous Localization and Mapping，SLAM)作为其核心技术受到了广泛的关注，尤其是基于视觉的SLAM系统，因视觉传感器使用更加多元且可以感知更加丰富的环境信息，能实现对机器人的定位和场景地图的稠密重建而受到重视。
[0003]当前主流视觉SLAM算法主要基于人工设计特征算子提取图像特征点，通过两帧之间的特征匹配与跟踪恢复相机局部运动几何结构，使用闭环检测修正全局轨迹，但现实中受相机帧率与环境影响，在视觉SLAM系统运行过程中经常出现模糊、遮挡、动态物体或光源干扰等因素极大程度上影响视觉SLAM算法特征提取与匹配，降低了视觉SLAM算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：包括下列步骤：步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征；采用多尺度循环神经网络，在不同尺度的图像处理策略中采用了跨多个尺度的新型循环结构，将输入图像以不同尺度下采样的一系列模糊图像作为输入，在每个尺度上生成待估计的清晰图像作为图像时滞特征回归计算的子任务，将模糊图像中的时滞特征边缘与振铃伪影像素逐步回归到物体真实边缘，提高特征点提取精度的同时生成一组相应局部清晰图像，最终融合成一幅具有高分辨率的全尺寸图像；步骤S2，关键帧并行选取；步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；步骤S4，构建全局轨迹地图。2.根据权利要求1所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S3中，基于两个相邻关键帧的测量约束，利用机器人恒速运动模型在机器人大视角快速弯道运动将旋转矩阵R转化为四元数空间进行球面线性插值与平移矩阵t线性插值，校正两个关键帧之间的相邻普通帧位姿，优化两个关键帧之间机器人运行轨迹，恢复机器人丢失轨迹。3.根据权利要求1所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S1中，多尺度循环神经网络采用ConvLSTM网络，将梯度裁剪应用于ConvLSTM模块权重，在获取不同尺度下的帧图像时，使用双线性插值补全在多个尺度放缩下丢失像素值，在每个图像尺度上设计对应网络层，通过网络模型分级循环传播参数信息，使用对称的编码器
‑
解码器CNN网络，首先将输入图像帧通过编码器逐步转换为具有更小空间尺寸与更多通道数的特征图，然后在解码器中将特征图转换回输入的形状，不同尺度特征图之间的跳跃连接用于组合不同网络层之间的图像信息并借助于梯度传播加速收敛，在模型结构内部具有隐藏状态的循环神经网络中，通过引入残差学习块改进ResBlock编码器
‑
解码器。4.根据权利要求1或2所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S1中，在多尺度循环神经网络中的隐藏状态瓶颈层中插入卷积层用于连接不同尺度模糊图像，并为每个卷积层重新设计大小为5
×
5的大卷积核，改进后的网络模型可表示为：式中，SR
E
与SR
D
为编码器与解码器，分别包含了2个阶段的EBlocks与DBlocks，μ
n
为图像编码输出，ε
E
与ε
D
为卷积网络参数，ε
LSTM
为ConvLSTM中参数集，B
n
、φ
n
分别是第n个尺度模糊的图像和第n个待估计的清晰图像，隐藏状态υ
n
为多尺度循环神经网络中间结果与模糊图像信息，用于传递至下一尺度进行更精细的图像帧修复，δ
n
为输入图像。
5.根据权利要求2所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S3中，假定外界环境中的路标节点保持静止时，此时只使用路标点在图像上的齐次像素坐标作为恒定量优化前后路标点在空间上位置，即以路标点静止假设作为参考量，优化路标节点坐标的公式表示为：将前后重新计算变化的路标点空间坐标式相结合，则可推导出基于关键帧与普通帧的位姿优化公式；根据机器人的视觉SLAM算法恒速运动模型，普通帧图像齐次像素坐标不跟随环境中路标节点位置更新而改变，根据这一准则推导出运动恒等式；位姿优化公式和运动恒等式分别表示为：在大视角快速弯道运动过程中每个特征点的深度值随着前后两张关键帧之间的像素平移差异的增加而增加，基于这一特性，假设平移比与深度比相等，可得关键帧与相邻普通帧之间的约束关系，并将其关系扩展到第k+1个关键帧与相邻普通帧，通过融合第k个与第k+1个关键帧的约束结果，可计算出关键帧与普通帧之间的平移矩阵根据上述前后关键帧约束解可推导出两个关键帧之间插值表示为：式中，P
m
与为优化前后路标节点坐标，与为优化前后路标点在关键帧图像上的齐次像素坐标，Z
m
与为优化前后关键帧路标点像素深度，K是相机内参矩阵；与分别是关键帧位姿修正前后的旋转与平移矩阵，δP
m
为关键帧位姿优...

【专利技术属性】
技术研发人员：刘金辉，陈孟元，
申请(专利权)人：安徽工程大学，
类型：发明
国别省市：