一种基于端到端特征优化模型的无人系统视觉自定位方法技术方案

本发明专利技术公开了一种基于端到端特征优化模型的无人系统视觉自定位方法，步骤一、构造模型；构造端到端预测全局位姿的深度神经网络模型，即Re

【技术实现步骤摘要】
一种基于端到端特征优化模型的无人系统视觉自定位方法


[0001]本专利技术属于移动机器人领域，涉及一种基于端到端特征优化模型的无人系统视觉自定位方法。

技术介绍

[0002]自定位是SLAM、自主导航和增强现实等领域的重要技术基础，指自主无人系统在具有先验环境信息的地图中，根据自身装载传感器的信息计算其在地图中六自由度(6
‑
DoF)位姿的过程。为保证移动机器人长时间的精准定位，当累积误差严重、位姿跟踪失败、“被绑架”、断电重启等情况下必须进行自定位，位姿信息对于各种智能无人系统实现其他高级任务也至关重要。自主无人系统一般可以利用GPS、北斗为代表的卫星定位系统在室外环境中实现便捷高效的自定位，但受限于卫星信号的穿透性和定位精度，在室内环境、建筑密集的街区、山地/森林公园、特种涉密场合等GPS受限的场景，自主无人系统需要利用相机或激光雷达等传感器来获取环境信息，其中视觉传感器由于成本低、体型小、适用场合多被广泛应用于自定位任务。但是在复杂动态环境中，长时间视觉自定位主要面临如下困难：1)复杂环境中自然条件变化或者人为因素影响，使得自主无人系统当前所处的环境模型与先前构建的地图不一致或者矛盾，致使观测信息与先验地图无法匹配从而定位失败；2)环境中存在高度重复结构或者纹理稀疏场景，导致自主无人系统产生感知混淆或者难以捕捉有效视觉特征；3)实际环境中存在大量人、车等动态目标，其出现的时间与数量等都具有很大的不确定性，会给定位带来很大干扰。
[0003]根据位姿估计方法的不同，视觉自定位主要分为三类方法：基于图像检索的方法、基于几何结构的间接估计方法、基于端到端模型的直接估计方法。基于图像检索的方法通常由一组具有位姿标签的离散场景图像组成的地图数据库，然后在数据库中找到与查询图像最相似图像，并将其对应的位姿近似看作查询图像的位姿，这种近似估计的方法属于粗糙定位，更适用于大规模场景或者对位姿精度没有过高要求的任务，如位置识别。基于几何结构的间接估计方法通常使用构建三维点云地图表示环境模型，在相机图像和三维环境模型之间建立对应的坐标点对，并使用几何优化的方法计算相机位姿。但是长时间动态环境中通常存在自然条件变化、人为因素改变、动态目标干扰等消极影响，容易导致错误的对应关系从而产生糟糕的定位结果，另外，大规模场景中由于地图模型大、计算量高，也会对定位实时性造成很大挑战。随着深度学习在计算机视觉相关领域的快速发展与显著表现，基于端到端模型的直接估计方法也受到广泛关注和研究。这种方法利用深度神经网络构造端到端的位姿回归模型，即输入待查询图像，可以直接输出6
‑
DoF位姿。PoseNet是最具代表性的一种模型，其主要是由提取特征的视觉编码器和预测位姿的回归器组成，其中视觉编码器采用卷积神经网络实现，并以端到端的方式进行训练，用训练好的网络参数隐式的表达场景模型，不需要专门构建显式地图。这种突破性的网络模型简单而有效，可以占用较小的空间来存储网络模型的权重，且模型大小不因场景规模的增大而急剧增长。但是面临复杂动态环境，也存在精度下降和鲁棒性不足的难题。一些研究者通过引入额外传感器信息、使
用连续图像序列、联合其他任务共同学习等方式处理这一难题，然而也面临使用成本高、精度与效率难以平衡的问题。
[0004]综上所述，如何面向复杂动态场景构造可学习的端到端网络模型，使之更加关注对预测位姿有帮助的场景几何信息与静态有效特征，鲁棒性高且高效的实现基于单帧图像的全局位姿估计，是目前亟需解决的技术难题。
[0005]因此，有必要设计一种新的无人系统视觉自定位方法。

技术实现思路

[0006]本专利技术所要解决的技术问题是提供一种基于端到端特征优化模型的无人系统视觉自定位方法，该基于端到端特征优化模型的无人系统视觉自定位方法具有精度高、实时性好、鲁棒性强、存储空间占用小、适用于室内外多种场景等优点。
[0007]专利技术的技术解决方案如下：
[0008]一种基于端到端特征优化模型的无人系统视觉自定位方法，包括以下步骤：
[0009]步骤一、构造模型
[0010]构造端到端预测全局位姿的深度神经网络模型，即Re
‑
PoseNet网络，或称Re
‑
PoseNet模型；
[0011]步骤二、模型训练
[0012]针对某一特定场景，对Re
‑
PoseNet模型进行训练；
[0013]步骤三、模型应用
[0014]将在所述的特定场景处采集的图像输入到Re
‑
PoseNet模型中，返回端到端的位姿估计结果。
[0015]Re
‑
PoseNet模型包括特征提取器、特征优化模块和位姿回归器，特征提取器是基于残差网络ResNet34的特征提取器，特征优化模块由两个交叉注意力模块和四方向的长短期记忆模块组成，位姿回归器由全连接层构成。
[0016]步骤二中的训练所用到的训练集的获取方式为：
[0017]使用装载视觉传感器的移动机器人随机遍历某一场景，采集一组图像及其全局位姿作为训练数据集T，用于构建该场景的隐式地图模型，其中每帧图像对应的全局位姿作为后续网络训练的真值标签，记为其中表示位置信息，是用四元数表示的旋转信息。
[0018]训练过程为：
[0019]步骤(1)：对训练数据集T中的所有图像I
i
进行预处理，生成尺寸为256
×
256、像素强度介于
‑
1和1之间的训练图像
[0020]步骤(2)：将一组训练图像及其位姿标签按照批量大小batch_size＝64输入Re
‑
PoseNet，通过位姿回归器得到预测位姿[p，q]，同时构建联合损失函数计算预测位姿[p，q]与其对应真值之间的损失；
[0021]步骤(3)：设置超参数初始学习率为5
×
10
‑5，迭代次数为1000，使用Adam优化器训练Re
‑
PoseNet网络，通过迭代使得损失函数不断收敛减小，更新网络参数直至达到迭代次数，选取损失函数取得最小值时对应的一组模型参数，作为该场景最优的隐式地图模
型。
[0022]步骤三中，移动机器人在该场景内以任意运动状态进行作业，对其在任意时刻采集的位姿未知的图像I
t
进行预处理，生成尺寸为256
×
256、像素强度介于
‑
1和1之间的图像并作为查询图像输入训练好的具有最优权重的Re
‑
PoseNet模型中；
[0023]通过特征提取器得到查询图像的特征图再经由注意力模块和长短期记忆单元得到经过优化的特征向量最后由位姿回归器分别输出预测的位置信息与旋转信息获得端到端的位姿估计结果。
[0024]构建端到端预测全局位姿的深度神经网络(Re
‑
PoseNet)的具体过程如下：
[0025本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，包括以下步骤：步骤一、构造模型构造端到端预测全局位姿的深度神经网络模型，即Re
‑
PoseNet网络，或称Re
‑
PoseNet模型；步骤二、模型训练针对某一特定场景，对Re
‑
PoseNet模型进行训练；步骤三、模型应用将在所述的特定场景处采集的图像输入到Re
‑
PoseNet模型中，返回端到端的位姿估计结果。2.根据权利要求1所述的基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，Re
‑
PoseNet模型包括特征提取器、特征优化模块和位姿回归器，特征提取器是基于残差网络ResNet34的特征提取器，特征优化模块由两个交叉注意力模块和四方向的长短期记忆模块组成，位姿回归器由全连接层构成。3.根据权利要求1所述的基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，步骤二中的训练所用到的训练集的获取方式为：使用装载视觉传感器的移动机器人随机遍历某一场景，采集一组图像及其全局位姿作为训练数据集T，用于构建该场景的隐式地图模型，其中每帧图像对应的全局位姿作为后续网络训练的真值标签，记为其中表示位置信息，是用四元数表示的旋转信息。4.根据权利要求1所述的基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，训练过程为：步骤(1)：对训练数据集T中的所有图像Ii进行预处理，生成尺寸为256
×
256、像素强度介于
‑
1和1之间的训练图像步骤(2)：将一组训练图像及其位姿标签按照批量大小batch_size＝64输入Re
‑
PoseNet，通过位姿回归器得到预测位姿[p，q]，同时构建联合损失函数计算预测位姿[p，q]与其对应真值之间的损失；步骤(3)：设置超参数初始学习率为5
×
10
‑5，迭代次数为1000，使用Adam优化器训练Re
‑
PoseNet网络，通过迭代使得损失函数不断收敛减小，更新网络参数直至达到迭代次数，选取损失函数取得最小值时对应的一组模型参数，作为该场景最优的隐式地图模型。5.根据权利要求1
‑
4任一项所述的基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，步骤三中，移动机器人在该场景内以任意运动状态进行作业，对其在任意时刻采集的位姿未知的图像I
t
进行预处理，生成尺寸为256
×
256、像素强度介于
‑
1和1之间的图像并作为查询图像输入训练好的具有最优权重的Re
‑
PoseNet模型中；通过特征提取器得到查询图像的特征图再经由注意力模块和长短期记忆单元得到经过优化的特征向量最后由位姿回归器分别输出预测的位置信息与旋转信息获得端到端的位姿估计结果。
6.根据权利要求5所述的基于端到端特征优化模型的无人系统视觉自定位方法，其特征在于，构建端到端预测全局位姿的深度神经网络(Re
‑
PoseNet)的具体过程如下：步骤1.1：设计Re
‑
PoseNet的特征提取器的具体结构如表1所示，共有3...

【专利技术属性】
技术研发人员：余洪山，王静文，
申请(专利权)人：湖南大学，
类型：发明
国别省市：