定位、建图和网络训练制造技术

本文公开了方法、系统和设备。目标环境响应于所述目标环境的非立体图像序列的同时定位和映射的方法包括将所述非立体图像序列提供至第一和另一神经网络，其中所述第一和另一神经网络为无监督神经网络，所述无监督神经网络利用立体图像对序列和限定所述立体图像对的几何性质的一个或多个损失函数进行预训练，将所述非立体图像序列提供至又一神经网络中，其中所述又一神经网络经预训练以检测环路闭合，和提供所述目标环境响应于所述第一、另一和又一神经网络的输出的同时定位和映射。

【技术实现步骤摘要】
【国外来华专利技术】定位、建图和网络训练本专利技术涉及一种用于目标环境中的同步定位与建图(simultaneouslocalizationandmapping，SLAM)的系统和方法。特别地但非排外地，本专利技术涉及预训练无监督神经网络的用途，利用目标环境的非立体图像序列，这些预训练无监督神经网络可提供用于SLAM。视觉SLAM技术利用环境的图像序列(通常获得自相机)来生成环境的3维深度表示并且确定当前视点的姿态(pose)。视觉SLAM技术广泛地用于其中代理(诸如机器人或交通工具)在环境内移动的应用中，诸如机器人、自主交通工具、虚拟/增强现实(VR/AR)和绘制地图。环境可为现实或虚拟环境。开发准确且可靠的视觉SLAM技术已为机器人和计算机视觉领域中大量工作的焦点。许多常规视觉SLAM系统利用基于模型的技术。这些技术通过识别序列图像中对应特征的变化和将该变化输入至数学模型以确定深度和姿态而工作。尽管一些基于模型的技术已示出在视觉SLAM应用中的可能性，但是这些技术的准确度和可靠性可遭受挑战性条件，诸如当遇到低光水平、高对比度和不熟悉环境时。基于模型的技术还不能够随着时间改本文档来自技高网...

【技术保护点】
1.一种响应于目标环境的非立体图像序列的目标环境的同时定位和建图的方法，所述方法包括：/n将所述非立体图像序列提供至第一和另一神经网络，其中所述第一和另一神经网络为无监督神经网络，所述无监督神经网络利用立体图像对序列和限定立体图像对的几何性质的一个或多个损失函数进行预训练；/n将所述非立体图像序列提供至又一神经网络中，其中所述又一神经网络经预训练以检测环路闭合；和/n响应于第一、另一和又一神经网络的输出而提供所述目标环境的同时定位和建图。/n

【技术特征摘要】
【国外来华专利技术】20180320 GB 1804400.81.一种响应于目标环境的非立体图像序列的目标环境的同时定位和建图的方法，所述方法包括：
将所述非立体图像序列提供至第一和另一神经网络，其中所述第一和另一神经网络为无监督神经网络，所述无监督神经网络利用立体图像对序列和限定立体图像对的几何性质的一个或多个损失函数进行预训练；
将所述非立体图像序列提供至又一神经网络中，其中所述又一神经网络经预训练以检测环路闭合；和
响应于第一、另一和又一神经网络的输出而提供所述目标环境的同时定位和建图。


2.根据权利要求1所述的方法，还包括：
所述一个或多个损失函数包括空间约束和时间约束，所述空间约束限定所述立体图像对的对应特征之间的关系，所述时间约束限定所述立体图像对序列的序列图像的对应特征之间的关系。


3.根据任一项前述权利要求所述的方法，还包括：
所述第一和另一神经网络中的每一者通过将多个批次的三个或更多个立体图像对输入至所述第一和另一神经网络中进行预训练。


4.根据任一项前述权利要求所述的方法，还包括：
第一神经网络提供所述目标环境的深度表示，并且另一神经网络提供所述目标环境内的姿态表示。


5.根据权利要求4所述的方法，还包括：
所述另一神经网络提供与所述姿态表示相关联的测量不确定度。


6.根据任一项前述权利要求所述的方法，还包括：
所述第一神经网络为编码器-解码器类型的神经网络。


7.根据任一项前述权利要求所述的方法，还包括：
所述另一神经网络为包括长短期记忆类型的递归卷积神经网络的神经网络。


8.根据任一项前述权利要求所述的方法，还包括：
所述又一神经网络提供所述目标环境的稀疏特征表示。


9.根据任一项前述权利要求所述的方法，还包括：
所述又一神经网络为基于ResNet的DNN类型的神经网络。


10.根据任一项前述权利要求所述的方法，由此：
响应于所述第一、另一和又一神经网络的输出而提供所述目标环境的同时定位和建图还包括：
响应于所述另一神经网络的输出和所述又一神经网络的输出而提供姿态输出。


11.根据权利要求10所述的方法，还包括：
基于局部和全局姿态联系而提供所述姿态输出。


12.根据权利要求11所述的方法，还包括：
响应于所述姿态输出而利用姿态图形优化器提供精修姿态输出。


13.一种响应于目标环境的非立体图像序列而提供所述目标环境的同时定位和建图的系统，所述系统包括：
第一神经网络；
另一神经网络；和
又一神经网络；其中：
所述第一和另一神经网络为无监督神经网络，所述无监督神经网络利用立体图像对序列和限定立体图像对的几何性质的一个或多个损失函数进行预训练，并且其中所述又一神经网络经预训练以检测环路闭合。


14.根据权利要求13所述的系统，还包括：
所述一个或多个损失函数包括空间约束和时间约束，所述空间约束限定所述立体图像对的对应特征之间的关系，所述时间约束限定所述立体图像对序列的序列图像的对应特征之间的关系。


15.根据权利要求13或14所述的系统，还包括：
所述第一和另一神经网络中的每一者通过将多个批次...

【专利技术属性】
技术研发人员：D·古，R·李，
申请(专利权)人：埃塞克斯大学企业有限公司，
类型：发明
国别省市：英国;GB