【技术实现步骤摘要】
基于深度学习和视惯融合的室内机器人运动估计方法
本专利技术涉及运动估计
，具体涉及一种基于深度学习和视惯融合的室内机器人运动估计方法。
技术介绍
智能机器人一般是通过安装感应设备来感知周围的环境，并根据感应设备所获取的信息，实现自身的定位与建图，再通过后续的规划路径，最终安全可靠的到达目的地。实时准确的运动估计是移动机器人智能化的基础，是保障机器人完成自主行为的前提。随着视觉技术不断发展，视觉里程计技术已被广泛应用，比如无人机、无人驾驶、工场AGV等等，同时也越来越多的被应用于智能机器人的自主定位和运动估计。在纯视觉里程计系统中，系统利用摄像头传感器获取周围环境的图像信息，通过对图像进行分析，估计系统的运动状态。但是在单目视觉系统中存在着尺度问题，即系统无法得知所获得的运动过程的实际尺度，只能获取相对的长度信息。针对纯视觉系统无法解决的尺度问题，视觉惯性里程计系统在纯视觉里程计系统的基础上添加了惯性传感器信息，其可以通过利用惯性信息进行尺度对准，顺利的获取系统的尺度信息。然而，由于惯性传感器存在累积误差，随着时...
【技术保护点】
1.基于深度学习和视惯融合的室内机器人运动估计方法，其特征是，包括步骤如下：/n步骤1、利用单目相机获取机器人的视觉图像；/n步骤2、将步骤1所获取的视觉数据送入到卷积神经网络和长短期记忆网络所组成的三维投影几何训练模型中，对视觉图像进行特征提取与跟踪，以及关键点预测；/n步骤3、利用惯性测量单元获得机器人的IMU数据；/n步骤4、采用预积分的方法对步骤3所获取的IMU数据进行处理，得到IMU数据的预积分值；/n步骤5、通过系统增设的布尔类型判断的入口判断系统是否初始化成功，如果成功，则执行步骤7；如果未成功，则执行步骤6；/n步骤6、对系统进行纯视觉初始化和视觉惯导联合初...
【技术特征摘要】
1.基于深度学习和视惯融合的室内机器人运动估计方法，其特征是，包括步骤如下：
步骤1、利用单目相机获取机器人的视觉图像；
步骤2、将步骤1所获取的视觉数据送入到卷积神经网络和长短期记忆网络所组成的三维投影几何训练模型中，对视觉图像进行特征提取与跟踪，以及关键点预测；
步骤3、利用惯性测量单元获得机器人的IMU数据；
步骤4、采用预积分的方法对步骤3所获取的IMU数据进行处理，得到IMU数据的预积分值；
步骤5、通过系统增设的布尔类型判断的入口判断系统是否初始化成功，如果成功，则执行步骤7；如果未成功，则执行步骤6；
步骤6、对系统进行纯视觉初始化和视觉惯导联合初始化；
步骤7、初始化完成后，将步骤2和步骤4所得的结果一并送入紧耦合的视觉惯导里程计中，对数据进行基于滑动窗口的视觉惯导里程计的优化；
步骤8、根据视觉图像当前帧的位姿估计结果,判断当前帧是否为关键帧,即当前帧与上一帧关键帧运动距离超过设定阈值大小：若当前帧不为关键帧,说明系统与上一关键帧运动距离较短,则将当前帧直接从滑动窗口中剔除；若当前帧为关键帧,则将滑动窗口中时间最早的一帧从滑动窗口中剔除,将当前帧作为新的关键帧；
步骤9、每隔N个关键帧提取1个关键帧到关键帧数据库，并将当前提取的关键帧与关键帧数据库内存储的历史关键帧进行比较，即对于当前提取的关键帧和历史关键帧；通过对当前视觉帧提取的特征与历史关键帧中的特征点做匹配，判断是否回环，即判断出运动的起点是否是终点，如果判断出机器人已经走过完整连续的一圈，系统输出机器人正确的位姿估计结果，如果未判断出回环，即未完成闭环的运动，或者已完成闭环的运动，系统未检测出，系统输出未矫正的机器人的位姿估计结果，并返回步骤1；其中N为设定值。
2.根据权利要求1所述的基于深度学习和视惯融合的室内机器人运动估计方法，其特征是...
【专利技术属性】
技术研发人员：李海标，时君，韦德流，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。