基于深度学习和视惯融合的室内机器人运动估计方法技术

本发明专利技术公开一种基于深度学习和视惯融合的室内机器人运动估计方法，利用深度学习的方法通过设计的GCN网络来对视觉数据进行特征提取，并将视觉惯导信息相融合，构建一个鲁棒的SLAM系统，其不仅可以极大的提高系统的鲁棒性，还可以在计算能力受限的嵌入式设备上快速部署，通过对惯性信息的预积分处理，形成视觉信息的帧间约束，采用联合优化器对视觉惯性输出数据进行融合优化，通过预积分的视觉惯性里程计系统比单独视觉里程计系统更高的定位精度，基于预积分算法有效的将惯性信息用到里程计系统中，并抑制系统的噪声传播，降低惯性零漂对里程计定位精度的影响。

Motion estimation method of indoor robot based on deep learning and visual inertial fusion

【技术实现步骤摘要】
基于深度学习和视惯融合的室内机器人运动估计方法
本专利技术涉及运动估计
，具体涉及一种基于深度学习和视惯融合的室内机器人运动估计方法。
技术介绍
智能机器人一般是通过安装感应设备来感知周围的环境，并根据感应设备所获取的信息，实现自身的定位与建图，再通过后续的规划路径，最终安全可靠的到达目的地。实时准确的运动估计是移动机器人智能化的基础，是保障机器人完成自主行为的前提。随着视觉技术不断发展，视觉里程计技术已被广泛应用，比如无人机、无人驾驶、工场AGV等等，同时也越来越多的被应用于智能机器人的自主定位和运动估计。在纯视觉里程计系统中，系统利用摄像头传感器获取周围环境的图像信息，通过对图像进行分析，估计系统的运动状态。但是在单目视觉系统中存在着尺度问题，即系统无法得知所获得的运动过程的实际尺度，只能获取相对的长度信息。针对纯视觉系统无法解决的尺度问题，视觉惯性里程计系统在纯视觉里程计系统的基础上添加了惯性传感器信息，其可以通过利用惯性信息进行尺度对准，顺利的获取系统的尺度信息。然而，由于惯性传感器存在累积误差，随着时间的推移，误差会越来越大，因此在连续工作时会存在累积漂移的问题。
技术实现思路
本专利技术所要解决的是现有智能机器人的运动估计系统存在精度不高的问题，提供一种基于深度学习和视惯融合的室内机器人运动估计方法。为解决上述问题，本专利技术是通过以下技术方案实现的：基于深度学习和视惯融合的室内机器人运动估计方法，包括步骤如下：步骤1、利用单目相机获取机器人的视觉图像；步骤2、将步骤1所获取的视觉数据送入到卷积神经网络和长短期记忆网络所组成的三维投影几何训练模型中，对视觉图像进行特征提取与跟踪，以及关键点预测；步骤3、利用惯性测量单元获得机器人的IMU数据；步骤4、采用预积分的方法对步骤3所获取的IMU数据进行处理，得到IMU数据的预积分值；步骤5、通过系统增设的布尔类型判断的入口判断系统是否初始化成功，如果成功，则执行步骤7；如果未成功，则执行步骤6；步骤6、对系统进行纯视觉初始化和视觉惯导联合初始化；步骤7、初始化完成后，将步骤2和步骤4所得的数据一并送入紧耦合的视觉惯导里程计中，对数据进行基于滑动窗口的视觉惯导里程计的优化；步骤8、根据当前帧的位姿估计结果,判断当前帧是否为关键帧,关键帧的选取依据为当前帧与上一帧关键帧运动距离超过设定阈值大小：若当前帧不为关键帧,说明系统与上一关键帧运动距离较短,则将当前帧数据直接从滑动窗口中剔除；若当前帧为关键帧,则将滑动窗口中时间最早的一帧从滑动窗口中剔除,将当前帧作为新的关键帧；步骤9、每隔N个关键帧提取1个关键帧到关键帧数据库，并将当前提取的关键帧与关键帧数据库内存储的历史关键帧进行比较，即对于当前提取的关键帧和历史关键帧；通过对当前视觉帧提取的特征与历史关键帧中的特征点做匹配，判断是否回环，即判断出运动的起点是否是终点，如果判断出机器人已经走过完整连续的一圈，系统输出机器人正确的位姿，如果未判断出回环，即未完成闭环的运动，或者已完成闭环的运动，系统未检测出，系统输出未矫正的机器人的位姿，并返回步骤1，直至检测出回环，系统输出正确的位姿。上述步骤3所采集的IMU数据的数据量要多于步骤1所采集的视觉的数据量。上述步骤5中，系统初始化成功的依据是：当解出绝对尺度，陀螺仪偏置，加速度偏置，重力加速度和每个IMU时刻的速度时，则判断出系统初始化成功。上述步骤6中所述纯视觉初始化的过程为：每当进来一个新的图像帧的时候，首先判断它与滑动窗口里面存储的之前的一帧的的相对位移，用特征点的相对位移表示；接着利用对极几何模型求解单目相机的相对变换；然后三角化得到相应的观测的点到物体的点即3D点的坐标；最后利用这些3D点和滑动窗口中其他的帧的2D点即可以进行pnp求解获得滑动窗口中的所有的位姿和特征点3D坐标，从而完成纯视觉初始化。上述步骤6中所述的视觉惯导联合初始化的过程为：首先根据滑动窗口中连续图像的相对旋转算出相机和IMU间的外参；接着根据纯视觉的初始化得到的各帧图像的相对旋转来计算出陀螺仪的偏置；最后利用前一帧对后一帧位置、速度的预测与当前值的误差，实现速度、重力、尺度的对齐，最终完成视觉惯导的联合初始化。上述步骤7的具体过程如下：每当进来一个新的图像帧的时候，首先判断它与滑动窗口里面存储的之前的一帧的的相对位移，用特征点的相对位移表示；接着利用滑动窗口中的各帧的位置，姿态，速度，偏移，相机的外参，以及每一个特征点在它被观察到的第一帧的深度，拟合前后帧之间的IMU的预积分值，前后帧之间的偏移的差的约束，每一个特征点的重投影位置这三部分，最终完成基于滑动窗口的视觉惯导里程计的优化。与现有技术相比，本专利技术利用深度学习的方法通过设计的GCN网络来对视觉数据进行特征提取，并将视觉惯导信息相融合，构建一个鲁棒的SLAM系统，其不仅可以极大的提高系统的鲁棒性，还可以在计算能力受限的嵌入式设备上快速部署，通过对惯性信息的预积分处理，形成视觉信息的帧间约束，采用联合优化器对视觉惯性输出数据进行融合优化，通过预积分的视觉惯性里程计系统比单独视觉里程计系统更高的定位精度，基于预积分算法有效的将惯性信息用到里程计系统中，并抑制系统的噪声传播，降低惯性零漂对里程计定位精度的影响。此外，本专利技术还可部署到低功耗平台Jetsontx2上，用于室内机器人的控制。附图说明图1为基于深度学习和视惯融合的室内机器人运动估计方法的流程图。图2为GCN网络示意图。图3为图1中预积分的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本专利技术进一步详细说明。一种基于深度学习和视惯融合的室内机器人运动估计方法，如图1所示，其具体包括步骤如下：步骤1、利用单目相机获取机器人的视觉数据(即视觉图像)。步骤2、利用三维投影几何训练模型对视觉图像进行特征提取与跟踪，同时进行了关键帧的选取。(1)利用CNN和LSTM组成一个深度学习网络，即三维投影几何训练模型，它是一个三维投影几何训练的网络，用于生成关键点和描述子。三维投影几何训练模型如图2所示，上面部分是CNN(卷积神经网络)，它是一个50层的CNN，表示为resnet-50，它以密集的方式提取特征。它包括用于多尺度特征表示的全卷积部分和用于细化特征细节的反卷积部分。下半部分是一个浅双向递归结构，用于预测两幅图像中关键点的位置。实际网络的隐藏层比图中的要多。训练的目标函数分别是三重损失函数和交叉熵。(2)三维投影几何训练模型中，resnet-50的权重是通过ImageNet对象分类数据集预先训练的，该数据集有120万个标记图像。训练网络时，首先提取第一幅图像中的关键点，并使用已知的帧到帧转换，将其转换到下一帧，把这些关键点作为真值。通过用刚体变换来计算下一帧的关键点，而不是通过在第二帧中的外观来找到点的对应关系，避本文档来自技高网...

【技术保护点】
1.基于深度学习和视惯融合的室内机器人运动估计方法，其特征是，包括步骤如下：/n步骤1、利用单目相机获取机器人的视觉图像；/n步骤2、将步骤1所获取的视觉数据送入到卷积神经网络和长短期记忆网络所组成的三维投影几何训练模型中，对视觉图像进行特征提取与跟踪，以及关键点预测；/n步骤3、利用惯性测量单元获得机器人的IMU数据；/n步骤4、采用预积分的方法对步骤3所获取的IMU数据进行处理，得到IMU数据的预积分值；/n步骤5、通过系统增设的布尔类型判断的入口判断系统是否初始化成功，如果成功，则执行步骤7；如果未成功，则执行步骤6；/n步骤6、对系统进行纯视觉初始化和视觉惯导联合初始化；/n步骤7、初始化完成后，将步骤2和步骤4所得的结果一并送入紧耦合的视觉惯导里程计中，对数据进行基于滑动窗口的视觉惯导里程计的优化；/n步骤8、根据视觉图像当前帧的位姿估计结果,判断当前帧是否为关键帧,即当前帧与上一帧关键帧运动距离超过设定阈值大小：若当前帧不为关键帧,说明系统与上一关键帧运动距离较短,则将当前帧直接从滑动窗口中剔除；若当前帧为关键帧,则将滑动窗口中时间最早的一帧从滑动窗口中剔除,将当前帧作为新的关键帧；/n步骤9、每隔N个关键帧提取1个关键帧到关键帧数据库，并将当前提取的关键帧与关键帧数据库内存储的历史关键帧进行比较，即对于当前提取的关键帧和历史关键帧；通过对当前视觉帧提取的特征与历史关键帧中的特征点做匹配，判断是否回环，即判断出运动的起点是否是终点，如果判断出机器人已经走过完整连续的一圈，系统输出机器人正确的位姿估计结果，如果未判断出回环，即未完成闭环的运动，或者已完成闭环的运动，系统未检测出，系统输出未矫正的机器人的位姿估计结果，并返回步骤1；其中N为设定值。/n...

【技术特征摘要】
1.基于深度学习和视惯融合的室内机器人运动估计方法，其特征是，包括步骤如下：
步骤1、利用单目相机获取机器人的视觉图像；
步骤2、将步骤1所获取的视觉数据送入到卷积神经网络和长短期记忆网络所组成的三维投影几何训练模型中，对视觉图像进行特征提取与跟踪，以及关键点预测；
步骤3、利用惯性测量单元获得机器人的IMU数据；
步骤4、采用预积分的方法对步骤3所获取的IMU数据进行处理，得到IMU数据的预积分值；
步骤5、通过系统增设的布尔类型判断的入口判断系统是否初始化成功，如果成功，则执行步骤7；如果未成功，则执行步骤6；
步骤6、对系统进行纯视觉初始化和视觉惯导联合初始化；
步骤7、初始化完成后，将步骤2和步骤4所得的结果一并送入紧耦合的视觉惯导里程计中，对数据进行基于滑动窗口的视觉惯导里程计的优化；
步骤8、根据视觉图像当前帧的位姿估计结果,判断当前帧是否为关键帧,即当前帧与上一帧关键帧运动距离超过设定阈值大小：若当前帧不为关键帧,说明系统与上一关键帧运动距离较短,则将当前帧直接从滑动窗口中剔除；若当前帧为关键帧,则将滑动窗口中时间最早的一帧从滑动窗口中剔除,将当前帧作为新的关键帧；
步骤9、每隔N个关键帧提取1个关键帧到关键帧数据库，并将当前提取的关键帧与关键帧数据库内存储的历史关键帧进行比较，即对于当前提取的关键帧和历史关键帧；通过对当前视觉帧提取的特征与历史关键帧中的特征点做匹配，判断是否回环，即判断出运动的起点是否是终点，如果判断出机器人已经走过完整连续的一圈，系统输出机器人正确的位姿估计结果，如果未判断出回环，即未完成闭环的运动，或者已完成闭环的运动，系统未检测出，系统输出未矫正的机器人的位姿估计结果，并返回步骤1；其中N为设定值。


2.根据权利要求1所述的基于深度学习和视惯融合的室内机器人运动估计方法，其特征是...

【专利技术属性】
技术研发人员：李海标，时君，韦德流，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45