【技术实现步骤摘要】
单目视觉信息和IMU信息相融合的尺度估计系统及方法
本公开涉及同步定位与建图
，尤其涉及一种单目视觉信息和IMU信息相融合的尺度估计系统及方法。
技术介绍
同步定位与建图技术(SimultaneousLocalizationandMapping，简称SLAM)，是指移动机器人在未知环境和未知位置下，根据搭载的特定传感器的输入信息，增量式地构建全局一致性的环境地图的同时进行位置定位的问题。随着在过去几十年间的发展，SLAM技术在机器人、定位导航、计算机视觉等领域都成为了一项至关重要的研究技术，同时在工业界也初步形成了基本的产业化实用能力。视觉SLAM(VisualSLAM)是使用单目相机、双目相机、RGB-D相机等视觉传感器构建的SLAM系统。视觉SLAM与人眼类似，通过主动或者被动接受环境光的方式实现对周围环境的信息感知，同时基于多视图几何原理对图像中的特征点进行三维空间还原，从而构建一个与真实环境一致的三维地图。基于双目相机、RGB-D相机的SLAM系统由于传感器能获取深度信息，从而可以构建出真实环境的尺度，...
【技术保护点】
1.一种单目视觉信息和IMU信息相融合的尺度估计系统，包括：/n单目视觉SLAM模块，包括单目相机，用于采集视觉图像数据；/nIMU模块，用于获得IMU模块的IMU位姿数据；以及/n尺度估计模块，将所述视觉图像数据和IMU位姿数据进行融合，实现尺度估计和定位建图。/n
【技术特征摘要】
1.一种单目视觉信息和IMU信息相融合的尺度估计系统，包括：
单目视觉SLAM模块，包括单目相机，用于采集视觉图像数据；
IMU模块，用于获得IMU模块的IMU位姿数据；以及
尺度估计模块，将所述视觉图像数据和IMU位姿数据进行融合，实现尺度估计和定位建图。
2.根据权利要求1所述的单目视觉信息和IMU信息相融合的尺度估计系统，通过对单目相机采集的无绝对尺度信息的视觉图像数据进行处理，获得视觉位姿数据。
3.根据权利要求2所述的单目视觉信息和IMU信息相融合的尺度估计系统，所述视觉位姿数据包括：单目相机位置，单目相机旋转矩阵，单目相机旋转四元数，以及单目相机旋转角速度。
4.根据权利要求1所述的单目视觉信息和IMU信息相融合的尺度估计系统，所述IMU模块包括陀螺仪、加速度计；所述IMU位姿数据包括：IMU加速度、IMU角速度。
5.一种单目视觉信息和IMU信息相融合的尺度估计方法，通过如权利要求1至4任一项所述的单目视觉信息和IMU信息相融合的尺度估计系统进行尺度估计，所述尺度估计方，包括：
步骤S1：通过单目相机采集视觉图像数据；通过IMU模块获得IMU位姿数据；
步骤S2：基于角速度将IMU位姿数据和单目相机位姿数据进行时间空间对齐；以及
步骤S3：基于加速度在频域下进行尺度估计，完成基于单目视觉信息和IMU信息相融合的尺度估计。
6.根据权利要求5所述的单目视觉信息和IMU信息相融合的尺度估计方法，步骤S1中，单目视觉SLAM模块通过单目相机观测路标点，将三维路标点投影到相机的成像平面，得到像素坐标；成像时的模型采用针孔成像模型；单目视觉SLAM模块的单个路标点按照如下方程进行观测：
ZPuv＝K(RW+t)＝KTPW；
其中，Pu，v是图像上的像素坐标，PW＝(XYZ)T是路标点在相机坐标系下的三维坐标，矩阵K是相机内参数矩阵，T是相机从相机坐标系到世界坐标系的变换矩阵，R为相机的旋转矩阵，t是相机从相机坐标系到世界坐标系的平移向量，Z是路标点在相机坐标系下的Z轴坐标，也即路标点在相机坐标系下的深度值；之后将观测结果进行最小化重投影误差，π(·)是投影函数，从而可以得到视觉观测的单目相机位姿结果，即相机的旋转矩阵R和相机的位置p：
其中，Xi是第i个路标点在相机坐标系下的位置，是第i个路标点在像素平面的投影坐标，ρ()是鲁棒核函数，χ是从单目相机捕获的图像中提取的所有特征点(也即路标点)的集合，∑是求和符，是指使其后面式子达到最小值时的变量R，t的取值，p是相机的位置数据，也即相机的平移向量t。
7.根据权利要求5所述的单目视觉信息和IMU信息相融合的尺度估计方法，步骤S2中，首先假设视觉角速度和IMU角速度在时间上是对齐的，可以通过采用最小二乘法最小化不含时间偏置的代价函数得到：
其中RS表示从相机坐标系到IMU体坐标系的旋转矩阵，td表示IMU的时间偏置，表示陀螺仪的偏置为单目相机角速度，为IMU角速度...
【专利技术属性】
技术研发人员：邹旭东，肖麟慧，李志天，杨伍昊，熊兴崟，刘云飞，
申请(专利权)人：中国科学院电子学研究所，中国科学院大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。