融合IMU信息的双目视觉里程计定位方法、系统技术方案

本发明专利技术属于定位技术领域，具体涉及一种融合IMU信息的双目视觉里程计定位方法、系统，本发明专利技术方法包括：通过双目视觉里程计和IMU，在t时刻进行同步数据采集；基于双目视觉里程计采集到的图像进行特征点检测和描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点；对第一特征点进行三角化形成空间点云，根据预设的特征点选择机制对第一特征点进行分类，并基于预设数量选取各分类的第一特征点；根据随机抽样一致性算法进行位姿的解耦估计，获取载体相对于t‑1时刻的运动信息，并基于该运动信息获取载体t时刻位置。本发明专利技术避免了动态物体导致的错误匹配，提高了双目视觉里程计的定位精度、鲁棒性和实时性。

Binocular Visual Odometer Location Method and System Fusing IMU Information

【技术实现步骤摘要】
融合IMU信息的双目视觉里程计定位方法、系统
本专利技术属于定位
，具体涉及一种融合IMU信息的双目视觉里程计定位方法、系统。
技术介绍
在智能车及智能机器人应用中，定位技术是载体安全运动的关键技术之一。定位技术对于速度控制、路径规划、碰撞避让等行为决策有着重要的意义。目前，常用的定位技术有GPS定位、北斗卫星导航定位和惯性导航定位。GPS定位系统和北斗卫星导航系统是举世闻名的全球定位系统，然而卫星信号的多径效应会导致较大的定位误差。尤其是在高楼林立的城市环境中，由于遮挡物较多，卫星接收器无法接收到三个以上的卫星信号，导致其无法解算出满足精度要求的绝对位置。惯性导航系统通过对载体的加速度和角速度进行积分，在短期内提供较高精度的导航信息，然而定位误差随时间增长不断累积。双目视觉里程计是目前研究众多的一种定位技术，其应用广泛，成本较低，并且能够提供丰富的图像信息用于运动估计。近些年来，由于图像处理硬件和软件的进步，相机逐渐应用于嵌入式系统，成为智能车及智能机器人的重要元件。然而，在动态物体较多、光照变化的场景中，双目视觉里程计不能保证特征匹配的正确性，导致定位估计精度下降。与此不同的是，IMU自主性好，不易受到外界环境的影响，并且能够快速提供一个初始估计。鉴于IMU和双目视觉里程计的互补性，融合IMU信息的双目视觉里程计实现方法具有重要的研究意义。
技术实现思路
为了解决现有技术中的上述问题，即为了提高双目视觉里程计的定位鲁棒性和实时性，本专利技术的第一方面，提出了一种融合IMU信息的双目视觉里程计定位方法，所述定位方法包括以下步骤：步骤S100，通过装设于特定载体的双目视觉里程计和IMU，在t时刻进行同步数据采集；步骤S200，基于双目视觉里程计采集到的图像进行ORB特征点检测和ORB描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点；步骤S300，对所述第一特征点进行三角化形成空间点云，根据预设的特征点选择机制对所述第一特征点进行分类，并基于预设数量选取各分类的第一特征点；步骤S400，基于步骤S300得到的各分类的第一特征点，根据随机抽样一致性算法进行位姿的解耦估计，获取所述载体相对于t-1时刻的运动信息，并基于该运动信息获取载体t时刻位置。在一些优选实施方式中，所述定位方法在步骤S400之后还包括步骤S500：步骤S500，基于步骤S400获取的载体相对于t-1时刻的运动信息，通过卡尔曼滤波更新IMU的陀螺仪偏置和加速度偏置。在一些优选实施方式中，步骤S200“基于双目视觉里程计采集到的图像进行ORB特征点检测和ORB描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点”，其方法为：步骤S211，将双目视觉里程计采集得到的t时刻左侧图像和右侧图像分别按照预设尺寸划分为多个图像块，并在每个图像块中提取预设数目的ORB特征点；步骤S212，采用非极大值抑制的方法，使得到的特征点均匀的分布在对应的图像平面；步骤S213，基于t-1时刻到t时刻的IMU数据得到加速度信息和旋转信息，计算t-1时刻到t时刻的相对旋转估计R0和相对平移估计P0，并将[R0|P0]作为IMU提供的先验信息；步骤S214，对t时刻和t-1时刻分别得到的四幅图像，基于IMU提供的先验信息，采用对比描述子的方法，按照环形顺序进行两两图像之间的特征点匹配，去除匹配失败的特征点，将保留下来的特征点作为第一特征点。在一些优选实施方式中，步骤S214中“按照环形顺序进行两两图像之间的特征点匹配”，其方法为：对t时刻得到的左侧图像和右侧图像进行特征点匹配；对t时刻得到的右侧图像和t-1时刻得到的右侧图像进行特征点匹配；对t-1时刻得到的右侧图像和左侧图像进行特征点匹配；对t-1时刻得到的左侧图像和t时刻得到的左侧图像进行特征点匹配。在一些优选实施方式中，步骤S214中“对t时刻得到的左侧图像和右侧图像进行特征点匹配”，其方法为：基于标定的双目视觉里程计两个相机间的参数，将左侧图像的特征点投影到右侧图像，以第一预设半径r1构建匹配区域，获取该区域内与左侧图像特征点描述子汉明距离最小和第二小的候选描述子，并在最小距离小于第二小距离与设定阈值的乘积时，选取最小距离对应的特征点为匹配到的特征点。在一些优选实施方式中，步骤S214中“对t时刻得到的右侧图像和t-1时刻得到的右侧图像进行特征点匹配”，其方法为：根据IMU提供的先验信息[R0|P0]，将t时刻右侧图像的特征点投影到t-1时刻的右侧图像，以第二预设半径r2构建匹配区域，获取该区域内与t时刻右侧图像特征点描述子汉明距离最小和第二小的候选描述子，并在最小距离小于第二小距离与设定阈值的乘积时，选取最小距离对应的特征点为匹配到的特征点。在一些优选实施方式中，步骤S213中“基于t-1时刻到t时刻的IMU数据得到加速度信息和旋转信息，计算t-1时刻到t时刻的相对旋转估计R0和相对平移估计P0”，其方法为：如果IMU数据不为零，执行：基于t-1时刻和t时刻之间IMU中的陀螺仪数据，通过零阶四元数积分方法得到相对旋转估计R0；基于t-1时刻和t时刻之间IMU中的陀螺仪数据和加速度计数据，通过龙格库塔四阶积分方法得到相对平移估计P0；如果IMU数据为零，执行：基于t-1时刻的加速度信息和旋转信息，采用匀速运动模型得到相对旋转估计R0和相对平移估计P0。在一些优选实施方式中，步骤S300“对所述第一特征点进行三角化形成空间点云，根据预设的特征点选择机制对所述第一特征点进行分类，并基于预设数量选取各分类的第一特征点”，其方法为：步骤S311，对所述第一特征点进行三角化形成空间点云，得到恢复深度信息后的第一特征点；步骤S312，基于预设的基线倍数值，将所述恢复深度信息后的第一特征点归属类标记为远点类和近点类；步骤S313，对每个图像块中的远点类第一特征点，基于跟踪次数进行由大到小的排序，并对跟踪次数一样的第一特征点，基于特征响应值进行由大到小的二次排序；根据各图像块中远点类第一特征点的排序顺序，对所有远点类第一特征点进行分组排序，并对每个分组中的远点类第一特征点依据图像块的排序顺序进行排序，获得远点集；对每个图像块中的近点类第一特征点，基于跟踪次数进行由大到小的排序，并对跟踪次数一样的第一特征点，基于特征响应值进行由大到小的二次排序；根据各图像块中近点类第一特征点的排序顺序，对所有近点类第一特征点进行分组排序，并对每个分组中的近点类第一特征点依据图像块的排序顺序进行排序，获得近点集；步骤S314，基于预设数量n，分别从远点集和近点集中选择前n个远点和前n个近点。在一些优选实施方式中，步骤S400中“基于步骤S300得到的各分类的第一特征点，根据随机抽样一致性算法进行位姿的解耦估计，获取所述载体相对于t-1时刻的运动信息”，其方法为：步骤S411，基于步骤S314得到的n个远点，通过随机抽样一致性算法，以R0为初始值得到相对旋转估计R；步骤S412，基于步骤S314得到的n个近点，通过最小化重投影误差得到相对平移估计P；步骤S413，基于相对旋转估计R和相对平移估计P，计算所述载体相对于t-1时刻的运动信息。本专利技术的第二方面，提出了一种融合IMU信息的双目视觉里程计定本文档来自技高网...

【技术保护点】
1.一种融合IMU信息的双目视觉里程计定位方法，其特征在于，所述定位方法包括以下步骤：步骤S100，通过装设于特定载体的双目视觉里程计和IMU，在t时刻进行同步数据采集；步骤S200，基于双目视觉里程计采集到的图像进行ORB特征点检测和ORB描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点；步骤S300，对所述第一特征点进行三角化形成空间点云，根据预设的特征点选择机制对所述第一特征点进行分类，并基于预设数量选取各分类的第一特征点；步骤S400，基于步骤S300得到的各分类的第一特征点，根据随机抽样一致性算法进行位姿的解耦估计，获取所述载体相对于t‑1时刻的运动信息，并基于该运动信息获取载体t时刻位置。

【技术特征摘要】
1.一种融合IMU信息的双目视觉里程计定位方法，其特征在于，所述定位方法包括以下步骤：步骤S100，通过装设于特定载体的双目视觉里程计和IMU，在t时刻进行同步数据采集；步骤S200，基于双目视觉里程计采集到的图像进行ORB特征点检测和ORB描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点；步骤S300，对所述第一特征点进行三角化形成空间点云，根据预设的特征点选择机制对所述第一特征点进行分类，并基于预设数量选取各分类的第一特征点；步骤S400，基于步骤S300得到的各分类的第一特征点，根据随机抽样一致性算法进行位姿的解耦估计，获取所述载体相对于t-1时刻的运动信息，并基于该运动信息获取载体t时刻位置。2.根据权利要求1所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，所述定位方法在步骤S400之后还包括步骤S500：步骤S500，基于步骤S400获取的载体相对于t-1时刻的运动信息，通过卡尔曼滤波更新IMU的陀螺仪偏置和加速度偏置。3.根据权利要求1或2所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，步骤S200“基于双目视觉里程计采集到的图像进行ORB特征点检测和ORB描述子提取，根据IMU得到的先验信息进行特征点的环形匹配，得到第一特征点”，其方法为：步骤S211，将双目视觉里程计采集得到的t时刻左侧图像和右侧图像分别按照预设尺寸划分为多个图像块，并在每个图像块中提取预设数目的ORB特征点；步骤S212，采用非极大值抑制的方法，使得到的特征点均匀的分布在对应的图像平面；步骤S213，基于t-1时刻到t时刻的IMU数据得到加速度信息和旋转信息，计算t-1时刻到t时刻的相对旋转估计R0和相对平移估计P0，并将[R0|P0]作为IMU提供的先验信息；步骤S214，对t时刻和t-1时刻分别得到的四幅图像，基于IMU提供的先验信息，采用对比描述子的方法，按照环形顺序进行两两图像之间的特征点匹配，去除匹配失败的特征点，将保留下来的特征点作为第一特征点。4.根据权利要求3所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，步骤S214中“按照环形顺序进行两两图像之间的特征点匹配”，其方法为：对t时刻得到的左侧图像和右侧图像进行特征点匹配；对t时刻得到的右侧图像和t-1时刻得到的右侧图像进行特征点匹配；对t-1时刻得到的右侧图像和左侧图像进行特征点匹配；对t-1时刻得到的左侧图像和t时刻得到的左侧图像进行特征点匹配。5.根据权利要求4所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，步骤S214中“对t时刻得到的左侧图像和右侧图像进行特征点匹配”，其方法为：基于标定的双目视觉里程计两个相机间的参数，将左侧图像的特征点投影到右侧图像，以第一预设半径r1构建匹配区域，获取该区域内与左侧图像特征点描述子汉明距离最小和第二小的候选描述子，并在最小距离小于第二小距离与设定阈值的乘积时，选取最小距离对应的特征点为匹配到的特征点。6.根据权利要求4所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，步骤S214中“对t时刻得到的右侧图像和t-1时刻得到的右侧图像进行特征点匹配”，其方法为：根据IMU提供的先验信息[R0|P0]，将t时刻右侧图像的特征点投影到t-1时刻的右侧图像，以第二预设半径r2构建匹配区域，获取该区域内与t时刻右侧图像特征点描述子汉明距离最小和第二小的候选描述子，并在最小距离小于第二小距离与设定阈值的乘积时，选取最小距离对应的特征点为匹配到的特征点。7.根据权利要求3所述的融合IMU信息的双目视觉里程计定位方法，其特征在于，步骤S213中“基于t-1时...

【专利技术属性】
技术研发人员：汤淑明，黄馨，顿海洋，卢晓昀，张力夫，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11