一种基于双目视觉的里程计运动估计方法技术

一种基于双目视觉的里程计运动估计方法，本发明专利技术涉及基于双目视觉的里程计运动估计方法。本发明专利技术的目的是为了解决现有方法获得的机器人位姿准确率低的问题。过程为：1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像；2，对采集到的图像进行预处理；3，对预处理后的图像进行特征点的提取4，对提取到的特征点进行匹配；5，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；6，获取成功匹配的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；7，将得到的特征点的三维信息按照运动估计方法进行运动估计。本发明专利技术用于智能移动机器人自主导航领域。

An Odometer Motion Estimation Method Based on Binocular Vision

【技术实现步骤摘要】
一种基于双目视觉的里程计运动估计方法
本专利技术涉及基于双目视觉的里程计运动估计方法。
技术介绍
在移动机器人的自主导航中，机器人的位姿信息占有十分重要的位置，准确获得机器人的位姿信息是进行后续任务的基础。传统的获得机器人位姿的方法主要有：基于车轮编码器的传统里程计、GPS和惯性导航装置。其中基于车轮编码器的传统里程计通常要计算车轮转数或旋转角速度来确定车辆行进速度，这种方法的最大问题就是无法克服车轮打滑时引起的计数或测量错误。由于运动场地与车轮的摩擦系数、地面平整程度、倾斜角度等通常都无法得到，因此滑动的发生及程度往往是无法预知的，尤其在军事、深空探测等领域，由于土质疏松程度及车轮滑动以及地形环境的不可预知，使得编码器的读数存在较大误差，无法正确反映车体运动的情况；同时GPS信号也会因为干扰等原因而变得不可靠，工作在月表的月球车则完全没有GPS信息的辅助，需要采取其它的辅助导航定位技术，以确保获得足够精确的车体位置和姿态估计。此外，车辆常用的惯性导航装置存在随时间“漂移”的问题，如果缺少GPS等全局定位信息的校正，就会导致航位推算存在精度较差和误差随漫游距离加大迅速积累增加的缺陷，需要采取其它的辅助导航定位技术，以确保获得足够精确的车体位置和姿态估计。因此，构建一种具有良好鲁棒性和精度的自主导航系统，对实现自主车辆在非结构化环境下或准结构化环境下长距离导航的精确定位和运动估计具有十分重要的意义。综上，现有基于车轮编码器的传统里程计无法克服车轮打滑时引起的计数或测量错误，使得编码器的读数存在较大误差，无法正确反映车体运动的情况，现有GPS信号也会因为干扰等原因而变得不可靠，以及现有车辆常用的惯性导航装置存在随时间“漂移”，导致现有方法获得的机器人位姿准确率低；
技术实现思路
本专利技术的目的是为了解决现有方法获得的机器人位姿准确率低的问题，而提出一种基于双目视觉的里程计运动估计方法。一种基于双目视觉的里程计运动估计方法具体过程为：步骤1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；步骤2，对步骤1采集到的图像进行预处理：对步骤1采集到的图像进行失真处理；步骤3，采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取；步骤4，对提取到的特征点进行匹配，过程为：对t时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t+1时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t时刻双目摄像机对当前场景采集到的左图像的特征点和t+1时刻双目摄像机对当前场景采集到的左图像的特征点进行特征点立体匹配与跟踪，得到前后帧左图像的特征点的跟踪匹配信息；对t时刻双目摄像机对当前场景采集到的右图像的特征点和t+1时刻双目摄像机对当前场景采集到的右图像的特征点进行特征点立体匹配与跟踪，得到前后帧右图像的特征点的跟踪匹配信息；步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；步骤6，根据步骤5得到的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息，以及步骤4得到的前后帧特征点的跟踪匹配信息，获取成功匹配的t时刻当前场景特征点的三维信息PP和t+1时刻当前场景特征点的三维信息PC；步骤7，将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计。本专利技术的有益效果为：视觉里程计的方法是一种依靠视觉信息测量移动机器人运动距离和方向的方法，提高了机器人位姿准确率，由于仅仅依靠视觉信息，因此不存在轮式里程计由于编码器偏差造成的误差以及惯导漂移等因素造成的偏差，适用于各种环境，是传统方法的有效补充；解决现有基于车轮编码器的传统里程计无法克服车轮打滑时引起的计数或测量错误，使得编码器的读数存在较大误差，无法正确反映车体运动的情况的问题。本专利技术利用搭载的双目视觉相机，拍摄车辆行进过程中前方的场景信息，通过计算相邻连续帧左右图像的特征并进行特征匹配，对已匹配的特征点的三维坐标信息采用不同的运动估计算法进行运动估计，得到移动机器人精确的运动信息，既保证了运动信息获取的准确性，又减小了计算代价，提高了计算的效率，提高了机器人位姿准确率，在移动机器人的自主导航定位方面，尤其是在缺少GPS等的情况下，提供非常重要的辅助信息。解决现有现有GPS信号会因为干扰等原因而变得不可靠，以及现有车辆常用的惯性导航装置存在随时间“漂移”的问题。通过两种测试模式，给出了算法可行性及有效性的验证；即1)在直线运动测试中，估计误差在0.7m以内；2)在转弯运动测试中，估计误差在1.5m以内。均可以满足实际应用的需求。附图说明图1是通过双目摄像机获得移动机器人位姿信息的流程图；图2是视觉里程计工作流程图；图3是本专利技术运动估计方法的流程图；图4是改进的RANSAC算法结合线性最小二乘法流程图；图5为直线运动测试计算出的路径与真实路径的对比图；图6为直线运动测试中运动估计算法的误差图；图7为转弯运动测试计算出的路径与真实路径的对比图；图8为转弯运动测试中运动估计算法的误差图。具体实施方式具体实施方式一：本实施方式的一种基于双目视觉的里程计运动估计方法具体过程为：如图1所示，本专利技术的具体内容为依靠双目视觉相机为传感器，通过处理获得的图像序列得到场景特征点的三维信息，进而通过运动估计的方法得到移动机器人的相对运动关系，进而推算出实时位姿信息，具体的实现流程如下：步骤1，如图2所示，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；步骤2，对步骤1采集到的图像进行预处理：对步骤1采集到的图像进行失真处理；步骤3，采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取；步骤4，对提取到的特征点进行匹配；过程为：对t时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t+1时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t时刻双目摄像机对当前场景采集到的左图像的特征点和t+1时刻双目摄像机对当前场景采集到的左图像的特征点进行特征点立体匹配与跟踪，得到前后帧左图像的特征点的跟踪匹配信息；对t时刻双目摄像机对当前场景采集到的右图像的特征点和t+1时刻双目摄像机对当前场景采集到的右图像的特征点进行特征点立体匹配与跟踪，得到前后帧右图像的特征点的跟踪匹配信息；步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点在当前摄像机坐标系下的三维信息和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息；步骤6，根据步骤5得到的t时刻当前场景特征点在当前摄像机坐标系下的三维信息和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息，以及步骤4得本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的里程计运动估计方法，其特征在于：所述方法具体过程为：步骤1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；步骤2，对步骤1采集到的图像进行预处理：对步骤1采集到的图像进行失真处理；步骤3，采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取；步骤4，对提取到的特征点进行匹配，过程为：对t时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t+1时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t时刻双目摄像机对当前场景采集到的左图像的特征点和t+1时刻双目摄像机对当前场景采集到的左图像的特征点进行特征点立体匹配与跟踪，得到前后帧左图像的特征点的跟踪匹配信息；对t时刻双目摄像机对当前场景采集到的右图像的特征点和t+1时刻双目摄像机对当前场景采集到的右图像的特征点进行特征点立体匹配与跟踪，得到前后帧右图像的特征点的跟踪匹配信息；步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；步骤6，根据步骤5得到的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息，以及步骤4得到的前后帧特征点的跟踪匹配信息，获取成功匹配的t时刻当前场景特征点的三维信息PP和t+1时刻当前场景特征点的三维信息PC；步骤7，将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计。...

【技术特征摘要】
1.一种基于双目视觉的里程计运动估计方法，其特征在于：所述方法具体过程为：步骤1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；步骤2，对步骤1采集到的图像进行预处理：对步骤1采集到的图像进行失真处理；步骤3，采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取；步骤4，对提取到的特征点进行匹配，过程为：对t时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t+1时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；对t时刻双目摄像机对当前场景采集到的左图像的特征点和t+1时刻双目摄像机对当前场景采集到的左图像的特征点进行特征点立体匹配与跟踪，得到前后帧左图像的特征点的跟踪匹配信息；对t时刻双目摄像机对当前场景采集到的右图像的特征点和t+1时刻双目摄像机对当前场景采集到的右图像的特征点进行特征点立体匹配与跟踪，得到前后帧右图像的特征点的跟踪匹配信息；步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；步骤6，根据步骤5得到的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息，以及步骤4得到的前后帧特征点的跟踪匹配信息，获取成功匹配的t时刻当前场景特征点的三维信息PP和t+1时刻当前场景特征点的三维信息PC；步骤7，将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计。2.根据权利要求1所述一种基于双目视觉的里程计运动估计方法，其特征在于：所述步骤3具体过程为：采用Harris角点检测的方法分别对步骤2预处理后的左右图像提取特征点。3.根据权利要求1或2所述一种基于双目视觉的里程计运动估计方法，其特征在于：所述步骤7中将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计；具体过程为：步骤7-1.采用RAN...

【专利技术属性】
技术研发人员：白成超，郭继峰，郑红星，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23