基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统技术方案

本发明专利技术提供了一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统，包括：原图像通过常速运动模型进行运动预测，预测目前相机的位姿，得到新图像，并对原图像进行特征点选取；根据提取的特征点，通过光流法对原图像与新图像进行特征匹配，得到相同一点在两个图像中的匹配关系；利用单应性矩阵和/或基础矩阵进行异常匹配点对剔除，再使用PnP算法和从历史关键帧中获取的深度信息计算出当前相机的位姿；计算整体所有梯度点的像素误差，根据得到的当前相机的位姿通过高斯牛顿下降法进行优化光度误差，最终得到优化好的相机精准位置姿态；通过本发明专利技术可以有效增强在相机旋转的时候的特征点跟踪效果，使得系统整体更加鲁棒。

Method and system of virtual wide view visual odometer based on feature point matching

【技术实现步骤摘要】
基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统
本专利技术涉及计算机视觉
和视觉同步定位和地图构建(SLAM)领域，具体地，涉及一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统，更为具体地，涉及鲁棒的基于特征点辅助匹配的虚拟宽视角视觉里程计方法、系统及存储介质，可应用于移动机器人的位姿估算和自主导航，也可用于移动终端的增强现实应用以及虚拟现实应用。
技术介绍
目前自主机器人在复杂环境下(如室内、丛林里、洞穴等等)的导航是极其困难的，特别是是在机器人高速运动和周围环境变化的情况下(光线变化、物体移动等)。在这种情况下一般的视觉里程计很容易由于环境的突变而中断，使用特征点匹配方式的视觉里程计对纹理信息要求较高，一旦进入走廊、楼梯一类的无丰富纹理环境，该类视觉里程计就会失去工作能力，而另外一种直接使用像素灰度之进行匹配的直接法视觉里程计则对光照要求较高，并且这类视觉里程计一旦中断掉一次，由于没有特征匹配，很难恢复到中断前的状态，同时基于全景相机的直接视觉里程计系统能够克服旋转丢失的问题。受特征点匹配和全景相机的特点启发，我们提出了针对普通相机的基于特征点匹配辅助的虚拟宽视角视觉里程计算法。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统。根据本专利技术提供的一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，包括：运动预测步骤：原图像通过常速运动模型进行运动预测，预测目前相机的位姿，得到新图像，并对原图像进行特征点选取；特征匹配步骤：根据运动预测步骤提取的特征点，通过光流法对原图像与新图像进行特征匹配，得到相同一点在两个图像中的匹配关系；粗糙位姿估算步骤：在完成特征匹配步骤之后，利用单应性矩阵和/或基础矩阵进行异常匹配点对剔除，再使用PnP算法和从历史关键帧中获取的深度信息计算出当前相机的位姿；优化光度误差步骤：计算整体所有梯度点的像素误差，根据得到的当前相机的位姿通过高斯牛顿下降法进行优化光度误差，最终得到优化好的相机精准位置姿态；所述常速运动模型是将相机的运动在预设时间内作匀速运动，预测相机在下个时刻的位置；所述历史关键帧深度信息包括：计算过程中保存下来的对计算有价值的图像帧相应的包括位置、姿态、对应三维点云的深度的信息；所述梯度点指在图像中像素点位置梯度大，梯度点和周围有明显的区别。优选地，所述运动预测步骤中特征点选取包括：将原图像进行降采样到预设值大小，再利用Harris角点算法，提取整个原图像存在角点并保留。优选地，所述特征匹配步骤包括：根据运动预测步骤提取的特征点和历史关键帧中获取的深度信息推导出降采样原图像上的角点在新图像的粗糙起始位置，再利用光流法计算出降采样图像上的角点在新图像的准确位置，完成角点匹配。优选地，所述粗糙位姿估算步骤中PnP算法包括：根据几何投影关系，在已知空间三维特征梯度点的坐标和对应在图像上的二维坐标情况下，计算出拍摄新图像的相机位置和姿态的算法；所述计算对应空间三维点坐标包括：关键帧的确定步骤：对每一帧图像计算每个像素点的梯度信息，并在预设范围内，保留梯度最大并且大于预设阈值的点，再使用随机采样保留需要的梯度点数目；确定梯度点数目后，通过计算当前相机相对上一个关键帧的包括视角、位移、光度误差，并将视角、位移、光度误差加权求和，当结果大于预设阈值时，将当前的图像帧设为关键帧并保留；深度信息中间帧计算步骤：利用历史关键帧的信息计算深度信息值，将历史关键帧中的已知深度的点投影到最近一次保留的关键帧的最后一帧关键帧上，并根据保留的梯度点的梯度信息赋予梯度点对深度的权重，生成一个深度信息中间帧；虚拟宽视觉帧的计算步骤：将计算得到的深度信息中间帧扩展视角，使得有更多的历史帧的点能够投影到中间帧上，得到历史关键帧；对应空间三维梯度点坐标计算步骤：根据历史关键帧的深度信息和历史关键帧对应相机的位置姿态计算对应空间三维梯度点坐标；所述中间帧扩展视角包括根据预设比例参数调整获取到的历史关键帧信息范围。优选地，所述优化光度误差步骤包括：将保留的历史关键帧和保留的梯度点信息，根据光度误差作为误差函数，利用粗糙位姿估算步骤中计算的当前相机的位姿作为初始解，建立最优化问题，并利用迭代高斯牛顿算法求解最优化问题，实时计算出最终的相机位姿和梯度点深度；所述光度误差作为误差函数是推算相机和图像的光度变换参数，使得优化过后的像素亮度值能够满足恒定的条件。根据本专利技术提供的一种基于特征点辅助匹配的虚拟宽视角视觉里程计系统，包括：运动预测模块：原图像通过常速运动模型进行运动预测，预测目前相机的位姿，得到新图像，并对原图像进行特征点选取；特征匹配模块：根据运动预测模块提取的特征点，通过光流法对原图像与新图像进行特征匹配，得到相同一点在两个图像中的匹配关系；粗糙位姿估算模块：在完成特征匹配模块之后，利用单应性矩阵和/或基础矩阵进行异常匹配点对剔除，再使用PnP算法和从历史关键帧中获取的深度信息计算出当前相机的位姿；优化光度误差模块：计算整体所有梯度点的像素误差，根据得到的当前相机的位姿通过高斯牛顿下降法进行优化光度误差，最终得到优化好的相机精准位置姿态；所述常速运动模型是将相机的运动在预设时间内作匀速运动，预测相机在下个时刻的位置；所述历史关键帧深度信息包括：计算过程中保存下来的对计算有价值的图像帧相应的包括位置、姿态、对应三维点云的深度的信息所述梯度点指在图像中像素点位置梯度大，梯度点和周围有明显的区别。优选地，所述运动预测模块中特征点选取包括：将原图像进行降采样到预设值大小，再利用Harris角点算法，提取整个原图像存在角点并保留。优选地，所述特征匹配模块包括：根据运动预测模块提取的特征点和历史关键帧中获取的深度信息推导出降采样原图像上的角点在新图像的粗糙起始位置，再利用光流法计算出降采样图像上的角点在新图像的准确位置，完成角点匹配。优选地，所述粗糙位姿估算模块中PnP算法包括：根据几何投影关系，在已知空间三维特征梯度点的坐标和对应在图像上的二维坐标情况下，计算出拍摄新图像的相机位置和姿态的算法；所述计算对应空间三维点坐标包括：关键帧的确定模块：对每一帧图像计算每个像素点的梯度信息，并在预设范围内，保留梯度最大并且大于预设阈值的点，再使用随机采样保留需要的梯度点数目；确定梯度点数目后，通过计算当前相机相对上一个关键帧的包括视角、位移、光度误差，并将视角、位移、光度误差加权求和，当结果大于预设阈值时，将当前的图像帧设为关键帧并保留；深度信息中间帧计算模块：利用历史关键帧的信息计算深度信息值，将历史关键帧中的已知深度的点投影到最近一次保留的关键帧的最后一帧关键帧上，并根据保留的梯度点的梯度信息赋予梯度点对深度的权重，生成一个深度信息中间帧；虚拟宽视觉帧的计算模块：将计算得到的深度信息中间帧扩展视角，使得有更多本文档来自技高网...

【技术保护点】
1.一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，包括：/n运动预测步骤：原图像通过常速运动模型进行运动预测，预测目前相机的位姿，得到新图像，并对原图像进行特征点选取；/n特征匹配步骤：根据运动预测步骤提取的特征点，通过光流法对原图像与新图像进行特征匹配，得到相同一点在两个图像中的匹配关系；/n粗糙位姿估算步骤：在完成特征匹配步骤之后，利用单应性矩阵和/或基础矩阵进行异常匹配点对剔除，再使用PnP算法和从历史关键帧中获取的深度信息计算出当前相机的位姿；/n优化光度误差步骤：计算整体所有梯度点的像素误差，根据得到的当前相机的位姿通过高斯牛顿下降法进行优化光度误差，最终得到优化好的相机精准位置姿态；/n所述常速运动模型是将相机的运动在预设时间内作匀速运动，预测相机在下个时刻的位置；/n所述历史关键帧深度信息包括：计算过程中保存下来的对计算有价值的图像帧相应的包括位置、姿态、对应三维点云的深度的信息。/n

【技术特征摘要】
1.一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，包括：
运动预测步骤：原图像通过常速运动模型进行运动预测，预测目前相机的位姿，得到新图像，并对原图像进行特征点选取；
特征匹配步骤：根据运动预测步骤提取的特征点，通过光流法对原图像与新图像进行特征匹配，得到相同一点在两个图像中的匹配关系；
粗糙位姿估算步骤：在完成特征匹配步骤之后，利用单应性矩阵和/或基础矩阵进行异常匹配点对剔除，再使用PnP算法和从历史关键帧中获取的深度信息计算出当前相机的位姿；
优化光度误差步骤：计算整体所有梯度点的像素误差，根据得到的当前相机的位姿通过高斯牛顿下降法进行优化光度误差，最终得到优化好的相机精准位置姿态；
所述常速运动模型是将相机的运动在预设时间内作匀速运动，预测相机在下个时刻的位置；
所述历史关键帧深度信息包括：计算过程中保存下来的对计算有价值的图像帧相应的包括位置、姿态、对应三维点云的深度的信息。


2.根据权利要求1所述的一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，所述运动预测步骤中特征点选取包括：将原图像进行降采样到预设值大小，再利用Harris角点算法，提取整个原图像存在角点并保留。


3.根据权利要求1所述的一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，所述特征匹配步骤包括：根据运动预测步骤提取的特征点和历史关键帧中获取的深度信息推导出降采样原图像上的角点在新图像的粗糙起始位置，再利用光流法计算出降采样图像上的角点在新图像的准确位置，完成角点匹配。


4.根据权利要求1所述的一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，所述粗糙位姿估算步骤中PnP算法包括：根据几何投影关系，在已知空间三维特征梯度点的坐标和对应在图像上的二维坐标情况下，计算出拍摄新图像的相机位置和姿态的算法；
所述计算对应空间三维点坐标包括：
关键帧的确定步骤：对每一帧图像计算每个像素点的梯度信息，并在预设范围内，保留梯度最大并且大于预设阈值的点，再使用随机采样保留需要的梯度点数目；确定梯度点数目后，通过计算当前相机相对上一个关键帧的包括视角、位移、光度误差，并将视角、位移、光度误差加权求和，当结果大于预设阈值时，将当前的图像帧设为关键帧并保留；
深度信息中间帧计算步骤：利用历史关键帧的信息计算深度信息值，将历史关键帧中的已知深度的点投影到最近一次保留的关键帧的最后一帧关键帧上，并根据保留的梯度点的梯度信息赋予梯度点对深度的权重，生成一个深度信息中间帧；
虚拟宽视觉帧的计算步骤：将计算得到的深度信息中间帧扩展视角，使得有更多的历史帧的点能够投影到中间帧上，得到历史关键帧；
对应空间三维梯度点坐标计算步骤：根据历史关键帧的深度信息和历史关键帧对应相机的位置姿态计算对应空间三维梯度点坐标；
所述中间帧扩展视角包括根据预设比例参数调整获取到的历史关键帧信息范围。


5.根据权利要求1所述的一种基于特征点辅助匹配的虚拟宽视角视觉里程计方法，其特征在于，所述优化光度误差步骤包括：将保留的历史关键帧和保留的梯度点信息，根据光度误差作为误差函数，利用粗糙位姿估算步骤中计算的当前相机的位姿作为初始解，建立最优化问题，并利用迭代高斯牛顿算法求解最优化问题，实时计算出最终的相机位姿和梯度点深度；
所述光度误差作为误差函数是推算相机和图像的光度变换参数，使得优化过后的像素亮度值能够满足恒定的条件。

【专利技术属性】
技术研发人员：缪瑞航，应忍冬，刘佩林，龚正，薛午阳，赵忆漠，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31