一种基于视觉测量的实时SLAM方法技术

本发明专利技术提供了一种基于视觉测量的实时SLAM方法，尤其提供了一种能够增强多环境下摄像跟踪性能的基于视觉测量的实时SLAM方法，属于移动机器人同步定位与地图创建(SLAM)领域。该方法在现有的小型GPU基础上，结合ICP和FOVIS实现RGB-D视觉测量方法，通过采用改进型的RGB-D摄像机位置追踪系统，产生高质量的密集的彩色地图，进而生成高质量的彩色表面模型，并具有鲁棒性；本发明专利技术能够在不使用关键帧的情况下，完成实时的彩色表面模型重建；同时，能够提升处理的速度，可以在具有挑战性的环境下进行跟踪，而且能够低延迟地实时执行，尤其在室内条件下，效果很好。

【技术实现步骤摘要】

本专利技术涉及一种同步定位与地图创建(SLAM，simultaneouslocalizationandmapping)方法，尤其涉及一种能增强多环境下摄像跟踪性能的基于视觉测量的实时SLAM方法。
技术介绍
随着技术的进步和硬件价格的下降，密度方法越来越普及，密集绘图和SLAM的应用越来越广泛。传统的Kinec融合算法，是最早的系统之一，重建了实时场景，有了很高的准确性。虽然体积表示对于计划任务量是一个有用的指标，但是这个算法还是有很多的局限性。而且这个算法的一个显著特征就是仅仅在摄像动作跟踪方面就利用了深层次的信息。这种评级算法，在以下场景容易出现错误：照相机偏移较大或者缺乏3D深层次信息。比如，在朝向一面墙或者在没有3D特征的情况下，摄像跟踪的性能会比较差。
技术实现思路
本专利技术的目的在于针对上述技术存在的缺陷，提出了一种能够增强多环境下摄像跟踪性能的基于视觉测量的实时SLAM方法，该方法在现有的小型GPU基础上，结合ICP和FOVIS实现RGB-D视觉测量方法，通过采用改进型的RGB-D摄像机位置追踪系统，产生高质量的密集的彩色地图，进而生成高质量的彩色表面模型，并具有鲁棒性；本专利技术能够在不使用关键帧的情况下，完成实时的彩色表面模型重建；同时，能够提升处理的速度，可以在具有挑战性的环境下进行跟踪，而且能够低延迟地实时执行，尤其在室内条件下，效果很好。本专利技术是通过如下技术方案实现的，一种基于视觉测量的实时SLAM方法，其特征在于：该方法包括以下步骤：步骤1：实现CUDA：CUDA为一种并行计算相机变换框架；步骤1.1：图像预处理：在GPU上，对给定的RGB图和深度图的序列，进行预处理，获得连续的RGB深度图对；步骤1.2：图像的预计算：在现有的开源的OpenCVCPU应用的基础上，只选择灰度图中具有最小梯度的对应点集进行优化；步骤1.3：迭代的转化估计：首先采用步骤1.2中预计算所得出的有最小梯度的对应点集来迭代填充有效的对应点集，所述有效的对应点集初始为空，逐渐增加；然后求解增量变换和连接这些变换的线性系统，这两个步骤循环进行，通过迭代和逐步求解，得到优化后的转化估计；步骤2：视觉测量估计：整合了FOVIS视觉测量系统、RGB-D和ICP系统视觉测量方法；步骤2.1：FOVIS系统：对于满足一定条件的转化估计，使用FOVIS和基于错误测量的估计量之间进行动态切换的方式，即FOVIS切换；对于不支持平移的组件，选择FOVIS估计量的方式；步骤2.2：RGB-D和ICP：为了在运动估计中，整合颜色信息和深度信息，需要寻找一个能最小化RGB-D和ICP代价和的运动参数；步骤3：颜色信息融合：在GPU内存中，使用一种和TSDF维度相同的独立的颜色域，来表示从第1帧到第n帧的颜色信息，表示为Cn(p)。其中p代表3D坐标，n代表帧数；由于存在表面信息域和颜色信息域的一一映射，我们可以根据原始的KinectFusion方法在表面点p处进行光线投影，从而找到p处的颜色信息；步骤4：伪颜色消除：边界的着色通常是不准确的，同时边界的深度也是不连续的。边缘的着色问题可以通过两种策略来解决：一是，不断更新深度不连续的表面；二是，利用相机角度来加权颜色更新，完成实时彩色表面模型的重建。所述的步骤1.1中RGB深度图对的计算过程为：针对每一副深度图，首先把原始的传感器值转换为度量深度图，然后定义一个灰度图，构建一个高斯内核来进行降采样，得到一个四层的灰度和深度金字塔，最后，计算给定的RGB图和深度图对的偏导数。所述的步骤2.1中FOVIS切换的条件为：假设一个估计量有一个增量的转化矩阵T，其中TF是FOVIS相机转换矩阵，TO是估计的相机转换矩阵，如果|||tF||2-||tO||2|＞μ，就使用TF作为估计的增量转化，否则使用TO，然后使用该转化来计算相机位置。本专利技术有益效果是：1、本专利技术提供的基于实时测量的SLAM方法是在现有的小型GPU基础上，结合ICP和FOVIS实现RGB-D视觉测量方法，该测量方法采用改进型的RGB-D摄像机位置追踪系统，产生高质量的密集的彩色地图，进而生成高质量的彩色表面模型，并具有鲁棒性。2、本专利技术提出了对现有RGB-D的视觉测量算法的GPU实现，能够提升处理的速度，可以在具有挑战性的环境下进行跟踪，而且能够低延迟地实时执行，尤其在室内条件下，效果很好。3、本专利技术不同于KinectFusion算法，使用了多种深度信息来进行相机运动跟踪。并且通过在KinectFusion算法的基础上，加入相机位置估计，克服了传统视觉估计算法在帧之间的相机位移很大或是在不能捕捉到3D深度特征(遇到墙面)的情况下容易出现错误的问题。附图说明图1是本专利技术所述方法的流程图。具体实施方式下面结合附图对本专利技术做进一步说明。一种基于视觉测量的实时SLAM方法，该方法包括以下步骤：如附图1所示，步骤1：实现CUDA：CUDA为一种求解相机变换的并行计算框架，CUDA需要对给定的两个连续的RGB深度图对和计算能够最大化这两个对间一致性的相机变换，本专利技术选择一种四层金字塔的模式来迭代求解相机变换。步骤1.1：图像预处理：在GPU上，对给定的RGB图和深度图的序列，进行预处理，获得连续的RGB深度图对；RGB深度图对的计算过程为：针对每一幅深度图，首先把原始的传感器值转换为度量深度图M，因为CUDA应用中，只使用了彩色图像的灰度值，然后定义了灰度图I，构建一个5*5的高斯内核来进行降采样，得到一个四层的灰度和深度金字塔；一个GPU线程处理一个像素；最后，对于RGB图和深度图对[In+1,Mn+1]计算偏导数和步骤1.2：图像的预计算：在现有的开源的OpenCVCPU应用的基础上，只选择灰度图中具有最小梯度的对应点集进行优化；在OpenCV版本中，这种选择用一种二值模板来实现；本专利技术实现了这种优化算法，而且在模板上面加上了有意义的点。步骤1.3：迭代的转化估计：首先用步骤1.2中预计算所得出的有最小梯度的对应点集来迭代填充有效的对应点集，该有效的对应点集初始为空，逐渐增加；然后求解增量变换和连接这些变换的线性系统，这两个步骤循环进行；对于帧n而言，设相机转化矩阵Tn为Tn=Rntn0001,]]>其中Rn代表一个3*3的旋转矩阵，tn代表一个3*1的平移向量；在进行迭代之前，计算Tn到图像上的投影，和利用求得的投影关系，可以进行对应点的填充，进而求得优化的相机转化估计其中其中[ω]×是斜对称矩阵，[ω]×代表一个3*3的旋转矩阵，u代表一个3*1的平移向量；通过迭代和逐步求解，可以得到优化后的转化估计。步骤2：测量估计：本专利技术整合了两种系统：(i)基于ICP和RGB-D位置估计系统的FOVIS视觉测量系统和(ii)综合了KinectFusion的原始的ICP估计算子和Steinbruecker的RGB-D的视觉测量系统。步骤2.1：FOVIS系统：本专利技术选择了一种策略，能够使我们能够根据某些错误测量，在FOVIS和别的估计量之间进行动态切换。考虑到缺乏3D特征，ICP估计量会在走廊和其他平面区域进行滑动，因此，本专利技术选择了一种保守的切换策略：如果估计不出平移，就选择FOVIS估计量，因为FOVIS估计量很少会像ICP估计量本文档来自技高网...

【技术保护点】
一种基于视觉测量的实时SLAM方法，其特征在于，该方法包括以下步骤：步骤1：实现CUDA：CUDA为一种求解相机变换的并行计算框架；步骤1.1：图像预处理：在GPU上，对给定的RGB图和深度图的序列，进行预处理，获得连续的RGB深度图对；步骤1.2：图像的预计算：在现有开源的OpenCV CPU应用的基础上，只选择灰度图中具有最小梯度的对应点集进行优化；步骤1.3：迭代的转化估计：首先采用步骤1.2中预计算所得出的有最小梯度的对应点集来迭代填充有效的对应点集，所述有效的对应点集初始为空，逐渐增加；然后求解增量变换和连接这些变换的线性系统，这两个步骤循环进行，通过迭代和逐步求解，得到优化后的转化估计；步骤2：视觉测量估计：整合了FOVIS视觉测量系统、RGB‑D和ICP系统视觉测量方法；步骤2.1：FOVIS系统：对于满足一定条件的转化估计，使用FOVIS和基于错误测量的估计量之间进行动态切换的方式，即FOVIS切换；对于不支持平移的组件，选择FOVIS估计量的方式；步骤2.2：RGB‑D和ICP：为了在运动估计中，整合颜色信息和深度信息，需要寻找一个能最小化RGB‑D和ICP代价和的运动参数；步骤3：颜色信息融合：在GPU内存中，使用一种和TSDF维度相同的独立的颜色域，来表示从第1帧到第n帧的颜色信息，表示为Cn(p)，其中p代表3D坐标，n代表帧数；由于存在表面信息域和颜色信息域的一一映射，根据原始的KinectFusion方法在表面点p处进行光线投影，从而找到p处的颜色信息；步骤4：伪颜色消除：边界的着色通常是不准确的，同时边界的深度也是不连续的，边缘的着色问题可以通过两种策略来解决：一是，不断更新深度不连续的表面；二是，利用相机角度来加权颜色更新，完成实时彩色表面模型的重建。...

【技术特征摘要】
1.一种基于视觉测量的实时SLAM方法，其特征在于，该方法包括以下步骤：步骤1：实现CUDA：CUDA为一种求解相机变换的并行计算框架；步骤1.1：图像预处理：在GPU上，对给定的RGB图和深度图的序列，进行预处理，获得连续的RGB深度图对；步骤1.2：图像的预计算：在现有开源的OpenCVCPU应用的基础上，只选择灰度图中具有最小梯度的对应点集进行优化；步骤1.3：迭代的转化估计：首先采用步骤1.2中预计算所得出的有最小梯度的对应点集来迭代填充有效的对应点集，所述有效的对应点集初始为空，逐渐增加；然后求解增量变换和连接这些变换的线性系统，这两个步骤循环进行，通过迭代和逐步求解，得到优化后的转化估计；步骤2：视觉测量估计：整合了FOVIS视觉测量系统、RGB-D和ICP系统视觉测量方法；步骤2.1：FOVIS系统：对于满足一定条件的转化估计，使用FOVIS和基于错误测量的估计量之间进行动态切换的方式，即FOVIS切换；对于不支持平移的组件，选择FOVIS估计量的方式；步骤2.2：RGB-D和ICP：为了在运动估计中，整合颜色信息和深度信息，需要寻找一个能最小化RGB-D和ICP代价和的运动参数；步骤3：颜色信息融合：在GPU内存中，使用一种和TSDF...

【专利技术属性】
技术研发人员：廖鸿宇，孙放，
申请(专利权)人：北京雷动云合智能技术有限公司，
类型：发明
国别省市：北京;11