本发明专利技术公开了一种融合RGB和Depth信息的视觉里程计的实现方法。现有的视觉里程计方法都是基于单目和双目相机，只能得到环境的RGB信息，无法直接获取环境的三维信息，其适用的环境受到限制，且精度不高。基于RGB图像匹配的定位方法具有技术成熟、处理速度快的特点；基于Depth图像匹配的定位方法具有对环境变化鲁棒的特点。本发明专利技术结合两者优点，利用RGB‑D传感器同时获取场景的RGB和Depth信息，提出了一种融合RGB和Depth信息的视觉里程计的实现方法。本发明专利技术合理利用2D/3D两种模态的信息，突破视觉系统对光照条件的依赖，大大提高了里程计系统的精确性、鲁棒性和实用性，拓宽移动机器人的应用时间和空间。
【技术实现步骤摘要】
本专利技术属于移动机器人自主导航与定位领域，特别是涉及一种融合RGB和Depth信息的视觉里程计实现方法。
技术介绍
里程计在机器人导航定位过程中有着至关重要的作用。视觉里程计是一种依靠视觉信息测算机器人运动距离和方向的方法，解决了驱动轮空转或打滑造成的累积误差以及惯导漂移造成的测量错误，依靠视觉输入信息，信息量大、结构简单、功耗小，无需场景及运动的先验信息，是传统方法的有效补充。目前，视觉里程计主要依靠单目或双目相机得到的图像序列，通过特征提取、特征匹配与跟踪和运动估计得出机器人的运动参数。单目视觉里程计是在假定路面平坦的情况下，通过标定得到路面上点的世界坐标与图像坐标之间的对应关系，然后将机器人运动前后得到的两帧图像中相同的点进行匹配，利用运动估计算法求得机器人运动参数。单目视觉里程计最大的局限在于只能处理位于一个平面上的场景点，无法精确得到场景的三维信息，因此当路面存在起伏或凸出的部分时算法会失效。双目视觉里程计，又叫立体视觉里程计。通过配置多个相机，系统用三角测量的方法获得视野的景深信息，从而直接获得图像特征点对应的世界三维坐标。但是双目视觉里程计的设备结构复杂，安装不便，图像处理工作量大，价格昂贵。单目和双目视觉里程计都是通过相机的标定，用三角测量法间接得到环境的三维信息，很难满足精度要求；且2D视觉传感器获得的环境颜色、纹理等信息易受到光照、天气、气候、季节等条件变化的影响，具有一定的局限性。下面所述的专利文献1公开了基于RGB-D相机的视觉里程计方法。在该文献中示出了以下方法：RGB-D相机通过USB接口或(1394接口)与电脑主机相连，依靠RGB-D相机得到的对齐RGB-D图像序列，通过前后帧图像的特征提取、特征匹配与跟踪和运动估计得出车体的运动距离和方向。专利文献1：中国专利“基于RGB-D相机的视觉里程计方法”，专利号201210151424.9。通过采用上述的构成，可以获取精确的场景三维信息，运动估计结果精确可靠，但是当获取的RGB图像质量不高，存在色偏、模糊度或亮度异常时，其方法对图像的特征提取不准确，甚至提取不到特征点，从而影响特征匹配与运动估计的结果。
技术实现思路
本专利技术鉴于上述问题而提出，目的在于提供一种融合RGB和Depth信息的视觉里程计的 实现方法，将2D和3D图像匹配方法进行融合，用于解决现有视觉里程计存在的局限性问题。本专利技术采用的技术方案步骤如下：1)以时间T为周期，利用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth图像；2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像将Depth图像转换为三维pcd格式的点云图像3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0。4)根据步骤3)中的判断结果，对2D/3D两种模态的配准方法进行选择。若β＝1，则利用RGB图像进行特征点提取和描述，并使用随机采样一致性算法进行粗配准；若β＝0，则首先对点云图像进行多分辨率降采样来提高点云处理速度，然后进行特征点提取和描述，并使用采样一致性初始配准算法进行粗配准；5)对步骤4)中得到的粗配准结果，使用迭代最近点算法进行进一步的精配准，得到更精确的配准结果，最终得到运动参数估计。由于上述技术方案的应用，本专利技术与现有技术相比具有下列优点：1)依靠视觉输入信息，不存在因编码器读数不准或惯导漂移等因素造成的误差；2)由于本专利技术根据不同需求选用不同的前后帧匹配算法和刚体运动估计方法，合理利用2D/3D这两种模态的信息，突破视觉系统对光照条件的依赖，能够大大提高里程计系统的鲁棒性和实用性，拓宽移动机器人的应用时间和空间；3)本专利技术可获取精确的场景三维信息，运动估计结果精确可靠。附图说明下面基于附图来详细描述本专利技术的实施方式，附图中：附图1是本专利技术的工作流程图。具体实施方式下面结合附图及实施例对本专利技术作进一步详述：如图1所示，一种融合RGB和Depth信息的视觉里程计的实现方法包括如下步骤：1)以时间T为周期，使用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth 图像；2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像将Depth图像转换为三维pcd格式的点云图像3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0；4)根据步骤3)中的判断结果，对2D/3D两种模态的配准方法进行选择。若β＝1，则利用RGB图像进行特征点提取和描述，并使用随机采样一致性算法进行粗配准；若β＝0，则首先对点云图像进行多分辨率降采样来提高点云处理速度，然后进行特征点提取和描述，并使用采样一致性初始配准算法进行粗配准；5)对步骤4)中得到的粗配准结果，使用迭代最近点算法进行进一步的精配准，得到更精确的配准结果，最终得到运动参数估计。以上所述步骤3)中，对RGB图像质量判断，包括如下步骤：1)亮度检测：把RGB图像转换到灰度图像，计算图像在灰度图上的均值和方差。若亮度正常，则亮度参数L＝1；2)色偏检测：将RGB图像转变到CIE L*a*b*空间，其中L*表示图像亮度，a*表示图像红/绿分量，b*表示图像黄/蓝分量。计算图像在a*和b*分量上的均值和方差。若无色偏，则色偏参数C＝1；3)模糊度检测：计算RGB图像的梯度信息。若图像清晰，则模糊度参数F＝1；4)若L＝1，C＝1，F＝1，则图像质量好，β＝1；否则图像质量差，β＝0。以上所述步骤4)中，若β＝1，则利用RGB图像进行粗配准，包括如下步骤：1)对RGB图像进行特征点提取和描述，得到特征点集以及特征点集对应的特征描述符2)对于特征点集中的每一个特征点从特征点集中找到 与特征点的特征描述符最相近的特征点。若特征点与特征点之间欧式距离小于阈值Thkey，则记录特征点与特征点为相匹配的一对特征点对，表示为 否则，特征点集中没有与特征点相匹配的特征点；3)将相匹配的所有特征点对从RGB图像中映射到点云图像中；4)对得到的特征点对集合使用随机采样一致性算法进行筛选，获得较优的用于确定运动参数的三维对应点，得到粗配准的旋转矩阵R和平移矩阵T。随机采样一致性算法步骤如下：对特征点对集合进行多次随机抽样，每次从中随机选取n对特征点对，根据这n对特征点对及其对应的估计刚体的运动参数的方法算出两帧图像间的运动参数，即旋转矩阵R和平移向量T，其中n为正整数；对于所有的特征点对，计算前帧图像中的特征点经过旋转矩阵R和平移向量T后的三维坐标：若该坐标与后帧图像中对应的特征点的欧氏距离小于阈值Thransac，则该特征点属于内样本点；若该坐标与后帧图像中对应的特征点的欧氏距离大于等于阈值Thransac，则该特征点属于外样本点；经过m次随机取样试验后，选择内点数目最多的那次随机取样试验，其中m为正整数；将该次取样试验所取的特征点对，作为最终筛选的用于确定运动参数的三维点对；将该次本文档来自技高网...
【技术保护点】
一种融合RGB和Depth信息的视觉里程计实现方法，其特征在于该方法包括的步骤为：1)以时间T为周期，使用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth图像；2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像将Depth图像转换为三维pcd格式的点云图像3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0。4)根据步骤3)中的判断结果，对2D/3D两种模态的配准方法进行选择。若β＝1，则利用RGB图像进行特征点提取和描述，并使用随机采样一致性算法进行粗配准；若β＝0，则首先对点云图像进行多分辨率降采样来提高点云处理速度，然后进行特征点提取和描述，并使用采样一致性初始配准算法进行粗配准；5)对步骤4)中得到的粗配准结果，使用迭代最近点算法进行进一步的精配准，得到更精确的配准结果，最终得到运动参数估计。
【技术特征摘要】
1.一种融合RGB和Depth信息的视觉里程计实现方法，其特征在于该方法包括的步骤为：1)以时间T为周期，使用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth图像；2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像将Depth图像转换为三维pcd格式的点云图像3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0。4)根据步骤3)中的判断结果，对2D/3D两种模态的配准方法进行选择。若β＝1，则利用RGB图像进行特征点提取和描述，并使用随机采样一致性算法进行粗配准；若β＝0，则首先对点云图像进行多分辨率降采样来提高点云处理速度，然后进行特征点提取和描述，并使用采样一致性初始配准算法进行粗配准；5)对步骤4)中得到的粗配准结果，使用迭代最近点算法进行进一步的精配准，得到更精确的配准结果，最终得到运动参数估计。2.根据权利要求1所述的一种融合RGB和Depth信息的视觉里程计实现方法，其特...
【专利技术属性】
技术研发人员：缪燕子，许红盛，金慧杰，金鑫，卜淑萍，李晓东，周笛，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。