一种深度相机的位姿估计方法及系统技术方案

本发明专利技术公开了一种深度相机的位姿估计方法及系统，通过对获取的视频帧图像和深度图像进行处理，即提取视频帧图像的点特征和线特征，再运用深度图生成的点云提取平面和圆柱面特征信息，最后通过点线面综合特征的匹配求解并优化位姿。该方法能够更加充分利用彩色图与深度图的信息，克服纹理稀疏或缺失场景中跟踪状态表现不佳的问题，并提供更为直观的几何结构信息。可用于在室内、外环境的机器人定位与姿态估计。

【技术实现步骤摘要】
一种深度相机的位姿估计方法及系统
本专利技术涉及图像处理
，特别是涉及一种深度相机的位姿估计方法及系统。
技术介绍
同时定位与地图构建(simultaneouslocalizationandmapping,SLAM)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。其主要思想是：一方面，依靠已创建的地图信息进行自定位；另一方面，根据定位结果对地图进行更新。在SLMN技术中通常采用深度相机(RGB-D)进行信息采集，V-SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位，并同时构建环境地图，其基本原理为多视图几何原理。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数，以及场景三维结构；其中每个相机运动参数包含了相机的位置和朝向信息。由于基于特征的V-SLAM需要进行图像特征的匹配，因此其稳定性严重依赖于场景特征的丰富程度。当场景中纹理信息缺失时或相机快速运动导致图像模糊时，点特征的数量往往较少，影响了位姿估计的精度，进而影响其图像处理过程。
技术实现思路
针对于上述问题，本专利技术提供一种深度相机的位姿估计方法及系统，能够解决纹理稀疏或者缺失场景中位姿估计不准确的问题。为了实现上述目的，本专利技术提供了如下技术方案：一种深度相机的位姿估计方法，包括：获取视频帧图像和深度图；将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；根据所述深度图生成3D点云；在所述3D点云提取平面和圆柱面对应的特征信息；根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。可选地，所述将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征，包括：将所述视频帧图像转换为灰度图像序列；对所述灰度图像进行ORB特征点检测，获得点特征；对所述灰度图像进行LBD检测，获得线特征。可选地，所述根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线，包括：获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。可选地，所述在所述3D点云提取平面和圆柱面对应的特征信息，包括：在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；根据所述法向量建立直方图，在所述直方图中确定种子点；根据所述种子点进行区域增长，得到平面段和圆柱面；对所述平面段进行合并，得到平面。可选地，所述根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面，包括：分别获取连续两帧的平面和圆柱面；若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，且两个圆柱面之间的重叠区域与所述两个圆柱面中最小圆柱面之间的比值大于第八阈值。可选地，所述依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果，包括：根据当前帧的深度相机的位姿作为待优化的状态变量构建图模型，通过目标代价函数的解值对所述图模型进行优化，得到深度相机的位姿估计结果；其中，所述目标代价函数为根据所述目标点、目标线、目标平面和目标圆柱面对应的特征数据构建的。一种深度相机的位姿估计系统，包括：图像获取单元，用于获取视频帧图像和深度图；第一提取单元，用于将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；第一匹配单元，用于根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；点云生成单元，用于根据所述深度图生成3D点云；第二提取单元，用于在所述3D点云提取平面和圆柱面对应的特征信息；第二匹配单元，用于根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；估计单元，用于依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。可选地，所述第一提取单元包括：转换子单元，用于将所述视频帧图像转换为灰度图像序列；第一检测子单元，用于对所述灰度图像进行ORB特征点检测，获得点特征；第二检测子单元，用于对所述灰度图像进行LBD检测，获得线特征。可选地，所述第一匹配单元包括：第一计算子单元，用于获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；第一判断子单元，用于若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；第二判断子单元，用于获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；第三判断子单元，用于如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。可选地，所述第二提取单元包括：评估子单元，用于在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；分类子单元，用于根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；直方图建立子单元，用于根据所述法向量建立直方图，在所述直方图中确定种子点；区域增长子单元，用于根据所述种子点进行区域增长，得到平面段和圆柱面；合并子单元本文档来自技高网...

【技术保护点】
1.一种深度相机的位姿估计方法，其特征在于，包括：/n获取视频帧图像和深度图；/n将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；/n根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；/n根据所述深度图生成3D点云；/n在所述3D点云提取平面和圆柱面对应的特征信息；/n根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；/n依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。/n

【技术特征摘要】
1.一种深度相机的位姿估计方法，其特征在于，包括：
获取视频帧图像和深度图；
将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；
根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；
根据所述深度图生成3D点云；
在所述3D点云提取平面和圆柱面对应的特征信息；
根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；
依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。


2.根据权利要求1所述的方法，其特征在于，所述将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征，包括：
将所述视频帧图像转换为灰度图像序列；
对所述灰度图像进行ORB特征点检测，获得点特征；
对所述灰度图像进行LBD检测，获得线特征。


3.根据权利要求1所述的方法，其特征在于，所述根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线，包括：
获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；
若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；
获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；
如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。


4.根据权利要求1所述的方法，其特征在于，所述在所述3D点云提取平面和圆柱面对应的特征信息，包括：
在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；
根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；
根据所述法向量建立直方图，在所述直方图中确定种子点；
根据所述种子点进行区域增长，得到平面段和圆柱面；
对所述平面段进行合并，得到平面。


5.根据权利要求3所述的方法，其特征在于，所述根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面，包括：
分别获取连续两帧的平面和圆柱面；
若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；
若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，...

【专利技术属性】
技术研发人员：耿志远，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11