特征融合的RGB-D相机运动估计方法技术

本发明专利技术公开了一种特征融合的RGB‑D相机运动估计方法。本发明专利技术首先在RGB图像中提取二维点和二维直线特征，根据D图像中的深度信息将二维特征反投影获取三维特征。然后，由RGB测量误差和深度测量误差构建三维点的误差，通过计算二维直线采样点的三维投影与所估计的三维直线的马氏距离来度量直线的不确定性。最后，融合相邻两帧的三维点和三维直线特征匹配对，利用不确定性信息，通过极大似然估计计算RGB‑D相机的运动。本发明专利技术融合了对光照变化不敏感的直线特征，合理构建系统的误差模型，提高了相机运动估计的鲁棒性和准确度。

【技术实现步骤摘要】
特征融合的RGB-D相机运动估计方法
本专利技术属于机器视觉
，具体涉及一种特征融合的RGB-D相机运动估计方法。
技术介绍
近些年来，随着图像处理技术的快速发展和各种视觉传感器的出现，基于视觉的移动机器人得到越来越多的关注。相比激光雷达、毫米波雷达等，视觉传感器可以获取更加丰富的环境信息，同时还能降低成本。视觉里程计(VisualOdometry，VO)是仅通过视觉传感器来估计相机或与其相连的本体(例如：汽车、人或移动机器人等)的运动过程。它是视觉同时定位与地图创建(VSLAM)的一个子问题，是移动机器人实现自主导航的核心问题。常用的视觉传感器，包括单目相机，双目相机，全景相机和RGB-D相机。RGB-D相机，如微软的Kinect、PrimerSense、华硕XtionPROLive、奥比中光等已经引起了极大的兴趣，不仅是因为它的重量轻、成本低，更为重要的是该类相机能同时提供颜色和深度信息。深度信息可以解决单目相机中的尺度问题。与双目相机相比，RGB-D相机的物理测量节省了大量的深度信息计算过程。目前，主流的相机运动估计方法大致分为特征点法(如SIFT、SURF、ORB等)和直接法。它们都对光照变化较为敏感，且特征点法易受到特征不均匀分布的影响，算法的鲁棒性较差，不能满足应用需求。
技术实现思路
本专利技术的目的是为了解决现有相机运动估计方法中易受光照影响和不均匀特征分布带来较大噪声的问题。提出一种基于点和线特征融合的鲁棒性RGB-D相机运动估计方法。为了实现上述技术目的，本专利技术的技术方案是，一种特征融合的RGB-D相机运动估计方法，包括以下步骤：步骤一，二维点和直线特征提取：在RGB图片上，分别用特征点检测算法和直线分割检测算法来提取二维特征点和二维特征直线；步骤二，特征反投影至三维并做不确定性分析：结合深度信息，利用针孔相机模型，将提取的二维特征点和二维特征直线反投影到三维，在高斯噪声分布的假设下，分别对三维点和三维直线进行不确定性分析；步骤三，特征匹配：对于点特征，计算特征点检测算法描述子并对连续两帧的点特征进行匹配；对于直线特征，计算其均值标准差描述子并进行匹配；然后用随机采样一致性算法去除误匹配；步骤四，相机运动的估计：利用不确定性信息，对相机运动做极大似然估计；通过列文伯格算法对问题的目标函数进行求解，得到相机的位姿。所述的一种特征融合的RGB-D相机运动估计方法，所述的步骤一包括以下步骤：对于一幅RGB图，通过特征点检测算法获得二维特征点，同时，通过直线分割检测算法获得二维特征直线，得到特征集合{pi,lj|i＝1,2,…,j＝1,2,…}，其中二维点pi＝[ui,vi]T，二维直线[ui,vi]T表示点pi的像素坐标，aj和bj为直线lj的两个端点。所述的一种特征融合的RGB-D相机运动估计方法，所述的步骤二包括以下步骤：步骤1，三维点特征与不确定性分析：将图像中的二维点p通过针孔相机模型，反投影到三维得到三维点P：其中(u,v)表示二维点p对应的像素坐标，d为二维点p对应的深度值，[cu,cv]T为相机的光圈中心，fc为焦距；以二维点p的噪声是均值为0，协方差为的高斯分布，二维点p的深度值d的噪声与测量值成二次函数关系，即δd＝c1d2+c2d+c3，常数系数c1、c2和c3通过实验获得，三维点的不确定性为：其中，噪声的协方差矩阵雅克比矩阵其中，I2是2维单位矩阵，δ为噪声方差；步骤2，三维直线特征和不确定性分析：将二维直线采样足够多个点，舍弃深度值异常的点，根据公式(1)计算剩余点的三维坐标；然后采用随机采样一致性算法耐去除由于深度噪声影响在二维直线反投影到三维之后出现的局外点，并得到拟合的三维直线方程；用L＝[AT,BT]T来表示对应的三维直线，其中AT,BT是三维直线上的两个三维点；通过计算这些二维采样点所对应的三维点与所估计的三维直线L的马氏距离来度量三维直线的不确定性；三维点P＝[x,y,z]T到三维直线L＝[AT,BT]T的马氏距离定义如下：其中，Q∈L是直线L上的一个任意点；有Q＝A+λ(B-A),则Q的优化估计Q*,定义δ(P-L)＝P-Q*(4)则三维点P到三维直线L的马氏距离为三维直线由一组经过随机采样一致性算法处理后的三维点{Pi,i＝1,…nL}构成，其中,P1和分别代表直线的两个端点，令三维直线的误差函数为于是三维直线L的极大似然估计L*等价于最小化下式：其中∑P和δ(P-L)分别由公式(2)和公式(4)计算得到；利用列文伯格算法求解公式(7)的非线性最小化问题，优化后的三维直线的不确定性为其中，所述的一种特征融合的RGB-D相机运动估计方法，所述的步骤三包括以下步骤：对于点特征，计算其SURF描述子，通过描述子之间的相似度来匹配相邻两帧图像的点特征；对于直线特征，计算均值标准化描述子，然后来进行匹配。所述的一种特征融合的RGB-D相机运动估计方法，所述的步骤四包括以下步骤：用T表示相邻两帧的运动转换，有T(X):＝RX+t，其中R为旋转矩阵，t为位移向量，取旋转矩阵和位移向量的非0项组成一个六维向量ξ；以作为相邻两帧F和F’的一组匹配后的三维点集，则是相邻两帧的三维直线特征匹配对；若三维点匹配对对应的真实物理点在前一帧的局部坐标下为Xi三维点，以三维直线匹配对对应的真实物理直线为Yj，那么，相机里程计系统中待优化的变量为定义系统的误差函数包括点特征的误差和直线特征的误差，即其中，点特征的误差为直线特征的误差为单个直线的误差为η(Li-Yi)＝[δ(Ai,Yi)T,δ(Bi,Yi)T]，且设定目标为找寻使相机里程计系统系统误差最小的变量Δ，即其中，Σf＝diag(ΣP,ΣL)，本专利技术利用列文伯格算法对上式(10)进行求解，得到相机运动的初始位姿；利用相机运动的初始位姿信息构建位姿图，SLAM后端利用位姿图，通过图优化的方法来优化相机的运动轨迹。所述的一种特征融合的RGB-D相机运动估计方法，所述的步骤2中，舍弃深度值异常的点是舍弃深度值为空值的点。本专利技术的技术效果在于：(1)直线特征对光照变化不敏感，本专利技术将点特征和线特征相结合，大大提高运动估计的鲁棒性。在室内环境下，直线特征尤其丰富，非常容易提取环境中的直线特征，降低了算法的复杂度。(2)本专利技术对三维点和三维直线进行不确定性分析，并利用不确定信息对相机运动做极大似然估计，通过优化得到相机位姿，为后端优化提供了有效合理的初始值。附图说明图1为为特征融合的RGB-D相机运动估计系统框图。图2为二维直线反投影到三维空间的示例图。图3为相机的位姿图。具体实施方式下面结合附图对本专利技术的实施方式作进一步的说明。本专利技术提出了一种基于点和线特征融合的RGB-D相机运动估计方法，整个系统框图如附图1所示，包括以下步骤：S1.二维特征提取：系统利用输入的RGB图分别提取二维点特征和二维直线特征。在本专利技术中，通过SURF即特征点检测算法获得一组二维点特征，同时，通过LSD(LineSegmentDetector)直线分割检测算法来获得二维直线特征。对于一幅RGB图，其特征集合{pi,lj|i＝1,2,…,j＝1,2,…}，其中二维点pi＝[ui,vi]T，二维直线[ui,vi]T表示点pi的像素坐标，aj和bj为直线本文档来自技高网...

【技术保护点】
一种特征融合的RGB‑D相机运动估计方法，其特征在于，包括以下步骤：步骤一，二维点和直线特征提取：在RGB图片上，分别用特征点检测算法和直线分割检测算法来提取二维特征点和二维特征直线；步骤二，特征反投影至三维并做不确定性分析：结合深度信息，利用针孔相机模型，将提取的二维特征点和二维特征直线反投影到三维，在高斯噪声分布的假设下，分别对三维点和三维直线进行不确定性分析；步骤三，特征匹配：对于点特征，计算特征点检测算法描述子并对连续两帧的点特征进行匹配；对于直线特征，计算其均值标准差描述子并进行匹配；然后用随机采样一致性算法去除误匹配；步骤四，相机运动的估计：利用不确定性信息，对相机运动做极大似然估计；通过列文伯格算法对问题的目标函数进行求解，得到相机的位姿。

【技术特征摘要】
1.一种特征融合的RGB-D相机运动估计方法，其特征在于，包括以下步骤：步骤一，二维点和直线特征提取：在RGB图片上，分别用特征点检测算法和直线分割检测算法来提取二维特征点和二维特征直线；步骤二，特征反投影至三维并做不确定性分析：结合深度信息，利用针孔相机模型，将提取的二维特征点和二维特征直线反投影到三维，在高斯噪声分布的假设下，分别对三维点和三维直线进行不确定性分析；步骤三，特征匹配：对于点特征，计算特征点检测算法描述子并对连续两帧的点特征进行匹配；对于直线特征，计算其均值标准差描述子并进行匹配；然后用随机采样一致性算法去除误匹配；步骤四，相机运动的估计：利用不确定性信息，对相机运动做极大似然估计；通过列文伯格算法对问题的目标函数进行求解，得到相机的位姿。2.根据权利要求1所述的一种特征融合的RGB-D相机运动估计方法，其特征在于，所述的步骤一包括以下步骤：对于一幅RGB图，通过特征点检测算法获得二维特征点，同时，通过直线分割检测算法获得二维特征直线，得到特征集合{pi,lj|i＝1,2,…,j＝1,2,…}，其中二维点pi＝[ui,vi]T，二维直线[ui,vi]T表示点pi的像素坐标，aj和bj为直线lj的两个端点。3.根据权利要求1所述的一种特征融合的RGB-D相机运动估计方法，其特征在于，所述的步骤二包括以下步骤：步骤1，三维点特征与不确定性分析：将图像中的二维点p通过针孔相机模型，反投影到三维得到三维点P：其中(u,v)表示二维点p对应的像素坐标，d为二维点p对应的深度值，[cu,cv]T为相机的光圈中心，fc为焦距；以二维点p的噪声是均值为0，协方差为的高斯分布，二维点p的深度值d的噪声与测量值成二次函数关系，即δd＝c1d2+c2d+c3，常数系数c1、c2和c3通过实验获得，三维点的不确定性为：其中，噪声的协方差矩阵雅克比矩阵其中，I2是2维单位矩阵，δ为噪声方差；步骤2，三维直线特征和不确定性分析：将二维直线采样足够多个点，舍弃深度值异常的点，根据公式(1)计算剩余点的三维坐标；然后采用随机采样一致性算法耐去除由于深度噪声影响在二维直线反投影到三维之后出现的局外点，并得到拟合的三维直线方程；用L＝[AT,BT]T来表示对应的三维直线，其中AT,BT是三维直线上的两个三维点；通过计算这些二维采样点所对应的三维点与所估计的三维直线L的马氏距离来度量三维直线的不确定性；三维点P＝[x,y,z]T到三维直线L＝[AT,BT]T的马氏距离定义如下：其中，Q∈L是直线L上的一个任意点；有Q＝A+λ(B-A),则Q的优化估计Q*,定义δ(P-L)＝P-Q*(4)则三维点P到三维直线L的马氏距离为

【专利技术属性】
技术研发人员：陈白帆，刘春发，宋德臻，王斌，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43