一种基于因子图的逆深度估计方法技术

本发明专利技术公开了一种基于因子图的逆深度估计方法，属于图像处理和单目相机深度估计技术领域。所述方法首先利用三角形方法测量空间中对应点的深度，然后利用因子图模型对单目相机进行建模，利用李群‑李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；利用逆深度滤波方法来对深度进行滤波，将每次求得的逆深度进行融合，进而获得融合后的深度；利用上述得到的深度和余弦定理，可以测量空间中物体的长度。从而验证该方法的合理性。本发明专利技术将因子图模型引用到逆深度的测量中，既有利于该估计方法的扩展，也提高了估计的精度。本发明专利技术提出的逆深度滤波的方法，有效的解决了远离相机中心的像素出现拖尾现象，提高了鲁棒性。

An Inverse Depth Estimation Method Based on Factor Graph

【技术实现步骤摘要】
一种基于因子图的逆深度估计方法
本专利技术属于图像处理和单目相机深度估计
，具体来说是一种基于因子图的逆深度估计方法。
技术介绍
随着人工智能技术的发展，对单目视觉SLAM(simultaneouslocalizationandmapping,即时定位与地图构建)的研究也越来越深入，其中一种重要的研究内容是单目视觉深度信息的估计，这也是单目视觉的一个研究难点。只有深度信息估计的准确，才能保证SLAM定位的准确性。而将概率图模型应用到深度估计中，这也是将人工智能的方法应用到SLAM中。
技术实现思路
本专利技术提出了一种基于因子图的逆深度估计方法，有效提高了单目相机深度估计的精度。本专利技术首先利用三角形方法求出图像中对应点的深度；然后利用因子图模型来优化相机的位姿，减少位姿误差对深度估计的影响；最后利用逆深度估计的方法对深度进行优化，提高其估计的精度。本专利技术提供的基于因子图的逆深度估计方法，包括如下步骤：步骤一、利用三角形方法测量空间中对应点的深度，其中利用了对极几何的基本原理；步骤二、利用因子图模型对单目相机进行建模，利用李群-李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；步骤三、利用逆深度滤波方法来对深度进行滤波，将每次求得的逆深度进行融合，进而获得融合后的深度；利用上述得到的深度和余弦定理，可以测量空间中物体的长度，从而验证该方法的合理性。本专利技术的优点在于：(1)本专利技术将因子图模型引用到逆深度的测量中，既有利于该估计方法的扩展，也提高了估计的精度。(2)本专利技术利用李群-李代数之间的转换关系将位姿估计转换为无约束的优化问题，简化了求解方法。(3)本专利技术提出的逆深度滤波的方法，有效的解决了远离相机中心的像素出现拖尾现象，提高了鲁棒性。附图说明图1：本专利技术中对极几何原理图；图2：本专利技术中因子图模型示意图；图3：本专利技术中逆深度不确定性关系分析图；图4：本专利技术中相机测距原理图；图5：本专利技术中室内环境实验对比图；图6：本专利技术中室外环境实验对比图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术提供一种基于因子图的逆深度估计方法，包括步骤：步骤一、利用三角形方法测量空间中任意一空间点的深度信息，其中利用了对极几何的基本原理(1)对极几何；对极几何是两幅视图之间内在的射影几何。它独立于景物结构，只依赖于相机的内参数和相对姿态。对极几何的原理图如图1所示。空间平面Π上的一空间点X在两个成像平面I1、I2上的投影分别为x和x′。由X、C和C′组成的平面称为对极平面，该平面包含基线，C和C′分别是两个成像平面位置处相机中心点。e和e′是对极点，它是连接两相机中心的直线CC′与两个成像平面的交点，对极点是在一幅视图中另一相机中心的像，它也是基线方向的消影点。l和l′是对极线，它是对极平面与成像平面的交线，当对极平面绕基线旋转时，每个成像平面上所有的对极线都交于对极点。结论：对两幅图像中任何一对对应点基本矩阵F都满足条件：x′TFx＝0。基本矩阵F是对极几何的代数表示。基本矩阵F具有如下两个重要性质：A.利用基本矩阵F求对极点：Fe＝0,FTe′＝0。B.利用基本矩阵F求对极线：l′＝Fx,l＝FTx′。(2)利用三角形法求空间点X的深度。通过在两个位置处观察同一空间点X的夹角，从而确定该空间点的深度，所述深度是指空间点到相机中心的距离。s1x＝KX,s2x′＝K(RX+t)(1)其中，s1为相机在位置1的深度，s2为相机在位置2的深度，K为相机的内参数矩阵，X为空间中任意一点，公式中表示该空间点的三维位置，x和x′分别表示成像平面内两个对应点的三维位置，R为旋转矩阵，t为平移向量。令y＝K-1x,y′＝K-1x′，则由式(1)可以得到：s2y′＝s1Ry+t(2)s2y′×y′＝s1y′×Ry+y′×t＝0(3)利用(2)(3)可以求出空间点X分别在两个成像平面上测量的深度s1和s2。步骤二、利用因子图模型对单目相机(简称相机)进行建模，利用李群-李代数之间的转换关系将位姿估计转换为无约束的优化问题来求解。图2为因子模型的示意图，图中各个节点表示相关的随机量。其中xi表示第i个相机位姿的节点，lj为路标节点，i＝1,2,…,n；j＝1,2,…,m；oij为第i个相机观测第j个路标的观测节点，fi为因子函数，表示第i个相机的位姿相对于参考相机的位姿x0的关系，x0表示参考相机的位姿。在图2中，所有相机的位姿都是相对于参考相机位姿的相对位姿。假设因子函数fi满足如下形式的高斯分布：其中，h(xi)为第i个相机的位姿的重投影函数，μi为第i个相机的位姿对应的像素坐标的均值，h(xi)-μi为重投影函数误差，σi2为第i个相机的位姿对应的像素坐标的方差；N()表示高斯分布函数，fi(xi)表示第i个相机的位姿xi相对于参考相机位姿x0的因子函数。因此，所有因子函数变量的联合概率分布可以写成因子乘积的形式：最大后验概率Xmax推断的形式为：对上式(6)取对数后，可以将最大后验概率Xmax推断问题转化为最小化非线性最小二乘和的问题：假设三维空间中某点的坐标为Ua＝[Xa,Ya,Za]T，其投影的像素坐标为μa＝[ua,va]T。通过k个空间点来计算相机的位姿R、t，[R|t]的李代数记为ξ，像素位置和空间点位置的关系如下：其中，sa为相机第a个空间点的深度，[R|t]表示相机的外参数矩阵，T＝K[R|t]表示相机参数矩阵，ξ^表示相机外参数矩阵李代数的反对称矩阵。a表示第a个空间点，a＝1,2,……,k。将式(8)写成矩阵的形式为：saμa＝Kexp(ξ^)Ua(9)因此，重投影函数为：xia为第i个相机的第a个特征点，将重投影函数进行线性化，可以得到：h(xia)＝h(xia0+Δxia)＝h(xia0)+JΔxia(11)其中，J为雅克比矩阵，Δxia＝xia-xia0，xia0为第i个相机第a个特征点的初始位姿。因此，相机位姿的误差函数可以表示为如下的形式：非线性最小化问题可以转化为：对上式(13)关于Δxia求导可以得到正规方程为：(JTJ)Δxia＝JTb(14)为了提高算法的运行效率，采用列文伯格-马夸尔特(LM)方法对正规方程进行修正，LM方法允许多次迭代至收敛，将步长控制在执行区域内，该方法也叫做信赖区域方法。修正后的方程如下：(JTJ+λI)Δxia＝JTb(15)其中，I为n阶单位矩阵，λ为实数，当λ＝0时，即为高斯-牛顿法；当λ很大时即沿着误差函数负梯度的方向进行更新。下面关键的问题是求解雅克比矩阵J，因为旋转矩阵具有正交和行列式为1的约束，利用R，t作为优化变量来优化时，会引入额外的变量约束，增加了优化问题的难度，因此，可以通过李群-李代数之间的转换关系将位姿估计转换为无约束的优化问题，便于最优问题的求解。假设空间点变换到相机坐标系下的坐标为U′＝[X′,Y′,Z′]T，即：U′＝exp(ξ^)Ua＝[X′,Y′,Z′]T(16)因此相机投影模型可以转化为：利用方程(17)的第三行消去深度信息sa后，可以得到：fx为相机坐标系x方向的焦距，fy为相机坐标系y方向的焦距，cx为相机在像素坐标系中偏离光心x方向的像素数，cy为相机在像素坐标系中偏离光心y方向的像素数。因此，重本文档来自技高网...

【技术保护点】
1.一种基于因子图的逆深度估计方法，其特征在于：包括如下步骤，步骤一、利用三角形方法测量空间中任意一空间点的深度；步骤二、利用因子图模型对相机进行建模，利用李群‑李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；建立因子模型，xi表示第i个相机位姿的节点，lj为路标节点，i＝1,2,…,n；j＝1,2,…,m；fi为因子函数，表示第i个相机的位姿相对于参考相机的位姿x0的关系，x0表示参考相机的位姿，假设因子函数fi满足如下形式的高斯分布：

【技术特征摘要】
1.一种基于因子图的逆深度估计方法，其特征在于：包括如下步骤，步骤一、利用三角形方法测量空间中任意一空间点的深度；步骤二、利用因子图模型对相机进行建模，利用李群-李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；建立因子模型，xi表示第i个相机位姿的节点，lj为路标节点，i＝1,2,…,n；j＝1,2,…,m；fi为因子函数，表示第i个相机的位姿相对于参考相机的位姿x0的关系，x0表示参考相机的位姿，假设因子函数fi满足如下形式的高斯分布：其中，h(xi)为第i个相机的位姿的重投影函数，μi为第i个相机的位姿对应的像素坐标的均值，h(xi)-μi为重投影函数误差，σi2为第i个相机的位姿对应的像素坐标的方差；N()表示高斯分布函数，fi(xi)表示第i个相机的位姿xi相对于参考相机位姿x0的因子函数；因此，所有因子函数变量的联合概率分布写成因子乘积的形式：最大后验概率Xmax推断的形式为：对上式(6)取对数后，将最大后验概率Xmax推断问题转化为最小化非线性最小二乘和的问题：假设三维空间中某点的坐标为Ua＝[Xa,Ya,Za]T，其投影的像素坐标为μa＝[ua,va]T；通过k个空间点来计算相机的位姿R、t，[R|t]的李代数记为ξ，像素位置和空间点位置的关系如下：其中，sa为相机第a个空间点的深度，[R|t]表示相机的外参数矩阵，T＝K[R|t]表示相机参数矩阵，ξ^表示相机外参数矩阵李代数的反对称矩阵；a＝1,2,……,k；将式(8)写成矩阵的形式为：saμa＝Kexp(ξ^)Ua(9)因此，重投影函数为：xia为第i个相机的第a个特征点，将重投影函数进行线性化，得到：h(xia)＝h(xia0+Δxia)＝h(xia0)+JΔxia(11)其中，J为雅克比矩阵，Δxia＝xia-xia0，xia0为第i个相机第a个特征点的初始位姿；因此，相机位姿的误差函数表示为如下的形式：非线性最小化问题转化为：对上式(13)关于Δxia求导得到正规方程为：(JTJ)Δxia＝JTb(14)采用列文伯格-马夸尔特方法对正规方程进行修正，修正后的方程如下：(JTJ+λI)Δxia＝JTb(15)其中，I为n阶单位矩阵，λ为实数，当λ＝0时，即为高斯-牛顿法；当λ很大时，即沿着误差函数负梯度的方向进行更新；下面求解雅克比矩阵J，假设空间点变换到相机坐标系下的坐标为U′＝[X′,Y′,Z′]T，即：U′＝exp(ξ^)Ua＝[X′,Y′,Z′]T(16)因此相机投影模型转化为：利用方程(17)的第三行消去深度信息sa后，得到：fx为相机坐标系x方向的焦距，fy为相机坐标系y方向的焦距，cx为相机在像素坐标系中偏离光心x方向的像素数，cy为相机在像素坐标系中偏离光心y方向的像素数；因此，重投影坐标相对于所测量的像素坐标的误差函数为：eu为重投影在x方向的误差，ev为重投影在y方向的误差；利用链式法则对位姿进行求导，得到：其中，e＝(eu，ev)，δξ表示李代数ξ的变化量；公式(20)中第一项是误差关于投影点的导数，对(19)式进行求导，得到：公式(20)中第二项为变换后的点关于李代数的导数，空间点的变换为T＝exp(ξ^)，T左乘一个扰动为ΔT＝exp(δξ^)，假设扰动项的李代数为δξ＝[δρ,δφ]T,其推导过程如下：取其前三维即得到U′关于位姿导数，...

【专利技术属性】
技术研发人员：吴森堂，刘文磊，李凯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11