一种鱼眼镜头双目像机快速自标定方法技术

本发明专利技术涉及一种鱼眼镜头双目像机快速自标定方法。利用普通三维场景提供的极线约束快速地标定鱼眼镜头双目像机的内参数和外参数。首先鱼眼镜头双目像机对普通三维场景同步拍摄图像，进行特征点提取与匹配。其次利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，确定图像匹配内点集。然后通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系。最后根据RANSAC确定的图像匹配内点集优化双目像机的内参数和外参数。本发明专利技术能够在普通三维场景条件下高效率高精度地标定径向畸变严重的鱼眼镜头双目像机，适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。

A Fast Self-calibration Method for Fisheye Binocular Camera

【技术实现步骤摘要】
一种鱼眼镜头双目像机快速自标定方法
本专利技术涉及一种鱼眼镜头双目像机快速自标定方法，具体是一种利用普通三维场景提供的极线约束标定鱼眼镜头双目像机内参数和外参数的方法。
技术介绍
双目像机是图像测量应用中常用的结构形式，双目像机能够根据视差原理直接获取目标的三维几何信息，因此广泛应用于视觉测量、三维重建和机器人导航等领域。相比常规镜头，鱼眼镜头具有较大的视场，其成像存在较大的失真，而且越靠近图像的边缘，图像畸变越大。因此在利用鱼眼镜头双目像机进行测量前，必须对其进行高精度标定，标定的精度直接影响着摄像测量的精度。双目像机自标定不需要已知结构的标定物，仅利用图像匹配点对约束来标定像机的参数。由于自标定方法较为方便和灵活，一直是摄像测量和计算机视觉等领域研究的热点。自标定方法可分为五类：直接求解Kruppa方程的方法、分层逐步标定方法、基于绝对二次曲线的标定方法、可变内参数下的标定方法和基于主动视觉的标定方法。直接求解Kruppa方程的方法根据射影空间中绝对二次曲线的不变性，推导描述多次成像之间约束关系的Kruppa方程，在场景未知条件下通过控制像机进行多次运动来标定像机。但直接求解Kruppa方程存在计算复杂、对噪声敏感等缺点。分层逐步标定方法可分为两步：第一步对图像序列进行射影重建，第二步再对像机参数进行标定。由于采用非线性优化的方法，必须通过预估获得待标定参数的初值，预估初值的精度直接影响着标定结果的精度。基于绝对二次曲线的标定方法根据像机内参数的自身约束推导出关于绝对二次曲线的约束，再求解该约束方程，缺点是存在过度参数化，易受噪声影响。可变内参数下的标定方法是针对某些应用场合中像机内参数存在变化的标定情况，比如利用变焦像机进行图像测量，像机内参数中任意一个参数在标定过程中保持不变的条件下即可求解。基于主动视觉的标定方法是在已知像机运动信息的条件下进行像机标定，例如像机作纯旋转或者纯平移运动，根据这些特殊运动引入的约束来标定像机参数。传统的自标定方法通常分为两步：第一步不考虑径向畸变，直接采用包含径向畸变的图像匹配点对估计双目像机之间的几何关系，求解像机参数初值，第二步非线性优化中再考虑径向畸变的影响，直接假定径向畸变参数为0，通过图像匹配点对对像机参数初值进行非线性优化。然而非线性优化需要大量的正确图像匹配点对。如果在第一步估计双目像机之间的几何关系时，忽略径向畸变的影响，则可能难以找到足够数量的正确图像匹配点对，从而使第二步非线性优化很可能陷入局部最优。因此，双目像机自标定中，特别是鱼眼镜头双目像机自标定，在搜索正确图像匹配点对的RANSAC阶段就很有必要考虑径向畸变的影响。
技术实现思路
因此本专利技术设计适用于鱼眼镜头双目像机自标定的方法，在确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度。本专利技术不依赖已知结构的标定物和其他特殊的设备，能够在普通三维场景条件下高效率高精度地标定径向畸变严重的鱼眼镜头双目像机，适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。本专利技术要解决的技术问题是：利用普通三维场景提供的极线约束高效率高精度地标定鱼眼镜头双目像机。本专利技术的技术方案是：鱼眼镜头双目像机对普通三维场景同步拍摄图像，利用极线约束快速地求解出双目像机的内参数和外参数，其中内参数包括两个像机的焦距，主点和畸变参数，外参数包括两个像机坐标系之间的旋转矩阵和平移向量。本专利技术的标定流程如图1所示，首先鱼眼镜头双目像机对普通三维场景同步拍摄图像，进行特征点提取与匹配。其次利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集。然后通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系。最后根据RANSAC确定的图像匹配内点集非线性优化双目像机的内参数和外参数。此外，本专利技术可采用多个立体图像对进行联合优化标定，得到更加鲁棒和精确的双目像机标定结果。2基于极线约束的鱼眼镜头双目像机自标定方法2.1极线约束理论基础根据对极几何关系，双目像机的图像匹配点对满足以下约束：其中和是三维空间点分别在像机1和像机2中的理想投影图像点齐次坐标，均不包含径向畸变。基本矩阵F由下式给出：E＝[t]×R(3)其中K1和K2分别是像机1和2的内参数矩阵，E是本质矩阵，R和t分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量。假定像机主点在图像中心，且像元为正方形，即像机水平和竖直方向的等效焦距是相等的。因此内参数矩阵K1和K2可简化为：式中F1和F2分别表示像机1和像机2的焦距。公式(1)仅适用于满足理想中心投影模型的图像匹配点对。对于鱼眼镜头双目像机，要使公式(1)成立，必须去除实际图像点和中的径向畸变。本方法采用单参数除法径向畸变模型对鱼眼镜头的径向畸变进行建模，具体表示形式如下：其中和分别是像机1和像机2中实际图像点的齐次坐标，均包括一定量的径向畸变。λ1和λ2分别表示像机1和像机2的径向畸变参数。2.2基本矩阵和畸变参数的同时求解根据最少9个图像匹配点对同时求解基本矩阵F和径向畸变参数λ1,λ2。结合公式(1)和(5)，获得实际图像匹配点对之间的约束方程：其中fij是基本矩阵F中第i行第j列的元素，不失一般性，可取f33＝1。扩展公式(6)，可得到以下显式方程：基本矩阵F自身满足以下约束：det(F)＝0(8)根据公式(7)，9个图像匹配点对可给出9个多项式方程，再结合公式(8)共给出包含10个未知数(f11,f12,f13,f21,f22,f23,f31,f32,λ1,λ2)的10个多项式方程。通过格罗布纳基方法求解多项式方程，在给定9个图像匹配点对的条件下基本矩阵F和径向畸变参数λ1,λ2最多有24个解。2.3等效焦距的求解双目像机的焦距可以通过基本矩阵和极点之间的约束来确定。假定基本矩阵F的SVD分解为F＝UΣVT，其中Σ＝diag{a,b,0}，ui和vi分别表示矩阵U和V中的第i个列向量。立体图像对中Kruppa方程的表达式为：Fw1FT＝[e′]×w2[e′]×(9)式中[]×表示三维列向量的反对称矩阵。e'为像机2中的极点，可表示为矩阵U的第三列u3。结合基本矩阵F的SVD结果，公式(9)可表示为：UΣVTw1VΣUT＝[u3]×w2[u3]×(10)由于矩阵U是正交矩阵，对公式(10)同时左乘UT和右乘U可得到：ΣVTw1VΣ＝UT[u3]×w2[u3]×U(11)扩展上式，可变化为：根据公式(12)两边左上角2×2的矩阵相等，同时考虑到ui和vi均为单位向量，可进一步化简得到：公式(13)中左右两边的矩阵均为对称矩阵，且在相差一个比例因子的条件下相等，因此矩阵中各元素之间的比值相等，从而推导出以下三个方程：其中公式(14)-(16)中最多只有两个方程独立。本方法根据公式(14)和(16)来求解焦距F1和F2：值得注意的是，等效焦距的求解有以下两种退化配置：(1).双目像机的光轴是相交的；(2).过像机1光轴和像机2光心的平面垂直于过像机2光轴和像机1光心的平面。针对这两种退化配置，可以通过像机的配置参数直接估本文档来自技高网...

【技术保护点】
1.一种鱼眼镜头双目像机快速自标定方法，在确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度，其特征在于，鱼眼镜头双目像机对普通三维场景同步拍摄图像，利用极线约束快速地求解出双目像机的内参数和外参数，其中内参数包括两个像机的焦距，主点和畸变参数，外参数包括两个像机坐标系之间的旋转矩阵和平移向量，具体过程为：步骤1、双目像机对普通三维场景拍摄图像，进行特征点提取与匹配；步骤2、利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集；步骤3、通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系；步骤4、根据RANSAC确定的图像匹配内点集非线性优化双目像机的内参数和外参数；步骤5、通过对多个立体图像对进行联合优化，得到精确的双目像机内外参数标定结果。

【技术特征摘要】
1.一种鱼眼镜头双目像机快速自标定方法，在确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度，其特征在于，鱼眼镜头双目像机对普通三维场景同步拍摄图像，利用极线约束快速地求解出双目像机的内参数和外参数，其中内参数包括两个像机的焦距，主点和畸变参数，外参数包括两个像机坐标系之间的旋转矩阵和平移向量，具体过程为：步骤1、双目像机对普通三维场景拍摄图像，进行特征点提取与匹配；步骤2、利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集；步骤3、通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系；步骤4、根据RANSAC确定的图像匹配内点集非线性优化双目像机的内参数和外参数；步骤5、通过对多个立体图像对进行联合优化，得到精确的双目像机内外参数标定结果。2.根据权利要求1所述的一种鱼眼镜头双目像机快速自标定方法，其特征在于，所述特征点提取与匹配具体为：根据对极几何关系，双目像机的图像匹配点对满足以下约束：其中和是三维空间点分别在像机1和像机2中的理想投影图像点齐次坐标，均不包含径向畸变，基本矩阵F由下式给出：E＝[t]×R(3)其中K1和K2分别是像机1和2的内参数矩阵，E是本质矩阵，R和t分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量，假定像机主点在图像中心，且像元为正方形，即像机水平和竖直方向的等效焦距是相等的，内参数矩阵K1和K2简化为：式中F1和F2分别表示像机1和像机2的焦距，公式(1)仅适用于满足理想中心投影模型的图像匹配点对，对于鱼眼镜头双目像机，要使公式(1)成立，必须去除实际图像点和中的径向畸变，采用单参数除法径向畸变模型对鱼眼镜头的径向畸变进行建模，具体表示形式如下：其中和分别是像机1和像机2中实际图像点的齐次坐标，均包括一定量的径向畸变，λ1和λ2分别表示像机1和像机2的径向畸变参数，3.根据权利要求1所述的一种鱼眼镜头双目像机快速自标定方法，其特征在于，所述基本矩阵和畸变参数的求解具体为：根据最少9个图像匹配点对同时求解基本矩阵F和径向畸变参数λ1,λ2，结合公式(1)和(5)，获得实际图像匹配点对之间的约束方程：其中fij是基本矩阵F中第i行第j列的元素，取f33＝1，扩展公式(6)，得到以下显式方程：基本矩阵F自身满足以下约束：det(F)＝0(8)根据公式(7)，9个图像匹配点对给出9个多项式方程，再结合公式(8)共给出包含10个未知数f11,f12,f13,f21,f22,f23,f31,f32,λ1,λ2的10个多项式方程，求解多项式方程，在给定9个图像匹配点对的条件下基本矩阵F和径向畸变参数λ1,λ2最多有24个解。4.根据权利要求1所述的一种鱼眼镜头双目像机快速自标定方法，其特征在于，所述等效焦距的求解，具体为：双目像机的焦距通过基本矩阵和极点之间的约束来确定，假定基本矩阵F的SVD分解为F＝UΣVT，其中Σ＝diag{a,b,0}，ui和vi分别表示矩阵U和V中的第i个列向量，立体图像对中Kruppa方程的表达式为：Fw1FT＝[e′]×w2[e′]×(9)式中w1＝K1K1T＝diag(F12,F12,1)，w2＝K2K2T＝diag(F22,F22,1)，[]×表示三维列向量的反对称矩阵，e'为像机2中的极点，表示为矩阵U的第三列u3，结合基本矩阵F的SVD结果，公式(9)表示为：UΣVTw1VΣUT＝[u3]×w2[u3]×(10)由于矩阵U是正交矩阵，对公式(10)同时左乘UT和右乘U得到：ΣVTw1VΣ＝UT[u3]×...

【专利技术属性】
技术研发人员：关棒磊，李璋，尚洋，于起峰，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43