高精度的宽视场镜头实时畸变矫正方法及系统技术方案

本发明专利技术公开了一种高精度的宽视场镜头实时畸变矫正方法及系统，属于计算机视觉以及计算机图形学领域。该方法包括如下步骤：初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后的图像的误差；LUT建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。本发明专利技术在初矫正中为了简化模型忽略了切向畸变，但在局部优化中考虑切向畸变带来的影响，同时兼顾了径向畸变和切向畸变，是一个高精度的实时的矫正方法。

【技术实现步骤摘要】

本专利技术涉及一种高精度的宽视场镜头实时畸变矫正方法及系统，属于计算机视觉以及计算机图形学领域。
技术介绍
宽视场角的镜头包括一般的广角镜头(大于60° )和超宽视场的鱼眼镜头(一般大于180° )等，它们在安防监控、全景摄影以及激光捕获通信等领域应用越来越多。但是，光线在经过宽视场镜头时，一般都发生多次偏转，导致存在较严重的畸变(分为主要的径向畸变和微小的切向畸变)，而且随着视场角的不断增大，畸变逐渐加大。尤其，对于超宽视场的鱼眼镜头，已经不满足小孔成像模型，不能够简单的使用小孔模型进行相机标定。因此，对于鱼眼镜头如何得到无畸变的场景图，需要使用特殊的投影模型进行畸变的矫正。而且，在激光捕获等领域对畸变矫正的精度要求更高。因此，对宽视场镜头进行高精度的畸变矫正研究，有很强的现实意义。目前在计算机视觉以及计算机图形学领域，对镜头光学畸变矫正的研究较多，主要分为基于硬件测量的畸变矫正和基于模板图像的畸变矫正。其中，对于基于硬件测量的方法，在文献《Panoramicmosaicing with a 180° field of view lens》中给出一禾中。它使用一种带参数的复合式投影模型，通过对一些标定点的实测数据，然后结合最小二乘法拟合方式确定投影模型中的参数值，从而完成畸变矫正处理。虽然测试结果不错，但是其计算量较大，而且对测试装置的准确度要求较高，复杂度高。而基于图像模板的方法又可以分为基于任意模板以及基于固定模板两种，其中对于基于任意模板的方法实现算法复杂，而对于基于特定场景的方法灵活简单，是现在的研究热点。在文献《Structure from motion with wide circular field of viewcameras》 中，总结了一些广角镜头的畸变处理算法，并给出一种根据多幅成像图像的自动畸变矫正方法，这种方法采用最小二乘法多项式拟合，原理简单、实现方便，但是在超宽视场的鱼眼镜头成像系统中，这种畸变矫正方法的误差较大。在此基础上，一些学者又发展了一些其它的拟合方式，比如采用Circular Regression技术对鱼眼镜头进行矫正，该技术用一段圆弧拟合误差曲线，实质上是一种基于最小均方误差逼近原理的非线性拟合方式。虽然这种畸变矫正算法的计算量较少，实现比较容易，但是其光学畸变矫正的精度不是太高。 Moravec畸变矫正算法采用了一块垂直于光轴的平板作为物平面，其上纵横排列着一系列圆点作为标定参数的点，通过测量圆点的实际位置即可获得其空间方位角，然后再找到对应的成像位置，完成对光学畸变的矫正处理，虽然这种方法实现非常简单，但是在超宽视场情况下并不适用，而且精度较低。在《A New Methodand Toolbox for Easily Calibrating Omnidirectional Cameras》中，提出了一种基于全局均方误差最小的多项式拟合方法，并构造了一种通用投影模型。但是，这种拟合方式由于是在整个成像范围内进行处理，当多项式拟合阶次低时，其拟合效果差，畸变矫正性能不甚理想；当增加阶次时，尽管拟合多项式在插值点的逼近效果变好，但是拟合曲线可能会出现大的振荡，这很难实现对整个成像面做到较好的矫正；而且，为了简化算法，它忽略了切向畸变。以上的研究方法主要应用在图像畸变还原领域，它们对误差精度的要求不高，如果将上述算法直接应用在超宽视场的激光捕获定位等对矫正精度要求很高的领域，总的来说存在如下不足①上述方法本质上都是基于全局均方差最小原理的非线性拟合，没有考虑到实际成像的特征，比如对于鱼眼图像，其成像中心的分辨率一般较高，而图像边缘处的分辨率一般较低，这使得它们的畸变矫正残余误差较大，如果想达到较好的畸变矫正效果，上述拟合方式或者需选用较高阶次的多项式，或者选用较为复杂的映射模型，这都会增大畸变矫正算法的运算复杂度以及稳定性。②上述方法一般都把镜头微小的切向畸变忽略了，以达到简化模型的目的。但是， 在精度要求较高的场合，是必须得考虑的。
技术实现思路
本专利技术提出了一种高精度的宽视场镜头实时畸变校正方法及系统，该系统使得宽视场镜头尤其是鱼眼镜头等超宽视场的镜头在实际中不会由于其镜头畸变而导致其应用受限，并且在一些轻微的镜头畸变也会带来较大影响的场合中，比如激光捕获、跟踪和定位等，通过使用此方法宽视场镜头也能得到很好的应用。本专利技术采取了如下技术方案本专利技术中的高精度宽视场镜头实时畸变矫正方法包括如下步骤初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT 建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。所述初矫正步骤中的投影方程为本文档来自技高网...

【技术保护点】
骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。１．一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，包括如下步骤：初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；ＬＵＴ建立步骤，通过优化步

【技术特征摘要】
1.一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，包括如下步骤初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。2.根据权利要求1所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于， 所述初矫正步骤中的投影方程为 λ · [u，ν, a0+ai P +a2 P 2+· · · +aNPN]T = Lr1, r2, t] · [X， Y，1]T;上式中λ为图像上点的比例系数且λ >0，(u,ν)为图像平面上的图像点的坐标，单位pixel，N是多项式的最高次幂，a, (i = 0,1, ... , N)是多项式系数，ρ = ^u2 +ν2是图像上点到光学中心的像素距离；r1;r2是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X， Y是与图像平面上的点(u，ν)对应的空间点的坐标；选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置Hlij，然后找到与其对应的空间点Mij，建立空间点Mij与Hiij的映射关系，使用空间点与图像上点组成的点对Mu 与Hiij,解出上面映射方程组中的最优参数 (i = 0，1，. . .，N)，N，r1; r2，t。3.根据权利要求2所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于， 所述求取投影方程中的最优参数 (i = 0，1，. . .，N)，N，r2, t选用最小均方误差准则， 即，使实际点与根据投影方程的投影点之间的均方误差达到最小，即下式E最小KL2五= ΣΣΙΙ mv -m(r^r^t\Oc,a0,al,a2,a^...,aN,M1J)\\上式中0c是图像的光学中心，Iiiij是检测到的第i幅模板图像的第j个特征点的图像坐标，^^乂，广化，‘巧乂， ，…，^，/^；！是在相机内部和外部参数下的投影点，彳和^ 是第i幅模板图像旋转的旋转矩阵的列向量，t1是第i幅模板图像的平移矩阵，a, (i = 0， 1，. . .，N)是投影多项式的系数，N是拟合多项式的最高阶数，Mij是与对应的空间点的坐标，K是模板图像的张数，L是每幅模板图像上特征点的个数。4.根据权利要求3所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于， 使用最小均方误差准则对参数求解时使用列算法维布格-麦奎尔特算法或高斯牛顿迭代算法。5.根据权利要求4所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于， 所述优化步骤包括特征点提取步骤，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；直线拟合步骤，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正...

【专利技术属性】
技术研发人员：刘璐，涂波，周喆颋，杨劲锋，刘孟奇，
申请(专利权)人：北京大学，
类型：发明
国别省市：11