鱼眼镜头图像校正方法及装置制造方法及图纸

本发明专利技术提供一种鱼眼镜头图像校正方法及装置。本发明专利技术鱼眼镜头图像校正方法，包括：根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。本发明专利技术能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像。

【技术实现步骤摘要】

本专利技术涉及数字图像处理
，尤其涉及一种鱼眼镜头图像校正方法及装置。
技术介绍
鱼眼镜头是一种超广角镜头，视角通常能达到或超过180度，镜头直径很短且呈抛物状向镜头前部凸出，和鱼的眼睛类似故名鱼眼镜头。鱼眼镜头在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。但是鱼眼镜头将半球形物面成像为平面，所以鱼眼镜头所拍摄的图像严重畸变，视觉上感受非常不自然，因此需要将这些畸变图像校正为人们所习惯的透视投影图像。现有技术中恢复图像畸变可以采用鱼眼镜头标定算法，通过建立鱼眼镜头特定的成像模型，然后用标定装置得到鱼眼镜头的校正参数，最后利用获得的校正参数来校正图像。通常标定装置需要相应的标定模版，以及利用鱼眼镜头对所述标定模版进行拍摄，根据拍摄的图像来得到鱼眼镜头的校正参数，标定模版如平面黑白棋盘。但是通常鱼眼镜头对所述黑白棋盘拍摄的图像中，黑白棋盘不能布满整个拍摄的图像，导致标定装置得到的校正参数未必是全局最优的，因此基于鱼眼镜头标定后的校正图像可能会严重扭曲。
技术实现思路
本专利技术提供一种鱼眼镜头图像校正方法及装置，以克服现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。第一方面，本专利技术提供一种鱼眼镜头图像校正方法，包括：根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。第二方面，本专利技术提供一种鱼眼镜头图像校正装置，包括：获取模块，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；确定模块，用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；校正模块，用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。本专利技术鱼眼镜头图像校正方法及装置，通过根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数，并根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像，由于标定图像中的黑白棋盘不能布满整个标定图像，因此获取到的模型参数未必是全局最优的，相比现有技术而言，本专利技术中在确定模型参数之后，进一步确定鱼眼镜头的有效视角范围，在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，因此，能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像，解决了现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术鱼眼镜头图像校正方法一实施例的流程示意图；图2为鱼眼镜头坐标系和鱼眼图像平面坐标系的关系示意图；图3为本专利技术鱼眼镜头图像校正装置一实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术鱼眼镜头图像校正方法一实施例的流程示意图。图2为鱼眼镜头坐标系和鱼眼图像平面坐标系的关系示意图。如图1所示，本实施例的方法包括：步骤101、根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；步骤102、根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；步骤103、在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。具体来说，自制平面棋盘标定板，带鱼眼镜头的摄像机对棋盘标定板采集n幅标定图像，n>>1；在每张标定图像上选取棋盘格的黑白交叉顶点，并且获得该些顶点的世界坐标系下的坐标和鱼眼镜头坐标下的坐标，并根据该些顶点的坐标以及鱼眼镜头成像模型获取该鱼眼镜头成像模型的模型参数。如图2所示，OcXcYcZc为鱼眼镜头坐标系，OwXwYwZw为世界坐标系，假设世界坐标系下一个点Pw(Xw,Yw,Zw)，Xw为Pw在世界坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw轴的坐标值；Pw点在鱼眼镜头坐标系下的坐标为Pc(Xc,Yc,Zc)，Xc为Pc在鱼眼镜头坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐标系下Zc轴的坐标值；线段与鱼眼镜头坐标系的Zc轴正方向(即)的夹角为θ；OiXiYiZi为鱼眼图像平面坐标系，f为鱼眼镜头的焦距，Pi为鱼眼镜头采集的图像上与所述Pc对应的点，假设Pr(a,b)为校正后的图像上与所述Pc对应的点，令θd为像素点Pi与鱼眼图像平面坐标系原点Oi的距离；a和b分别为该Pr点在鱼眼图像平面坐标系下的水平(Xi轴)和垂直(Yi轴)坐标(空间实际坐标值)；r为Pr到Oi的距离。鱼眼镜头成像模型有如下几种：[1]用于体视投影(stereographicprojection)，使用很少；[2]用于等立体角投影(equisolidangleprojection)，民用鱼眼镜头；[3]θd＝kfsin(θ)；用于正交投影(orthogonalprojection)，少数镜头采用；[4]θd＝kfθ；用于等距投影(equidistaneeprojection)，最常用。其中，k为鱼眼镜头成像模型的系数。将上述模型泰勒展开后可以得到通用鱼眼镜头成像模型：θd＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9+...；其中，k1、k2、k3、k4为所述鱼眼镜头成像模型的系数。本专利技术实施例中以通用鱼眼镜头成像模型为例进行说明。获取该鱼眼镜头成像模型的模型参数，首先初始化模型参数；然后使用伯格-马夸特Levenberg-Marquardt算法优化代价函数获取模型参数。该算法广泛应用于非线性最小化问题，它是高斯一牛顿算法的变形。它介于本文档来自技高网...

【技术保护点】
一种鱼眼镜头图像校正方法，其特征在于，包括：根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。

【技术特征摘要】
1.一种鱼眼镜头图像校正方法，其特征在于，包括：
根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；
根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；
在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得
到校正后的鱼眼镜头图像。
2.根据权利要求1所述的方法，其特征在于，所述根据鱼眼镜头采集到
的标定图像，获取鱼眼镜头成像模型的模型参数之前，还包括：
建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜
头投影关系；
所述鱼眼镜头投影关系如公式(1)：
XcYcZc=RXwYwZw+Ta=XcZcb=YcZcr=a2+b2θ=atan(r)θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)x′=θdray′=θdrbu=fx*x′+cxv=fy*y′+cy---(1)]]>其中，θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)为所述鱼眼镜头成像模型；k1、k2、k3、
k4为所述鱼眼镜头成像模型的系数，θd为所述鱼眼镜头图像的像素点Pi与鱼
眼图像平面坐标系原点的距离；θ为线段与鱼眼镜头坐标系的Zc轴正方
向的夹角；Oc为鱼眼镜头坐标系的原点，Pc为鱼眼镜头坐标系下与所述Pi
对应的坐标点Pc(Xc,Yc,Zc)；其中，Xc为Pc在鱼眼镜头坐标系下Xc轴的坐
标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐

\t标系下Zc轴的坐标值；Pw(Xw,Yw,Zw)为Pc(Xc,Yc,Zc)在世界坐标系下对应
的点；Xw为Pw在世界坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系
下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw轴的坐标值；R为旋转矩
阵，T为平移向量；fx和fy分别为鱼眼图像平面坐标系到鱼眼镜头坐标系的
水平方向和垂直方向的量化系数，u和v分别为Pc在鱼眼图像平面坐标系下
的水平和垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标
系下的水平和垂直坐标；a和b分别为与Pc(Xc,Yc,Zc)对应的校正后的鱼眼镜
头图像中的点Pr在鱼眼图像平面坐标系下的水平和垂直的空间实际坐标，r
为Pr与鱼眼图像平面坐标系的原点之间的距离；x'和y'为中间变量。
3.根据权利要求2所述的方法，其特征在于，所述根据鱼眼镜头采集到
的标定图像，获取鱼眼镜头成像模型的模型参数，包括：
利用鱼眼镜头采集n幅标定图像，得到所述标定图像在世界坐标系和在
鱼眼图像平面坐标系下的n×m组对应点；所述n×m组对应点的坐标为
(Xwij,Ywij,0)和(uij,vij)；其中，每幅所述标定图像包括m个黑白棋盘格的顶
点；i的取值范围为[1，n]，j的取值范围为[1，m]；Xwij为第i幅图像第j个
点在世界坐标系下Xw轴的坐标值，Ywij为第i幅图像第j个点在世界坐标
系下Yw轴的坐标值；uij和vij分别为第i幅图像第j个点在鱼眼图像平面坐
标系下的水平和垂直坐标；n和m为大于1的整数；
根据所述n×m组对应点使用伯格-马夸特Levenberg-Marquardt算法确定
所述鱼眼镜头成像模型的模型参数；所述模型参数包括：
R,T,k1,k2,k3,k4,fx,fy,cx,cy；
其中，所述算法的代价函数为minΣi=1nΣj=1m||mij-m^(R,T,k1,k2,k3,k4,fx,fy,cx,cy)||;]]>其中，min(·)表示求最小值的函数；
mij表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标，
表示第i幅图像第j个点在世界坐标系下的坐标
(Xwij,Ywij,0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。
4.根据权利要求2所述的方法，其特征在于，所述根据所述模型参数以
及预设约束条件确定鱼眼镜头的有效视角范围，包括：
根据所述模型参数、θ的预设初始范围以及θd的约束条件确定有效视角范
围；所述有效视角范围为所述θ的有效范围；
其中，所述θd的约束条件为θd大于0，且小于θ，且为所述θ的单调递增
函数；
θ的预设初始范围为[0，π/2]。
5.根据权利要求2所述的方法，其特征在于，所述在所述有效视角范围
内对鱼眼镜头所采集的图像进行校正，得到校正后的鱼眼镜头图像，包括：
在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的
像素点(u',v')，利用公式(2)计算得到a和b的值；
u′=fx×a+cxv′=fy×b+cy---(2)]]>根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点
(u,v)；
根据所述像素点(u,v)获取校正后的鱼眼镜头图像的像素点(u',v')的像
素值为：
f(u',v')＝(1-s)(1-t)f(i,j)+(1-s)tf(i,j+1)+s(1-t)f(i+1,j)+stf(i+1,j+1)；
其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，
t表示v的小数部分：
f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别为所述采集的图像在鱼眼图像平面
坐标系下的坐标为(i，j)、(i...

【专利技术属性】
技术研发人员：江水郎，郑新芬，冯津，曹昉旻，
申请(专利权)人：上海汽车集团股份有限公司，
类型：发明
国别省市：上海;31