采用双特性联合度量的全模型镜头畸变校正方法技术

本发明专利技术提出了一种采用双特性联合度量的全模型镜头畸变校正方法，步骤如下：对被检测图像进行亚像素级别的点坐标检测，根据基本矩阵与畸变中心的关系方程，利用最小二乘法确定畸变中心；计算被检测图像上像素单元的倾斜角和变换因子，构成数字图像离散成像过程的逆映射矩阵，将非标准像素单元转化为正方形像素单元；根据透视投影的显著特征及单应性矩阵计算消隐点的坐标，利用消隐点更新拟合的畸变直线；在全畸变模型的基础上，根据消隐点的几何约束建立与畸变直线的函数约束关系，利用最优化方法将直线残差最小化得到畸变参数、倾斜角及变换因子，实现相机准确的畸变校正。本发明专利技术能够快速准确的实现透镜畸变校正，校正效果好且鲁棒性强。且鲁棒性强。且鲁棒性强。

【技术实现步骤摘要】
采用双特性联合度量的全模型镜头畸变校正方法


[0001]本专利技术涉及近景测量与数字图像处理的
，尤其涉及透镜畸变校正的
，具体为一种采用双特性联合度量的全模型镜头畸变校正方法，利用棋盘图案实现精确的透镜畸变校正。

技术介绍

[0002]近年来，随着人工智能领域的快速发展，越来越多的研究人员投身于这一领域的研究之中。由于机器视觉在人工智能中扮演着重要的角色，变焦镜头被广泛应用于航空摄影、跟踪和测量中。由于透镜的不完善和光学元件的非对准，导致在光学系统中普遍存在透镜畸变，特别是在鱼眼和广角镜头中。当透镜具有不可忽略的畸变时，使用理想的针孔模型可能会导致较高的测量误差，使得针孔模型不再可用。因此，必须准确消除透镜畸变，以保持在射影几何中的线性成像过程。
[0003]根据射影几何原理可知，如果摄像机镜头无畸变，空间直线在像平面上仍然是直线，直线在射影变换下交比不变，直线与直线的平行性不变，平行图形的面积比、平行线段的长度比不变。实际上，获取包含畸变的成像图像后，场景中存在的直线特征由于受镜头畸变的影响，投影到图像后将弯曲为曲线，镜头的非线性畸变越大，空间直线投影后曲线的弯曲程度就越大。
[0004]近年来，对透镜的研究主要在利用点对应和投影不变量上。Weng等利用物体三维世界坐标与图像坐标的对应关系来校正径向、偏心和薄棱镜畸变。Gao和Yin提出了一种估计理想的单应矩阵计算代表畸变像点实际位置的理想像点的方法。Zhang利用不同角度的点对应来估计径向畸变和偏心畸变参数。然而，这三种方法都需要计算点对应关系。
[0005]随着对非必要的限制进行去除的方法具有很强的优势同时又很容易构造，基于线的方法在畸变校正中得到了广泛的应用，Prescott和McLean提出了一种检测线信息的径向透镜畸变校正方法，但在优化过程中会遇到局部极小值的问题而且仅考虑了径向畸变的影响。Zhou提出了一种基于线的摄像机标定方法，通过使用三个未知长度的正方形对单个图像进行畸变校正，但该方法对图像中的直线段要求较高，更适用于处理特殊场景下的图像，并且他们只关注径向畸变而不是完全畸变。
[0006]目前，传统的透镜畸变校正的方法存在诸多不足之处，例如：(1)将图像中心或主点坐标默认为畸变中心，未对畸变中心进行精确的计算，所造成的后果既不可能使用畸变参数补偿去校正，也不可能使用外方位参数去校正；(2)未考虑在射影变换中存在的平行四边形像素，更没有对其进行处理，不能保证在射影几何中的线性成像过程；(3)基于直线理论的算法也只是关注径向畸变或偏心畸变，并没有进行完全畸变模型下的透镜畸变校正。

技术实现思路

[0007]针对传统的透镜畸变校正方法未对畸变中心进行精确计算，未考虑非正方形像素，也未在全畸变模型下处理透镜畸变的技术问题，本专利技术提出一种采用双特性联合度量
的全模型镜头畸变校正方法，可以快速实现透镜畸变的精确校正，精度高且鲁棒性强，可以在解决有关图像分析处理的具体实际问题中得到应用。
[0008]为了达到上述目的，本专利技术的技术方案是这样实现的：一种采用双特性联合度量的全模型镜头畸变校正方法，其步骤如下：
[0009]步骤一：对被检测图像进行亚像素级别的点坐标检测，根据基本矩阵与畸变中心的关系方程，利用最小二乘法确定畸变中心；
[0010]步骤二：计算被检测图像上点坐标的平行四边形像素的倾斜角和变换因子，构成数字图像离散成像过程的逆映射矩阵，将非标准像素单元转化为正方形像素单元；
[0011]步骤三：根据透视投影的显著特征及单应性矩阵计算消隐点的坐标，利用消隐点更新拟合的畸变直线；
[0012]步骤四：在全畸变模型的基础上，根据消隐点的几何约束建立与畸变直线的函数约束关系，利用最优化方法将直线残差最小化得到畸变参数、倾斜角以及变换因子，实现相机准确的畸变校正。
[0013]所述被检测图像是通过CCD摄像机对棋盘图案采集得到的。
[0014]所述步骤一中对被检测图像进行灰度化处理得到灰度图像，对灰度图像进行亚像素级别的点坐标检测即检测棋盘图像中正方形顶点的坐标，形成点集E，利用点集E和畸变中心的方程计算畸变中心的坐标。
[0015]所述计算畸变中心的坐标的方法为：设x
w
为被检测图像对应的棋盘图案上的已知坐标点，x
u
为畸变模型校正后的图像点，x
d
为棋盘图像上像素坐标系下对应的畸变点；由于畸变中心c的影响，将未畸变图像点x
u
移动至畸变点x
d
为：x
d
＝c+k(x
u
‑
c)；左乘[x
d
]T
[c]x
，得到畸变中心的方程：
[0016]k[x
d
]T
[c]x
Hx
w
＝[x
d
]T
[c]x
Hx
w
＝0；
[0017]其中，k表示径向畸变系数，[c]x
表示反对称的3
×
3矩阵，基本矩阵F＝[c]x
H；H为变换矩阵且x
u
＝Hx
w
，畸变中心作为基本矩阵F的左极点进行提取；
[0018]利用最小二乘法得到方程c
T
f
j
＝0的解，j＝1,...,3，f
j
是基本矩阵F的第j列；所有方程的最小二乘解为畸变中心c的坐标点。
[0019]所述步骤二中将将非标准像素单元转化为正方形像素单元的实现方法为：
[0020]设平行四边形像素的长与宽分别为d
x
和d
y
，平行四边形像素的一边平行于u轴、另一边与u轴形成一个θ角，利用倾斜角θ进行逆变换，将平行四边形像素变换为矩形像素：
[0021][0022]其中，映射矩阵(x
r
,y
r
)为经过逆映射矩阵R
‑1处理之后的矩形像素的坐标，(u,v)是图像点在像素坐标系的坐标；
[0023]令d
x
＝t
×
d
y
，利用变换因子t将矩形像素转换为正方形像素：
[0024][0025]其中，映射矩阵(x
q
,y
q
)为经过逆映射矩阵Q
‑1处理之后的像素坐标。
[0026]所述步骤三中计算消隐点的坐标的方法为：设世界平面和像素平面上的对应点X和X'的齐次坐标分别为(x,y,1)和(x',y',1)，由X＝HX'计算出单应性矩阵H；根据透视投影的特征，在世界坐标系中，设x轴和y轴方向上的无限远点分别是p
x
和p
y
，p
x
和p
y
的齐次坐标分别是[1 0 0]T
和[0 1 0]T
，无限远点在像素平面上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，其步骤如下：步骤一：对被检测图像进行亚像素级别的点坐标检测，根据基本矩阵与畸变中心的关系方程，利用最小二乘法确定畸变中心；步骤二：计算被检测图像上点坐标的平行四边形像素的倾斜角和变换因子，构成数字图像离散成像过程的逆映射矩阵，将非标准像素单元转化为正方形像素单元；步骤三：根据透视投影的显著特征及单应性矩阵计算消隐点的坐标，利用消隐点更新拟合的畸变直线；步骤四：在全畸变模型的基础上，根据消隐点的几何约束建立与畸变直线的函数约束关系，利用最优化方法将直线残差最小化得到畸变参数、倾斜角以及变换因子，实现相机准确的畸变校正。2.根据权利要求1所述的采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，所述被检测图像是通过CCD摄像机对棋盘图案采集得到的。3.根据权利要求2所述的采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，所述步骤一中对被检测图像进行灰度化处理得到灰度图像，对灰度图像进行亚像素级别的点坐标检测即检测棋盘图像中正方形顶点的坐标，形成点集E，利用点集E和畸变中心的方程计算畸变中心的坐标。4.根据权利要求3所述的采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，所述计算畸变中心的坐标的方法为：设x
w
为被检测图像对应的棋盘图案上的已知坐标点，x
u
为畸变模型校正后的图像点，x
d
为棋盘图像上像素坐标系下对应的畸变点；由于畸变中心c的影响，将未畸变图像点x
u
移动至畸变点x
d
为：x
d
＝c+k(x
u
‑
c)；左乘[x
d
]
T
[c]
x
，得到畸变中心的方程：k[x
d
]
T
[c]
x
Hx
w
＝[x
d
]
T
[c]
x
Hx
w
＝0；其中，k表示径向畸变系数，[c]
x
表示反对称的3
×
3矩阵，基本矩阵F＝[c]
x
H；H为变换矩阵且x
u
＝Hx
w
，畸变中心作为基本矩阵F的左极点进行提取；利用最小二乘法得到方程c
T
f
j
＝0的解，j＝1,...,3，f
j
是基本矩阵F的第j列；所有方程的最小二乘解为畸变中心c的坐标点。5.根据权利要求3所述的采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，所述步骤二中将将非标准像素单元转化为正方形像素单元的实现方法为：设平行四边形像素的长与宽分别为d
x
和d
y
，平行四边形像素的一边平行于u轴、另一边与u轴形成一个θ角，利用倾斜角θ进行逆变换，将平行四边形像素变换为矩形像素：其中，映射矩阵(x
r
,y
r
)为经过逆映射矩阵R
‑1处理之后的矩形像素的坐标，(u,v)是图像点在像素坐标系的坐标；令d
x
＝t
×
d
y
，利用变换因子t将矩形像素转换为正方形像素：
其中，映射矩阵(x
q
,y
q
)为经过逆映射矩阵Q
‑1处理之后的像素坐标。6.根据权利要求1、4或5所述的采用双特性联合度量的全模型镜头畸变校正方法，其特征在于，所述步骤三中计算消隐点的坐标的方法为：设世界平面和像素平面上的对应点X和X'的齐次坐标分别为(x,y,1)和(x',y',1)，由X＝HX'计算出单应性矩阵H；根据透视投影的特征，在世界坐标系中，设x轴和y轴方向上的无限远点分别是p
x
和p
y
...

【专利技术属性】
技术研发人员：孙丽君，郭强强，陈天飞，牛海旭，张照平，曹雪韬，袁延庆，赵攀，赵志鹏，傅慧，宋伟伟，张秋闻，黄立勋，王耀，王自强，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：