车载鱼眼摄像头自标定的方法技术

本发明专利技术提出了一种车载鱼眼摄像头自标定的方法，用于解决现有基于图像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题，包括如下步骤：(1)利用车载鱼眼摄像头拍摄车沿直线行驶的路面视频；(2)提取特征点，并选取不在同一直线上的特征点；(3)跟踪所选取的特征点；(4)建立拟合模型，确定摄像头参数初始值，利用特征点满足的共线约束方程，建立特征点关系行列式；(5)优化关于摄像头参数的非线性方程组(6)判断标定结果是否合理，若合理，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。本发明专利技术具有标定结果精度高、应用范围广的特点，可用于确定车载鱼眼摄像头几何模型参数。

【技术实现步骤摘要】

本专利技术属于图像处理及计算机视觉
，涉及一种摄像头标定方法，具体涉及一种车载鱼眼摄像头自标定的方法，可用于确定车载鱼眼摄像头几何模型参数。
技术介绍
在图像测量过程以及计算机视觉的应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型，这些几何模型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像头标定。摄像头标定的方法分为两类：基于标定物的标定方法和基于图像序列的自标定方法，其中基于标定物的标定方法是利用标定物存在的特征点和其在图像上对应点之间的关系，求解摄像头参数，完成标定过程，标定物常见的有平面棋盘格和球体，但这些方法需要定制标定物，在标定物的放置和使用上有严格的要求，使用起来较为复杂。基于图像序列的自标定方法和基于标定物的标定方法不同，它不需要定制标定物，只是利用场景的几何约束关系或者摄像头自身运动产生的约束关系，建立不同图像中的对应点满足的约束方程，求解得到摄像头参数，完成摄像头的标定。但是，自标定方法的精度一般比基于标定物的方法要差，而决定标定精度的因素主要是摄像头模型和优化方法的选择。例如：在文献Hughes C,Mcfeely R,Denny P,et al.Equidistant fish-eye perspective with application in distortion centre estimation[J].Image&Vision Computing,2010,28(3):538–551.和C.Hughes,P.Denny,M.Glavin et al.Equidistant fish-eye calibration and rectification by vanishing point extraction[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2010,32(12):2289-2296中Hughes等人基于等距投影模型利用灭点的性质来估计摄像头参数，该方法只适用于等距投影模型，应用范围小，而在文献Zhu H J,Yang P,Li S G.Estimating fisheye camera parameters from homography[J].Sci China Inf Sci,2012,55:2119–2127中Zhu Haijiang等人提出了一种利用两幅鱼眼图像之间的单应关系线性求解鱼眼摄像头参数中畸变系数的方法，这种方法在鱼眼摄像头的主点坐标、焦距等参数已知的情况下，根据鱼眼图像的对应点求出单应矩阵，然后从单应矩阵导出对摄像头参数的线性约束，从而求解出模型参数，该方法不能保证所得摄像头参数是准确的，并且没有进行整体优化，所以得到的结果精度不高。
技术实现思路
：本专利技术的目的在于克服上述现有技术存在的不足，提出了一种车载鱼眼摄像头自标定的方法，在车保持直线行驶的过程中，利用车载鱼眼摄像头拍摄行车路面，得到行车路面视频，利用路面视频中存在的几何关系，完成摄像头自标定的过程。用于解决现有基于图像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题。本专利技术的技术思路是，在平整路段，使汽车保持直线，行驶一个车身距离，通过车载鱼眼摄像头拍摄路面，提取路面的特征点，并跟踪这些特征点在不同画面中的位置信息，本应形成一条直线轨迹的特征点，在鱼眼图像中呈现为曲线，利用特征点共线这一几何关系和鱼眼摄像头模型，得到摄像头参数的初始值，并将不同特征点的坐标信息和摄像头参数初始值带入行列式J中，形成多个包含摄像头参数的方程。其中，J为同一特征点在三幅不同图像中的坐标所满足的行列式关系。后利用优化算法，求解出车载鱼眼摄像头的参数终值，完成车载鱼眼摄像头的自标定。根据上述技术思路，实现本专利技术目的采取的技术方案，包括如下步骤：步骤1，利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频。步骤2，提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上。步骤3，跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息。步骤4，建立鱼眼摄像头拟合模型：其中，rd为得到的畸变图像的特征点到主点坐标的距离，ru为得到的畸变校正后图像对应的特征点到主点坐标的距离，k1、k2、k3、k4和k5为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k1,k2,k3,k4,k5)。步骤5，利用步骤3获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：步骤5a，将步骤3获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u1、u2和u3分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v1、v2和v3分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u0和v0分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θd1)、s(θd2)和s(θd3)分别为步骤4得到的鱼眼摄像头拟合模型在三幅不同鱼眼图像中的值，和fx和fy分别为焦距在x轴和y轴方向的分量。步骤5b，对带入的行列式J中的s(θd1)、s(θd2)和s(θd3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型：和步骤5c，对得到的鱼眼摄像头单参数除法模型与模型进行拟合，其中rd＝fθd为鱼眼摄像头等距投影模型，表示畸变图像的特征点到主点坐标的距离，ru＝f tanθd表示畸变校正后图像对应的特征点到主点坐标的距离，拟合后得到畸变系数D的初始值D'＝(k1',0,0,0,0)。步骤5d，将得到的畸变系数的初始值D'带入s(θd1)、s(θd2)和s(θd3)中，得到和步骤5e，将得到的和带入行列式J中，得到步骤5f，利用得到的行列式J'，假设fx＝fy＝f，求取车载鱼眼摄像头焦距f的初始值f'。步骤6，对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)。步骤7，利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值。步骤8，利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中的各帧图像进行畸变校正。步骤9，根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤2。本专利技术与现有技术相比，具有如下的优点：第一，本专利技术由于确定车载鱼眼摄像头参数时，采用鱼眼摄像头拟合模型，同时对鱼眼摄像头参数初始值进行整体优化，与现有自标定方法中采用单一模型并进行局部优化的方法相比，提高了标定精度。第二，本专利技术由于确定车载鱼眼摄像头模型时，利用现有鱼眼摄像头模型进行拟合，得到更具一般性的鱼眼摄像头模型，与现有的自标定方法中采用的鱼眼摄像头模型相比，适用范围更加广泛，可用于多种类型鱼眼摄像头的标定。附图说明：图1为本专利技术的实现流程框图；本文档来自技高网...

【技术保护点】
一种车载鱼眼摄像头自标定的方法，包括如下步骤：(1)利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频；(2)提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上；(3)跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息；(4)建立鱼眼摄像头拟合模型：其中，rd为得到的畸变图像的特征点到主点坐标的距离，ru为得到的畸变校正后图像对应的特征点到主点坐标的距离，k1、k2、k3、k4和k5为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k1,k2,k3,k4,k5)；(5)利用步骤(3)获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：5a)将步骤(3)获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u1、u2和u3分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v1、v2和v3分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u0和v0分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θd1)、s(θd2)和s(θd3)分别为步骤(4)得到的鱼眼摄像头拟合模型在三幅不同鱼眼图像中的值，和fx和fy分别为焦距在x轴和y轴方向的分量；5b)对带入的行列式J中的s(θd1)、s(θd2)和s(θd3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型：和5c)对得到的鱼眼摄像头单参数除法模型与模型进行拟合，其中rd＝fθd为鱼眼摄像头等距投影模型，表示畸变图像的特征点到主点坐标的距离，ru＝ftanθd表示畸变校正后图像对应的特征点到主点坐标的距离，拟合后得到畸变系数D的初始值D'＝(k1',0,0,0,0)；5d)将得到的畸变系数的初始值D'带入s(θd1)、s(θd2)和s(θd3)中，得到和5e)将得到的和带入行列式J中，得到5f)利用得到的行列式J'，假设fx＝fy＝f，求取车载鱼眼摄像头焦距f的初始值f'；(6)对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)；(7)利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值；(8)利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中的各帧图像进行畸变校正；(9)根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。...

【技术特征摘要】
1.一种车载鱼眼摄像头自标定的方法，包括如下步骤：(1)利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频；(2)提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上；(3)跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息；(4)建立鱼眼摄像头拟合模型：其中，rd为得到的畸变图像的特征点到主点坐标的距离，ru为得到的畸变校正后图像对应的特征点到主点坐标的距离，k1、k2、k3、k4和k5为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k1,k2,k3,k4,k5)；(5)利用步骤(3)获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：5a)将步骤(3)获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u1、u2和u3分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v1、v2和v3分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u0和v0分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θd1)、s(θd2)和s(θd3)分别为步骤(4)得到的鱼眼摄像头拟合模型在三幅不同鱼眼图像中的值，和fx和fy分别为焦距在x轴和y轴方向的分量；5b)对带入的行列式J中的s(θd1)、s(θd2)和s(θd3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型：和5c)对得到的鱼眼摄像头单参数除法模型与模型进行拟合，其中rd＝fθd为鱼眼摄像头等距投影模型，表示畸变图像的特征点到主点坐标的距离，ru＝ftanθd表示畸变校正后图像对应的特征点...

【专利技术属性】
技术研发人员：姜光，王瑞，石恬，贾静，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61