一种多路鱼眼相机标定装置及方法制造方法及图纸

本发明专利技术公开了一种多路鱼眼相机标定装置及方法，属于摄像机标定技术领域。该方法包括：采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像；选取等距投影畸变模型；根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数；对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值。该方法中对新的折叠式标定靶中标定板进行标定图像采集，降低了对标定区域大小的要求，并且能够保证找到足够的特征点，减轻了算法的复杂程度，此外，在标定板图像采集上更加灵活，可以采集到镜头视野范围内各个区域的图像，大大的提高了相机标定的精度。

Multi channel fisheye camera calibration device and method

The invention discloses a multi-channel fisheye camera calibration device and a method thereof, belonging to the technical field of camera calibration. The method includes: using the panoramic camera module of each camera calibration fisheye different position calibration plate image target; select equidistant projection distortion model parameters were calculated; the lens parameters and each field based on fisheye image and imaging model collected; on internal and external parameters obtained by nonlinear optimization in order to get the best shot M, K, R and external parameters, T value. The method of the new calibration plate folding calibration target calibration image acquisition, reduce the size of the area of calibration requirements, and can ensure enough feature points, reduce the complexity of the algorithm, in addition, the calibration plate image acquisition is more flexible, which can collect the image of each area within the scope of the lens that greatly improves the precision of camera calibration.

【技术实现步骤摘要】
一种多路鱼眼相机标定装置及方法
本专利技术涉及摄像机标定
，尤其是涉及一种多路鱼眼相机标定装置及方法。
技术介绍
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的关系，必须建立相机成像的几何模型，求解这些几何模型参数的过程就是相机标定。无论是在图像测量或者是机器视觉应用中，相机标定都是非常关键的一环，标定精度以及算法的稳定性直接影响着后续相机工作的结果。相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知点与图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆孔标定板以及3D立体标定靶，传统相机标定的方法受标定板的影响很大。相机自标定算法主要是利用场景中的一些平行或者正交的信息，其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强，可对相机进行在线标定，但是由于他是基于绝对二次曲线或曲面的方法，其算法的鲁棒性差，标定的精度不高。目前基于标定物的相机标定方法对标定的场景有较高要求，标定区域要求空间比较充裕，一般是以最小标定距离为半径的圆，并且要求标定场景拥有足够的特征点。
技术实现思路
本专利技术为克服现有基于标定物的相机标定对标定场景要求较高的技术问题，旨在提供一种对标定场景要求较低的多路鱼眼相机标定装置及方法。本专利技术提供了一种多路鱼眼相机标定装置，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。进一步的，所述鱼眼镜头及图像传感器均为4个。进一步的，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。另外，本专利技术还提供了一种多路鱼眼相机标定方法，包括如下步骤：采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像；选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数；具体计算方法如下：提取所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[RT]；M是摄像机的内参数矩阵，其中包括x方向焦距fx，y方向焦距fy，图像中畸变图像的中心点坐标(cx，cy)；由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，内部参数包括：M,K，外部参数Ri,Ti；对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值；具体方法如下，根据求解得到的镜头的内外参数以及选定的畸变模型，采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化，建立以重投影误差为最小的优化目标函数如下：公式(5)中，是根据标定板上的特征点的初始值Pj使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标，mij是采用角点检测方法得到的像素坐标点，m表示拍摄标定板图像的数目，n表示标定板中特征点的个数，M表示镜头标定的内参数，K表示镜头的畸变系数，Ri,Ti表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在[150°，180°]。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，从而改变标定板在鱼眼镜头视野范围内的位置。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，采集图像15至20张。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，四路鱼眼相机同时采集标定靶中不同位置标定板图像。本专利技术公开了一种多路鱼眼相机标定装置及方法，装置中采用具有特定结构的标定靶，能够自动调节标定靶中标定板的位置及角度；还采用了第一电机驱动模块及第一滚轮组对全景摄像模块进行移动及旋转，从而改变每路鱼眼相机相对于标定板的位置；通过对标定板的移动、旋转及全景摄像模块的移动、旋转，实现各路鱼眼相机采集标定靶中不同位置的标定板。方法中对新的折叠式标定靶中标定板进行标定图像采集，降低了对标定区域大小的要求，并且能够保证找到足够的特征点，减轻了算法的复杂程度，此外，在标定板图像采集上更加灵活，可以采集到镜头视野范围内各个区域的图像，大大的提高了相机标定的精度。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本本文档来自技高网...

【技术保护点】
一种多路鱼眼相机标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

【技术特征摘要】
1.一种多路鱼眼相机标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。2.根据权利要求1所述的多路鱼眼相机标定装置，其特征在于，所述鱼眼镜头及图像传感器均为4个。3.根据权利要求2所述的多路鱼眼相机标定装置，其特征在于，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。4.一种多路鱼眼相机标定方法，利用如权利要求1至3任一项所述的标定装置对鱼眼相机进行标定，其特征在于，包括如下步骤：采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像；选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数；具体计算方法如下：提取所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43