一种基于立体标定靶的多路鱼眼相机标定装置及方法制造方法及图纸

本发明专利技术公开了一种基于立体标定靶的多路鱼眼相机标定装置及方法，属于摄像机标定技术领域。该方法包括：建立立体坐标系；采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像；选取等距投影畸变模型；计算镜头内参数及镜头坐标系与所有平面标定板坐标系之间的外参数；计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；对获取的镜头内外参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；该标定方法采用折叠式标定靶来实现镜头内外参数的标定，能够获取高质量的标定图像，根据已知的立体标定靶和镜头之间的位置关系，对镜头内外参数进行优化，大大提高了相机标定的精度。

【技术实现步骤摘要】

本专利技术涉及摄像机标定
，尤其涉及一种基于立体标定靶的多路鱼眼相机标定装置及方法。
技术介绍
相机模型反映的是物体空间和图像平面的映射关系，而摄像机标定即确定反映摄像机几何特性和光学特性的内部参数与外部参数。其中，内部参数为镜头的固有参数，不会因为镜头位置变化等原因而改变；而外参数反映的是镜头坐标系与标定板所在空间的世界坐标系的位置关系，会因为镜头位置变化等原因而发生变化。对于以镜头为主要设备的视觉系统，例如全景相机来说，摄像机标定结果直接影响着全景相机图像拼接质量的好坏。目前常用的相机标定方法是基于传统相机标定方法，传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数，根据标定物的不同可分为三维标定物和平面型标定物。基于二维标定物的相机标定方法，相机和平面标定物都可以自由移动，不需要知道运动参数，标定过程灵活、标定结果精度较高，但是，由于二维标定物的面积不宜过大，所以在二维标定物相对视场较小时，提取的特征点数量不够，标定的精度不高。基于三维标定物的相机标定可由单幅图像进行标定，标定精度较高。目前所使用的立体标定靶存在自身遮挡，不太容易获取高质量的标定图像，而且标定板的加工难度大、用途比较局限等问题。
技术实现思路
本专利技术为克服现有立体标定靶存在加工难度大，自身遮挡且标定精度不高等技术问题，旨在提供一种加工简单无自身遮挡的基于立体标定靶的多路鱼眼相机标定装置，还提供了一种标定精度高的基于立体标定靶的多路鱼眼相机标定方法。本专利技术提供了一种基于立体标定靶的多路鱼眼相机标定装置，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述第一底板与所述第二底板的夹角为(0°，150°)；所述标定靶与所述全景摄像模块任何一路相机相对，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。进一步的，所述鱼眼镜头及图像传感器均为4个。进一步的，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶、第三标定靶、第四标定靶，所述第二标定靶、第三标定靶、第四标定靶分别与全景摄像模块的另外三路相机的镜头相对。另外，本专利技术还提供了一种基于立体标定靶的多路鱼眼相机标定方法，利用上述任一项所述的标定装置对鱼眼相机进行标定，包括如下步骤：以连接轴为立体标定靶坐标系,第一标定板为第一标定坐标系,第二标定板为第二标定坐标系,两个平面标定板与立体标定靶坐标系之间的平移和旋转关系表示为(R1，T1)，(R2，T2)；采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像；选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及镜头坐标系与所有平面标定板坐标系之间的外参数；具体计算方法如下：提取所有平面标定板在图像平面内的特征点坐标，计算各平面标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[RT]；M是摄像机的内参数矩阵，其中包括x方向焦距fx，y方向焦距fy，图像中畸变图像的中心点坐标(cx，cy)；由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，外部参数是指镜头坐标系与所有平面标定板坐标系之间的旋转和平移关系；根据镜头坐标系与所有平面标定板坐标系之间的外参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转平移关系,计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；根据求解得到的镜头的内外参数、计算出来的两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵以及选定的畸变模型，对获取的镜头内部参数和外部参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；具体方法如下：采用Levenberg-Marquardt算法进行摄像机参数优化，建立以重投影误差为最小的优化目标函数如下：公式(6)中，是空间点Pj转换成立体标定靶坐标系下的坐标后，通过摄像机成像模型投影得到的带有镜头畸变的重投影图像其次坐标，mij是采用角点检测方法得到的像素坐标点，M是镜头内部参数矩阵，K是径向畸变系数，R1,T1,R2,T2表示两个平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵和平移向量；是立体标定靶坐标系与镜头坐标系之间的旋转矩阵与平移向量，m表示拍摄立体标定靶的数目，n表示立体标定靶中特征点总个数。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像步骤中，通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像步骤中，通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像步骤中，通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在(0°,150°)。进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像步骤中，通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。进一步的，所述采用全景摄像模块的每路鱼本文档来自技高网...

【技术保护点】
一种基于立体标定靶的多路鱼眼相机标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述第一底板与所述第二底板的夹角为(0°,150°)；所述标定靶与所述全景摄像模块任何一路相机相对，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

【技术特征摘要】
1.一种基于立体标定靶的多路鱼眼相机标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述第一底板与所述第二底板的夹角为(0°,150°)；所述标定靶与所述全景摄像模块任何一路相机相对，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。2.根据权利要求1所述的基于立体标定靶的多路鱼眼相机标定装置，其特征在于，所述鱼眼镜头及图像传感器均为4个。3.根据权利要求2所述的基于立体标定靶的多路鱼眼相机标定装置，其特征在于，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶、第三标定靶、第四标定靶，所述第二标定靶、第三标定靶、第四标定靶分别与全景摄像模块的另外三路相机的镜头相对。4.一种基于立体标定靶的多路鱼眼相机标定方法，利用如权利要求1至3任一项所述的标定装置对鱼眼相机进行标定，其特征在于，包括如下步骤：以连接轴为立体标定靶坐标系,第一标定板为第一标定坐标系,第二标定板为第二标定坐标系,两个平面标定板与立体标定靶坐标系之间的平移和旋转关系表示为(R1，T1)，(R2，T2)；采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像；选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：xs-cxys-cy=θdrxc-cxyc-cy;---(3)]]>公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及镜头坐标系与所有平面标定板坐标系之间的外参数；具体计算方法如下：提取所有平面标定板在图像平面内的特征点坐标，计算各平面标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：q~=sMWQ~,whereM=fx0cx0fycy001;---(4)]]>公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[RT]；M是摄像机的内参数矩阵，其中包括x方向焦距fx，y方向焦距fy，图像中畸变图像的中心点坐标(cx，cy)；由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南;43