双目立体视觉摄像机标定参数的整体优化方法技术

本发明专利技术公开了一种双目立体视觉摄像机标定参数的整体优化方法，是一种通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数的方法其针对双目立体视觉测量系统，利用两台摄像机同时拍摄二维棋盘格标定板的图像，提出了一种将所有参数进行整体优化的优化方法；视标定板上所有特征点为共面特征点，以位于标定板左上角的特征点为原点建立标定板坐标系，标定板上所有特征点在标定板坐标系下已知，通过坐标变换分别得到标定板坐标系同左右摄像机坐标系的旋转矩阵和平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数。

【技术实现步骤摘要】
双目立体视觉摄像机标定参数的整体优化方法
本专利技术属于计算机视觉检测领域，特别涉及一种双目立体视觉摄像机标定参数的整体优化方法。
技术介绍
双目立体视觉是根据双目摄像机同时拍摄的两张图片的二维图像信息得到物体的几何三维信息。从二维信息恢复三维信息依赖于双目视觉系统的模型，最重要的是需要确定摄像机成像几何模型，该几何模型的参数称为摄像机参数。摄像机内参数为摄像机与几何和光学特性有关的参数，内参数只依赖于摄像机自身的制造特点，外参数为摄像机坐标系相对于建立好的世界坐标系的旋转和平移。摄像机标定过程就是确定摄像机内、外参数的过程，标定方法的精度直接影响到计算机视觉测量的精度。因此，对摄像机进行快速、简捷、精准标定的研究无疑具有重大的意义。目前摄像机标定方法可以分为三类：传统标定方法、自标定法和基于主动视觉的标定方法。传统标定方法标定精度高，但标定过程繁琐、鲁棒性差。自标定法效率高，但依赖严重特征点提取，精度无法保证。基于主动视觉标定方法精度较高，适应性强，能应用于复杂工况，是进行标定较好选择。目前对标定的优化方法大多为复杂非线性算法，引入很多参数作为迭代变量，需要大量计算，若模型设计不当，更容易加大计算量，同时导致结果并不稳定，容易导致结果不收敛，无法得到正确结果。
技术实现思路
本专利技术主要解决的是各参数在摄像机标定过程中的误差问题，针对双目立体视觉测量系统，利用两台摄像机同时拍摄二维棋盘格标定板的图像，提出了一种将所有参数进行整体优化的优化方法；视标定板上所有特征点为共面特征点，以位于标定板左上角的特征点为原点建立标定板坐标系，标定板上所有特征点在标定板坐标系下已知，通过坐标变换分别得到标定板坐标系同左右摄像机坐标系的旋转矩阵和平移向量，再通过得到的旋转矩阵及平移向量优化摄像机内、外参数。本专利技术通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数，利用双目摄像机同时拍摄二维棋盘格标定板，根据标定板和摄像机的坐标对应关系分别得到左、右摄像机坐标系和标定板坐标系的旋转矩阵及平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数；具体步骤如下：步骤1：拍摄棋盘格标定板并建立标定板坐标系利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0。步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型利用初始摄像机参数以及上一步骤中得到的两张标定板图像可以重建出标定板上特征点在世界坐标系下的三维坐标，一般将世界坐标系与双目摄像机其中一个摄像机坐标系重合，所以重建的三维坐标可以视作该选定摄像机坐标系下的三维坐标，利用初始外参数可以得到重建点在另一摄像机下的三维坐标，此时得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标。利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵RL和平移向量tL，标定板坐标系到右摄像机坐标系的旋转矩阵RR和平移向量tR。选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P1,P1′),(P2,P2′),...,(Pn,Pn′)}，其中Pi为特征点在标定板坐标系坐标，Pi′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取旋转矩阵R0和平移向量t0，点集中对应空间点的关系为Pi′＝R0Pi+t0，建立如下模型估计参数(R0,t0)：步骤3：求取旋转矩阵R0和平移向量t0首先求取点集质心所在坐标，具体计算为：其中为各特征点各轴分量的均值，Pi为特征点在标定板坐标系坐标，Pi′为特征点在摄像机坐标系坐标，i＝1,2,3…n。将点集质心移动至坐标系原点处，平移后的空间点为：其中为在标定板坐标系下质心移至坐标原点后的特征点坐标，为在摄像机坐标系下质心移至坐标原点后的特征点坐标。由公式(1)(2)(3)，得到因此，目标函数简化为只估计旋转矩阵，具体形式如下：得到旋转矩阵之后，利用质心坐标的求出平移向量如下：步骤4：建立优化模型优化标定参数利用摄像机的内部参数、摄像机坐标系与标定板坐标系的旋转矩阵和平移向量求解标定板上除上一步骤选取的特征点之外的所有特征点重投影坐标具体算法如下：其中，rij为旋转矩阵R的第i行、第j列上的元素，平移向量t＝(t1,t2,t3)T，fx为摄像机横向尺度因子，fy为摄像机纵向尺度因子，u0为主点在像素坐标系下的横坐标，v0为主点在像素坐标系下的纵坐标，(XW,YW,ZW)为特征点在世界坐标系下的坐标。根据已知畸变系数，将实际拍摄获得的像点坐标(ui′,vi′)校正为相应的理想像点坐标(ui,vi)；建立优化模型通过迭代极小化重投影像点坐标和理想像点坐标的偏差，目标优化函数为：本专利技术采用LM非线性优化算法，将Hessian阵变为两台的对称正定阵，进行求解，当偏差最小时对应的参数即为优化后的双目立体视觉系统摄像机参数。附图说明附图为双目视觉测量参数整体优化示意图。具体实施方式摄像机标定通常采用经典的小孔成像模型，该模型的表达式如下：其中，(Xw,Yw,Zw,1)T为空间点在世界坐标系中的齐次坐标，(u,v,1)T为对应的图像像点像素坐标系o0uv中的齐次坐标，αx＝f/dx为o0uv坐标系内u轴上的尺度因子，αy＝f/dy为o0uv坐标系内v轴上的尺度因子，f为摄像机镜头焦距，dx与dy分别为像元的横、纵物理尺寸，(u0,v0)为主点坐标，ρc为比例系数，K为摄像机内部参数矩阵，[R|t]为摄像机的外部参数矩阵，其中，R为旋转矩阵，t为平移向量。摄像机内部参数包括主点坐标(u0,v0)、尺度因子αx、αy，径向畸变系数k1、k2与切向畸变系数p1、p2。摄像机外部参数为摄像机坐标系相对于世界坐标系的方位，包括旋转矩阵R与平移向量t。利用双目摄像机同时拍摄二维棋盘格标定板，根据标定板和摄像机的坐标对应关系分别得到左、右摄像机坐标系和标定板坐标系的旋转矩阵及平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数。步骤1：拍摄棋盘格标定板并建立标定板坐标系利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0。步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型；利用初始摄像机参数以及上一步骤中得到的两张标定板图像可以重建出标定板上特征点在世界坐标系下的三维坐标，一般将世界坐标系与双目摄像机其中一个摄像机坐标系重合，所以重建的三维坐标可以视作该选定摄像机坐标系下的三维坐标，利用初始外参数可以得到重建点在另一摄像机下的三维坐标，此时得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标。利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵RL和平移向量tL，标定板坐标系到右摄像机本文档来自技高网...

【技术保护点】
一种双目立体视觉摄像机标定参数的整体优化方法，是一种通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数的方法，其特征在于如下步骤：步骤1：拍摄棋盘格标定板并建立标定板坐标系利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0；步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型利用初始摄像机参数以及上一步骤中得到的两张标定板图像重建出标定板上特征点在世界坐标系下的三维坐标，将世界坐标系与双目摄像机其中一个摄像机坐标系重合，重建的三维坐标视作该选定摄像机坐标系下的三维坐标；利用初始外参数得到重建点在另一摄像机下的三维坐标，得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标；利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵RL和平移向量tL，标定板坐标系到右摄像机坐标系的旋转矩阵RR和平移向量tR；选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P1,P1′),(P2,P2′),...,(Pn,Pn′)}，其中Pi为特征点在标定板坐标系坐标，Pi′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取旋转矩阵R0和平移向量t0，点集中对应空间点的关系为Pi′＝R0Pi+t0，建立如下模型估计参数(R0,t0)；f(R0,t0)=Σi=1n||R0Pi+t0-Pi′||---(1)]]>步骤3：求取旋转矩阵R0和平移向量t0首先求取点集质心所在坐标，具体计算为：P‾=1nΣi=1nPiP‾′=1nΣi=1nPi′---(2)]]>其中为各特征点各轴分量的均值，Pi为特征点在标定板坐标系坐标，Pi′为特征点在摄像机坐标系坐标，i＝1,2,3…n；将点集质心移动至坐标系原点处，平移后的空间点为：P~i=Pi-P‾P~i′=Pi′-P‾′---(3)]]>其中为在标定板坐标系下质心移至坐标原点后的特征点坐标，为在摄像机坐标系下质心移至坐标原点后的特征点坐标；由公式(1)(2)(3)，得到目标函数简化为只估计旋转矩阵，具体形式如下：f(R0)=Σi=1n|R0P~i-P~i′||---(4)]]>得到旋转矩阵之后，利用质心坐标的求出平移向量如下：t0=P‾′-R0P‾---(5)]]>步骤4：建立优化模型优化标定参数利用摄像机的内部参数、摄像机坐标系与标定板坐标系的旋转矩阵和平移向量求解标定板上除上一步骤选取的特征点之外的所有特征点重投影坐标具体算法如下：u^=(fxr11+u0r31)XW+(fxr12+u0r32)YW+(fxr13+u0r33)ZW+fxt1+u0t3r31XW+r32YW+r33ZW+t3v^=(fyr21+v0r31)XW+(fyr22+v0r32)YW+(fyr23+v0r33)ZW+fyt2+v0t3r31XW+r32YW+r33ZW+t3---(6)]]>其中，rij为旋转矩阵R的第i行、第j列上的元素，平移向量t＝(t1,t2,t3)T，fx为摄像机横向尺度因子，fy为摄像机纵向尺度因子，u0为主点在像素坐标系下的横坐标，v0为主点在像素坐标系下的纵坐标，(XW,YW,ZW)为特征点在世界坐标系下的坐标；根据已知畸变系数，将实际拍摄获得的像点坐标(ui′,vi′)校正为相应的理想像点坐标(ui,vi)；建立优化模型通过迭代极小化重投影像点坐标和理想像点坐标的偏差，目标优化函数为：min(Σi=1m((ui-u^i)2+(vi-v^i)2))---(7)]]>采用LM非线性优化算法，将Hessian阵变为两台的对称正定阵，进行求解，当偏差最小时对应的参数即为优化后的双目立体视觉系统摄像机参数。...

【技术特征摘要】
1.一种双目立体视觉摄像机标定参数的整体优化方法，是一种通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数的方法，通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数，利用双目摄像机同时拍摄二维棋盘格标定板，根据标定板和摄像机的坐标对应关系分别得到左、右摄像机坐标系和标定板坐标系的旋转矩阵及平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数；其特征在于如下步骤：步骤1：拍摄棋盘格标定板并建立标定板坐标系利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0；步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型利用初始摄像机参数以及上一步骤中得到的两张标定板图像重建出标定板上特征点在世界坐标系下的三维坐标，将世界坐标系与双目摄像机其中一个摄像机坐标系重合，重建的三维坐标视作该选定摄像机坐标系下的三维坐标；利用初始外参数得到重建点在另一摄像机下的三维坐标，得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标；利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵RL和平移向量tL，标定板坐标系到右摄像机坐标系的旋转矩阵RR和平移向量tR；选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P1,P1′),(P2,P′2),...,(Pn,P′n)}，其中Pi为特征点在标定板坐标系坐标，Pi′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取摄像机坐标系与标定板坐标系旋转矩阵R0和平移向量t0，点集中对应空间点的关系为Pi′＝R0Pi+t0，建立如下模型估计参数(R0,t0)；步骤3：求取摄像机坐标系与标定板坐标系旋转矩阵R0和平移向量t0首先求取点集质心所在坐标，具体计算为：

【专利技术属性】
技术研发人员：贾振元，刘巍，王亮，杨景豪，刘阳，王灵丽，张弛，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21