摄像机与二维激光测距仪联合使用时的外参数标定方法技术

本发明专利技术摄像机与二维激光测距仪联合使用时的外参数标定方法，涉及物体三维信息图像处理，是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，折叠式标定板是由矩形黑白小平面相间拼接成的可展开可折叠的长平面，使用时将其展开，展开的角度可自由调整；采用Matlab相机标定工具箱来进行摄像机内参数标定；构建摄像机与二维激光测距仪系统；放置折叠式标定板并选择系统最少采集信息次数完成标定；摄像机与二维激光测距仪分别采集和处理图像信息和二维信息；将处理后的摄像机信息与二维激光测距仪信息一一匹配进行联合标定；利用Levenberg-Marquardt算法优化标定结果，完成标定工作。

【技术实现步骤摘要】
摄像机与二维激光测距仪联合使用时的外参数标定方法
本专利技术的技术方案涉及物体三维信息图像处理，具体地说是摄像机与二维激光测距仪联合使用时的外参数标定方法。
技术介绍
摄像机与二维激光测距仪的联合应用已经十分广泛于三维信息获取、机器人运动信息和三维重建等技术中。二维激光测距仪可以直接测量到物体的二维信息，并且测量精度高，而摄像机能获得包括颜色和形状等信息的图片；如果能联合使用摄像机与二维激光测距仪，将它们的优点结合起来，将可以获得被测量物体更加丰富和全面的信息，并且提高测量的精确性和简化信息处理过程。然而，要将摄像机与二维激光测距仪联合使用，首先就要将摄像机与二维激光测距仪进行标定处理。现有技术中，进行标定处理所用的标定板在应用于摄像机与二维激光测距仪标定时有着不少缺陷。如文献Q.ZhangandR.Pless,“Extrinsiccalibrationofacameraandlaserrangefinder(Improvescameracalibration),”inIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems,vol.3,2004,pp.2301–2306.提出了用棋盘格作为标定板。现在用的最多的也是zhang的方法，首先其完成一次标定最少需要5次棋盘格数据，使得测量过程繁琐；其次，由于标定过程需要计算摄像机外参数，当棋盘格距离摄像机距离较远时，其外参数计算很容易受到影响，棋盘格的摆放位置也会直接影响标定结果；再次，由于标定过程需要计算摄像机外参数，标定板又要放到较远的位置，一般距二维激光测距仪1～2米，这使得棋盘格标定板规格较大，不易于携带做室外测量实验；最后由于不同的二维激光测距仪的扫描角度不同，在放置标定板时要放置在合理的扫描角度内，这个放置位置需要多次实验验证，不合理要重新摆放。文献G.Li,Y.Liu,L.Dong,X.Cai,andD.Zhou,“Analgorithmforextrinsicparameterscalibrationofacameraandalaserrangefinderusinglinefeatures,”inIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems,2007,pp.3854–3859.提出了用等腰直角三角形作为标定板，该方法也需要最少5次数据才能完成标定，并且该方法首先需要大致估计标定结果，用该结果作为初值，再利用建立的约束方程求解最终标定结果，导致估计的初值对最后标定结果影响较大。
技术实现思路
本专利技术所要解决的技术问题是：提供摄像机与二维激光测距仪联合使用时的外参数标定方法，利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定，克服了现有技术测量过程繁琐、精确度较差、标定板规格较大不易于携带和标定过程中估计的初值对最后标定结果影响较大的缺陷。本专利技术解决该技术问题所采用的技术方案是：摄像机与二维激光测距仪联合使用时的外参数标定方法，是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，步骤如下：第一步，设计折叠式标定板：摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由2～10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距fx、fy和成像主点(u0,v0)，内参数K为第三步，构建摄像机与二维激光测距仪系统：将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1～2米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，所用折叠式标定板有n≥2个黑白小平面,则需要采集8/(n-1)向上取整数次的信息完成标定；第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为PC，该点在二维激光测距仪坐标系下表示为激光点PL，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：PC＝R·PL+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[abc]，将直线方程的系数由向量l保存，上述的激光点PL将位于该直线l上，二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光测距仪坐标系的点坐标为激光点由平面间空间几何关系，二维激光测距仪在平面检测到一系列点，其中黑白平面相间处即黑白相间的直线的点的y坐标会是极大值或极小值，将这些在黑白相间直线上的激光点提取出来，将这些激光点由向量PL保存；第六步，将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定：将第五步处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定，方法如下：在图像坐标系中，图像上的点为则其齐次坐标表示为图像坐标系与摄像机坐标系下的坐标变换关系为其中λ为尺度因子，K为第二步中求得的摄像机的内参数，PC为点P在摄像机坐标系下的坐标，其坐标表示为将第五步中计算机提取到的图像中黑白相间的直线l和检测到的位于该直线l上的激光点PL一一对应匹配，摄像机坐标系与二维激光测距仪坐标系的变换关系为PC＝R·PL+t，其中R、t分别为两坐标系变换的旋转矩阵和平移向量，也即最终标定的结果，由于在二维激光坐标系中zl＝0，所以二维激光坐标系中激光点PL的齐次坐标表示为则摄像机坐标系与二维激光测距仪坐标系的变换关系可表示为因此图像坐标系与二维激光测距仪坐标系的变换关系可表示为图像上的点p在图像上的黑白相间的直线l上，则即可推导出：其中H＝[r1r2t]为要求解的矩阵，该矩阵有9个参数，但由于该方程为齐次方程，所以只需要8组方程就可本文档来自技高网...

【技术保护点】
摄像机与二维激光测距仪联合使用时的外参数标定方法，其特征在于：是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，步骤如下：第一步，设计折叠式标定板：摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由2～10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距fx、fy和成像主点(u0,v0)，内参数K为K=fx0u00fyv0001;]]>第三步，构建摄像机与二维激光测距仪系统：将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1～2米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，所用折叠式标定板有n≥2个黑白小平面,则需要采集8/(n‑1)向上取整数次的信息完成标定，例：折叠式标定板有4个黑白小平面则需要采集3次信息完成标定，折叠式标定板有9个黑白小平面则需要采集1次信息完成标定；第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为PC，该点在二维激光测距仪坐标系下表示为激光点PL，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：PC＝R·PL+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存，上述的激光点PL将位于该直线l上，二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光测距仪坐标系的点坐标为激光点PL=xlyl0,]]>由平面间空间几何关系，二维激光测距仪在平面检测到一系列点，其中黑白平面相间处即黑白相间的直线的点的y坐标会是极大值或极小值，将这些在黑白相间直线上的激光点提取出来，将这些激光点由向量PL保存；第六步，将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定：将第五步处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定，方法如下：在图像坐标系中，图像上的点为p=uv,]]>则其齐次坐标表示为p~=uv1,]]>图像坐标系与摄像机坐标系下的坐标变换关系为其中λ为尺度因子，K为第二步中求得的摄像机的内参数，PC为点P在摄像机坐标系下的坐标，其坐标表示为PC=xcyczc,]]>将第五步中计算机提取到的图像中黑白相间的直线l和检测到的位于该直线l上的激光点PL一一对应匹配，摄像机坐标系与二维激光测距仪坐标系的变换关系为PC＝R·PL+t，其中R、t分别为两坐标系变换的旋转矩阵和平移向量，也即最终标定的结果，R=r1r2r3,t=t1t2t3]]>由于在二维激光坐标系中zl＝0，所以二维激光坐标系中激光点PL的齐次坐标表示为P~L=xlyl1,]]>则摄像机坐标系与二维激光测距仪坐标系的变换关系可表示为PC=r1r2t·P~L,]]>因此图像坐标系与二维激光测距仪坐标系的变换关系可表示为p~=λ·K·r1r2t·P~L,]]>图像上的点p在图像上的黑白相间的直线l上，则abc·uv1=0,]]>即l·p~=0,]]>可推导出：l·λ&CenterD...

【技术特征摘要】
1.摄像机与二维激光测距仪联合使用时的外参数标定方法，其特征在于：是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，步骤如下：第一步，设计折叠式标定板：摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由2～10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距fx、fy和成像主点(u0,v0)，内参数K为第三步，构建摄像机与二维激光测距仪系统：将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1～2米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，所用折叠式标定板有n≥2个黑白小平面,则需要采集8/(n-1)向上取整数次的信息完成标定；第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为PC，该点在二维激光测距仪坐标系下表示为激光点PL，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：PC＝R·PL+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[abc]，将直线方程的系数由向量l保存，上述的激光点PL将位于该直线l上，二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ...

【专利技术属性】
技术研发人员：胡钊政，赵斌，张兰，柏东芳，夏克文，刘国忠，李冰，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12