基于两组相机的大型零件全局形貌测量方法技术

本发明专利技术基于两组相机的大型零件全局形貌测量方法属于视觉测量领域，涉及一种基于两组相机的大型零件全局形貌测量方法。测量方法采用前面两台左、右测量相机和后面两台左、右定位相机分别采集被测零件形貌信息及全局控制坐标，结合U形测量板以及地面控制点阵，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；利用CATIA软件处理点云数据，采用图像拟合去除误差点获得大型零件全局形貌模型。测量方法具有测量视场范围大、效率高，且测量设备成本低，能快速完成工业现场大型零件的全局形貌测量工作。

【技术实现步骤摘要】
基于两组相机的大型零件全局形貌测量方法
本专利技术属于视觉测量领域，涉及一种基于两组相机的大型零件全局形貌测量方法，该方法可以实现对大视场范围内复杂工况下零件形貌的全局测量，进而完成零件建模并且获得对应的几何参数。
技术介绍
目前，大型飞机的生产制造水平是一个国家综合国力以及工业化水平的重要体现，大型飞机的应用越来越广泛，其生产制造以及装配过程中对大型零部件的精确测量是保证飞机安全生产的重要保证。由于航空零部件大型化、复杂化、精密化的特点，在测量现场往往需要建立全局的坐标控制场以实现大型零部件的测量，传统测量方法难以满足测量要求。现阶段针对航空领域大型零部件形貌测量国内外主要有以下几种方法：机器视觉法、激光跟踪仪测量法、室内GPS测量法、激光雷达测量法以及三坐标测量法等。传统的机器视觉法一般是通过相机获取被测物的二维信息，通过对图像特征进行提取匹配完成测量任务；激光跟踪仪测量法是利用高精度激光测距以及角度追踪完成对被测物几何信息的精确测量；针对大型零件的测量已申请的相关的专利技术专利有：专利技术人刘巍等，《一种大型复合板材几何参数视觉测量方法》，专利号：201410708310.9，提出了利用传统视觉测量设备结合激光跟踪仪进行大型板材类零件测量的方法，优点是结合了多种测量设备，精度较高，但是每次相机移动后都需要重新标定，操作相对复杂。专利技术人刘巍等，《采用坐标跟踪控制板的大视场全局测量方法》，专利号：201510338809.X，提出了一种全局视觉测量方法，优点是解决了大视场测量重复标定的问题，但是需依靠价格高昂的激光跟踪仪，测量成本较高。
技术实现思路
本专利技术目的是针对航空领域大型飞机零部件生产装配检测中测量效率低，测量流程复杂以及测量成本高的问题。专利技术了一种基于两组相机的大型零件全局形貌测量方法，将两组共四台相机安装在固定支架上，利用视觉标定方法结合测量现场的坐标控制点快速实现测量现场全局坐标系的建立和控制，最终配合机器视觉产品结合零件表面的特征点获得零件点云数据，建立零件整体形貌，进而完成对零部件的精确测量。本专利技术专利，提出了全局控制点的测量方案，既克服了大视场测量重复标定的问题，而且只依靠传统的视觉采集设备就可以完成，测量成本较低，具有很广阔的应用前景。本专利技术采用的技术方案是一种基于两组相机的大型零件全局形貌测量方法，其特征是，测量方法采用前面两台测量相机和后面两台定位相机分别采集被测零件形貌信息及全局控制坐标，基于两组双目相机的相对位置不变性及全局坐标的不变性，结合U形测量板以及地面控制点，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，通过对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；根据全局外参数，重建被测物轮廓信息的点云数据；在全局控制坐标范围内移动相机，基于全局控制坐标的不变性，将多次采集数据统一到全局坐标系下，从而获取完整的被测物点云信息；最后，利用CATIA软件处理点云数据，基于图像拟合去除误差点获得大型零件全局形貌模型，从而实现大型零件全局形貌测量；方法的具体实现步骤如下：第一步全局控制点的设计在测量现场地面布置地面控制点阵4，控制点A、B、C保持正交约束，其他控制点间隔100mm进行布置，且与B、C控制点保持共线，具体数量根据测量现场视场以及测量零件的尺寸决定，公式如下。其中，N表示现场需要布置的地面控制点数量，l表示被测零件的最大测量长度，ceil函数表示取比括号内计算值大的最小整数。以其中A、B、C控制点为基准点建立全局控制坐标系记为ObXYZ。第二步前后两组双目相机的标定(1)前后两组双目相机的内参数标定利用张氏标定法结合标定公式(2)分别对前面左、右测量相机5，6以及后面右、左定位相机7，8进行标定：其中[uv1]T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[XwYwZw1]T是棋盘格标定板上角点的空间三维坐标组成的齐次矩阵，完成相机內参数标定。同时可以得到两台相机之间的F矩阵，用于后期的特征匹配。(2)前后两组双目相机相对位置的标定结合U形测量板11，利用张氏标定结果，前面左、右测量相机5，6重建U形测量板前测量版10的位置信息，即为空间坐标集Ω1＝[X1Y1Z11]T。同理，也能得到U形测量板后测量版13相对于后面右、左定位相机7，8的空间坐标集Ω2＝[X2Y2Z21]T。由于U形测量板的前后测量板之间的相对位置关系是固定且已知的，记为Xu＝[RuTu]，那么结合欧拉坐标系变换公式其中，H是坐标向量的夹角，得到前面左、右测量相机5，6分别相对于后面右、左定位相机7，8的位置关系X1＝[R1T1]和X2＝[R2T2]。并将坐标系统一到后面左定位相机8，记为OTXYZ。(3)全局外参数的标定利用后面右、左定位相机7，8结合布置好的地面标志点阵4，我们将全局的世界坐标系OwXYZ定义在由标志点A、B、C所确定的全局控制坐标系ObXYZ上，后面右、左定位相机7，8的外参数矩阵获得全局世界坐标系OwXYZ相对于后面右、左定位相机7，8的位置变换关系，记为X3＝[R3T3]，再结合上一步获得的前面左、右测量相机5，6和后面右、左定位相机7，8的相对位置关系X1＝[R1T1]和X2＝[R2T2]，那么将矩阵相乘即X4＝X1·X3＝[R1T1]·[R3T3](4)X5＝X2·X3＝[R2T2]·[R3T3](5)获得测量相机相对于全局世界坐标系的位置变换关系，即矩阵X4和X5，这样就确定了全场的测量外参数。第三步被测物表面轮廓信息的提取与重建完成全局坐标建立后，分别用前面左、右测量相机5，6以及后面右、左定位相机7，8对被测物1以及地面标记点阵4进行测量，后面右、左定位相机7，8结合地面标志点阵4将前面左、右测量相机5，6的世界坐标系统一到已确定的坐标系下，针对测量相机采集的被测物图像，利用椭圆形图像中心灰度重心提取方法，公式如下其中：f(u,v)为特征点像素坐标(u,v)位置像素点的灰度值，Ω为边缘提取区域内像素目标的集合，为内切圆圆心的图像坐标。从而获取被测物表面的特征点二维信息，再结合标定结果以及基于灰度差平方方式的左右对应点匹配公式其中S为两个邻域窗的相似度，I(x,y)为目标函数在(x,y)处的灰度值，T(x,y)为源图像在(x,y)处的灰度值。由此将二维信息还原成为三维点信息。之后移动相机根据全局标定结果，将测量结果统一到坐标系ObXYZ下，最终获取整个被测物的全局三维点云数据。第四步还原零件形貌完成视觉测量利用CATIA软件处理三维点云信息，在DigitizedShapeEditor模块下，导入点云数据，定义点云输入百分比以及点云方向，根据匹配公式(8)设置点偏移阈值为95％，剔除误匹配点以及误差点，利用曲面重构模块，对群数据进行过滤并选择合适的点建立固定坐标系，根据拍摄视场将获得的所有点云数据分区域进行网格重构，通过曲面光整，缝补，将区域信息整合拼接，完成点云数据的逆向建模，得到被测物1的整体形貌，进而可利用CATIA的测量分析工具，针对整个大型零件的形貌轮廓模型获取需要的测量信息。本专利技术的效果和益处是：专利技术了一种基于两组相机的大型零件全局形貌测量方法，将两组共四台相机安装在固定支架上，利用视觉本文档来自技高网...

【技术保护点】
一种基于两组相机的大型零件全局形貌测量方法，其特征是，测量方法采用前面两台左、右测量相机和后面两台左、右定位相机分别采集被测零件形貌信息及全局控制坐标，结合U形测量板以及地面控制点阵，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；根据全局外参数，重建被测物轮廓信息的点云数据；在全局控制坐标范围内移动相机，将多次采集数据统一到全局坐标系下，从而获取完整的被测物点云信息；最后，利用CATIA软件处理点云数据，采用图像拟合去除误差点获得大型零件全局形貌模型，实现大型零件全局形貌测量；测量方法的具体实现步骤如下：第一步地面控制点阵的设计在测量现场地面布置地面控制点阵(4)，地面控制点阵(4)由控制点(A、B、C、……N)构成，其中，控制点(A)与控制点(B、C)保持正交约束，除控制点(A)外其他控制点与(B、C)控制点保持共线，布置各控制点之间的间隔为R，控制点的具体数量根据测量现场视场以及测量零件的尺寸决定，公式如下；其中，N表示现场需要布置的地面控制点数量，l表示被测零件的最大测量长度，ceil( )函数表示取比括号内计算值大的最小整数；以控制点(A、B、C)为基准点建立全局控制坐标系记为ObXYZ；第二步前后两组双目相机的标定(1)前后两组双目相机的内参数标定利用张氏标定法结合标定公式(2)分别对前面左、右测量相机(5，6)以及后面右、左定位相机(7，8)进行标定：其中，[u v 1]T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[Xw Yw Zw 1]T是棋盘格标定板上角点的空间三维坐标组成的齐次矩阵，完成相机內参数标定；同时得到两台相机之间的F矩阵，用于后期的特征匹配；(2)前后两组双目相机相对位置的标定结合U形测量板(11)，利用张氏标定结果，前面左、右测量相机(5，6)重建U形测量板前测量版(10)的位置信息，即为空间坐标集Ω1＝[X1 Y1 Z1 1]T；同理，也能得到U形测量板后测量版(13)相对于后面右、左定位相机(7，8)的空间坐标集Ω2＝[X2 Y2 Z2 1]T；由于U形测量板(11)的前后测量板之间的相对位置关系是固定且已知的，记为Xu＝[Ru Tu]，结合欧拉坐标系变换公式其中，H是坐标向量的夹角，得到前面左、右测量相机(5，6)分别相对于后面右、左定位相机(7，8)的位置关系X1＝[R1 T1]和X2＝[R2 T2]；并将坐标系统一到左后方的定位相机(8)，记为OTXYZ；(3)全局外参数的标定利用后面右、左定位相机(7，8)结合地面布置好的地面控制点阵(4)，我们将全局的世界坐标系OwXYZ定义在由标志点(A、B、C)所确定的全局控制坐标系ObXYZ上，后面右、左定位相机(7，8)的外参数矩阵获得全局世界坐标系OwXYZ相对于右、左定位相机(7，8)的位置变换关系，记为X3＝[R3 T3]，再结合上一步获得前面左、右测量相机(5，6)和后面右、左定位相机(7，8)的相对位置关系X1＝[R1 T1]和X2＝[R2 T2]，X4＝X1·X3＝[R1 T1]·[R3 T3]   (4) X5＝X2·X3＝[R2 T2]·[R3 T3]   (5) 将矩阵相乘获得测量相机相对于全局世界坐标系的位置变换关系，即矩阵X4和X5，这样就确定了全场的测量外参数；第三步被测物表面轮廓信息的提取与重建完成全局坐标建立后，分别用前面左、右测量相机(5，6)以及后面右、左定位相机(7，8)对被测物(1)以及地面标记点阵(4)进行测量，后面右、左定位相机(7，8)结合地面标志点阵(4)将前面左、右测量相机(5，6)的世界坐标系统一到已确定的坐标系下， 针对测量相机采集的被测物图像，利用椭圆形图像中心灰度重心提取方法，公式如下其中：f(u,v)为特征点像素坐标(u,v)位置像素点的灰度值，Ω为边缘提取区域内像素目标的集合，为内切圆圆心的图像坐标；从而获取被测物表面的特征点二维信息，再结合标定结果以及基于灰度差平方方式的左右对应点匹配公式其中，S为两个邻域窗的相似度，I(x,y)为目标函数在(x,y)处的灰度值，T(x,y)为源图像在(x,y)处的灰度值；由此将二维信息还原成为三维点信息；之后移动相机根据全局标定结果，将测量结果统一到坐标系ObXYZ下，最终获取整个被测物(1)的全局三维点云数据；第四步还原零件形貌完成视觉测量利用CATIA软件处理三维点云信息，在Digitized Shape Editor模块下，导入点云数据，定义点云输入百分比以及点云方向，根据匹配公式(8)设置点偏移阈值为95％，剔除误匹配点以及误差点，利 用曲面重构模块，对群数据进行过滤并选择合适的点建立固定坐标系，根据拍摄视场将获得的所有...

【技术特征摘要】
1.一种基于两组相机的大型零件全局形貌测量方法，其特征是，测量方法采用前面两台左、右测量相机和后面两台左、右定位相机分别采集被测零件形貌信息及全局控制坐标，结合U形测量板以及地面控制点阵，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，对每组图像中被测零件表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；根据全局外参数，重建被测零件轮廓信息的点云数据；在全局控制坐标范围内移动相机，将多次采集数据统一到全局坐标系下，从而获取完整的被测零件点云信息；最后，利用CATIA软件处理点云数据，采用图像拟合去除误差点获得大型零件全局形貌模型，实现大型零件全局形貌测量；测量方法的具体实现步骤如下：第一步地面控制点阵的设计在测量现场地面布置地面控制点阵(4)，地面控制点阵(4)由控制点A、B、C、……N构成，其中，控制点A与控制点B、C保持正交约束，除控制点A外其他控制点与B、C控制点保持共线，布置各控制点之间的间隔为R，控制点的具体数量根据测量现场视场以及测量零件的尺寸决定，公式如下；其中，N表示现场需要布置的地面控制点数量，l表示被测零件的最大测量长度，ceil()函数表示取比括号内计算值大的最小整数；以控制点A、B、C为基准点建立全局控制坐标系记为ObXYZ；第二步前后两组双目相机的标定(1)前后两组双目相机的内参数标定利用张氏标定法结合标定公式(2)分别对前面左、右测量相机(5，6)以及后面右、左定位相机(7，8)进行标定：其中，[uv1]T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[XwYwZw1]T是棋盘格标定板上角点的空间三维坐标组成的齐次矩阵，完成相机內参数标定；同时得到两台相机之间的F矩阵，用于后期的特征匹配，其中，s为投影模型的比例因子，A为相机标定的內参数矩阵，R为相机标定外参数矩阵中欧拉旋转矩阵，r1、r2和r3分别为旋转矩阵R的三个正交向量，t为相机标定外参数矩阵中平移向量；(2)前后两组双目相机相对位置的标定结合U形测量板(11)，利用张氏标定结果，前面左、右测量相机(5，6)重建U形测量板前测量版(10)的位置信息，即为空间坐标集Ω1＝[X1Y1Z11]T；同理，也能得到U形测量板后测量版(13)相对于后面右、左定位相机(7，8)的空间坐标集Ω2＝[X2Y2Z21]T；由于U形测量板(11)的前后测量板之间的相对位置关系是固定且已知的，记为Xu＝[RuTu]，结合欧拉坐标系变换公式其中，H是坐标向量的夹角，得到前面左、右测量相机(5，6)分别相对于后面右、左定位相机(7，8)的位置关系X1＝[R1T1]和X2＝[R2T2]；并将坐标系统一到左后方的定位相机(8)，记为OTXYZ；(3)全局外参数的标定利用后面右、左定位相机(7，8)结合地面布置好的地面控制点阵(4)，我们...

【专利技术属性】
技术研发人员：刘巍，杨帆，张洋，李晓东，高鹏，贾振元，高航，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21