一种基于视觉跟踪的三维点云拼合方法及三维测量系统技术方案

本发明专利技术公开了一种基于视觉跟踪的三维点云拼合方法及三维测量系统，所述方法包括：进行球笼式面结构光三维扫描仪、双目红外跟踪器自动标定；通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系；通过双目红外跟踪器同时跟踪球笼式面结构光扫描仪的球笼上的标志点以及与待测大型零部件固定连接的工装件上的标志点，将球笼式面结构光三维扫描仪在的相应视点下测量的待测大型零部件的三维点云数据转换到全局跟踪坐标系下，在全局跟踪下进行三维点云数据拼合。本发明专利技术不需要在待测大型零件上粘贴标志点，且可以满足大型工件测量中高精度、高效测量需求，保证了点云拼接效率和准确性。云拼接效率和准确性。云拼接效率和准确性。

【技术实现步骤摘要】
一种基于视觉跟踪的三维点云拼合方法及三维测量系统


[0001]本专利技术属于点云拼接
，具体涉及一种基于视觉跟踪的三维点云拼合方法及三维测量系统。

技术介绍

[0002]随着三维测量技术的发展，非接触式光学测量方法被广泛应用到工业生产质检之中，其中面结构光三维测量以其测量速度快、精度高、解析度高等优势得到普遍认可。对于大型零部件的三维测量需要从多个角度进行测量，自动化蓝光扫描系统结合蓝光面扫描测量技术、工业机器人以及变位器(直线导轨、转台等)，利用机器人运动灵活性以及变位器的扩展性是解决大型零部件三维测量的最优解决方案。在实际的自动化测量中，面结构光扫描仪固定在工业机器人末端，零件置于变位器之上，通过预先规划的路径，机器人携带扫描仪在不同的视点下对物体进行测量，实现大型零件的自动化三维测量。由于面结构光扫描仪单次测量的坐标系位于相机坐标系下，在不同视点下获取的三维点云需要转换到同一个坐标系下，也即需要点云拼合。
[0003]点云拼合是实现三维测量的关键步骤，也是影响整个系统的关键因素。对于大型零部件的测量，目前最常用的是通过粘贴标志点或者通过其他高精度的测量系统(激光跟踪仪等)获取高精度的特征转换关系实现点云拼接。对于大型零件，常规的点云拼合方式存在以下几个问题：
[0004]1)需在被测物体表面粘贴大量的标志点，零件越大越繁琐，效率低；
[0005]2)测量拼接累计误差大，精度难以保证。
[0006]除了常规的点云拼合方式，目前也有基于线结构光的自动化扫描方案，比如公开号为CN111156925A的专利技术专利公开了一种基于线结构光和工业机器人的大构件三维测量方法，其将相机和线激光器形成线结构光三维测量系统，然后将线结构光三维测量系统扫描的单位点云数据，通过线激光的扫描以及坐标系的转换，实现三维拼接。但是同样可能存在以下几个问题：
[0007]1)为防止反复扫描，整体扫描速度慢，效率低；
[0008]2)线扫扫描仪与跟踪器之间的标定繁琐，需手动完成，标定步骤多，不适合工业自动化测量场景；
[0009]3)易发生丢帧进而导致相机不同步的问题，影响测量精度。

技术实现思路

[0010]有鉴于此，本专利技术提出了一种基于视觉跟踪的三维点云拼合方法及三维测量系统，用于解决现有大型零件三维测量中存在的测量精度差的问题。
[0011]本专利技术第一方面，公开一种基于视觉跟踪的三维点云拼合方法，所述方法包括：
[0012]通过标定板进行球笼式面结构光三维扫描仪自动标定；
[0013]采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定；
[0014]通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系；
[0015]在球笼式面结构光三维扫描仪按照规划路径进行三维测量的过程中，待测大型零部件和与其固定连接的工装件沿着直线导轨滑动，通过固定在支架上的双目红外跟踪器同时跟踪球笼式面结构光扫描仪的球笼上的标志点以及与待测大型零部件固定连接的工装件上的标志点，分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵；
[0016]根据同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵和双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系，将球笼式面结构光三维扫描仪在的相应视点下测量的待测大型零部件的三维点云数据转换到全局跟踪坐标系下，在全局跟踪坐标系下进行三维点云数据拼合。
[0017]在以上技术方案的基础上，优选的，所述球笼式面结构光三维扫描仪自动标定采用张氏标定法，所述标定板采用圆形图案标定板。
[0018]在以上技术方案的基础上，优选的，所述采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定具体包括：
[0019]双目红外跟踪器的左右相机同步拍摄靶标，得到两张二维靶标图像；
[0020]更换靶标在空间中的位置，重复拍摄多组姿态下的靶标图像，提取靶标上圆形标志点中心的亚像素坐标，通过标靶上的编码标志点信息进行图像间的对应标志点匹配，建立各相机多个姿态下视图的对应关系，采用运动恢复结构原理计算各相机的初始姿态和标靶上标志点的初始三维坐标；
[0021]分别创建单个相机在多姿态下逆向投影误差最小的第一目标函数，采用非线性最小二乘法优化第一目标函数，得到单个相机内部参数和各标志点的三维坐标；
[0022]创建两个相机的所有图像序列的逆向投影误差之和最小的第二目标函数，求解第二目标函数，得到两个相机的外部参数。
[0023]在以上技术方案的基础上，优选的，所述第二目标函的表达式为：
[0024][0025]其中，err表示所有图像序列的逆向投影误差之和，m
1ij
和m
2ij
分别为第i个标靶图像上的第j个标志点在左、右相机上的图像像素坐标，p
1ij
、p
2ij
分别为左相机、右相机对应的第i个靶标图像中第j个标志点的投影坐标，i＝1,2,...,m，j＝1,2,...,n，m为图像序列数，j为靶标上的标志点数，A1、A2分别表示双目红外跟踪器的左、右相机的内参矩阵，K1、K2分别为左、右相机的畸变参数，M
j
为标靶上第j个标志点的三维坐标，R
1i
、t
1i
分别为左相机在第i个姿态下的外参，R
2i
、t
2i
分别为右相机在第i个姿态下的外参，R、t分别为两个相机之间的平移和旋转矩阵。
[0026]在以上技术方案的基础上，优选的，所述通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系具体包括：
[0027]在球笼式面结构光扫描仪上建立测量坐标系，在标定块上建立标定块坐标系，在双目红外跟踪器上建立跟踪器坐标系；
[0028]在球笼式面结构光扫描仪上建立测量坐标系，在标定块上建立标定块坐标系，在双目红外跟踪器所在位置建立全局跟踪坐标系；
[0029]球笼式面结构光扫描仪运行到标定点位并通过拍摄标定块来标定测量坐标系与标定块坐标系的变换关系；
[0030]双目红外跟踪器通过拍摄标定块来标定全局跟踪坐标系与标定块坐标系的变换关系；
[0031]通过测量坐标系与标定块坐标系的变换关系、全局跟踪坐标系与标定块坐标系的变换关系计算在标定点位处测量坐标系与全局跟踪坐标系的转换关系。
[0032]在以上技术方案的基础上，优选的，所述分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵的具体过程为：
[0033]双目红外跟踪器跟踪单个视点下的球笼上的标志点，得到当前视点下跟踪器坐标系与全局跟踪坐标系的转换关系：
[0034]P
i_ball_TrackFrame
＝R
i_ball
P
Tracker_ball
...

【技术保护点】

【技术特征摘要】
1.一种基于视觉跟踪的三维点云拼合方法，其特征在于，所述方法包括：通过标定板进行球笼式面结构光三维扫描仪自动标定；采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定；通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系；在球笼式面结构光三维扫描仪按照规划路径进行三维测量的过程中，待测大型零部件和与其固定连接的工装件沿着直线导轨滑动，通过双目红外跟踪器同时跟踪球笼式面结构光扫描仪的球笼上的标志点以及与待测大型零部件固定连接的工装件上的标志点，分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵；根据同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵、双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系，将球笼式面结构光三维扫描仪在的相应视点下测量的待测大型零部件的三维点云数据转换到全局跟踪坐标系下，在全局跟踪坐标系下进行三维点云数据拼合。2.根据权利要求1所述的基于视觉跟踪的三维点云拼合方法，其特征在于，所述球笼式面结构光三维扫描仪自动标定采用张氏标定法，所述标定板采用圆形图案标定板。3.根据权利要求1所述的基于视觉跟踪的三维点云拼合方法，其特征在于，所述采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定具体包括：双目红外跟踪器的左右相机同步拍摄靶标，得到两张二维靶标图像；更换靶标在空间中的位置，重复拍摄多组姿态下的靶标图像，提取靶标上圆形标志点中心的亚像素坐标，通过标靶上的编码标志点信息进行图像间的对应标志点匹配，建立各相机多个姿态下视图的对应关系，采用运动恢复结构原理计算各相机的初始姿态和标靶上标志点的初始三维坐标；分别创建单个相机在多姿态下逆向投影误差最小的第一目标函数，采用非线性最小二乘法优化第一目标函数，得到单个相机内部参数和各标志点的三维坐标；创建两个相机的所有图像序列的逆向投影误差之和最小的第二目标函数，求解第二目标函数，得到两个相机的外部参数。4.根据权利要求3所述的基于视觉跟踪的三维点云拼合方法，其特征在于，所述第二目标函的表达式为：其中，err表示所有图像序列的逆向投影误差之和，m
1ij
和m
2ij
分别为第i个标靶图像上的第j个标志点在左、右相机上的图像像素坐标，p
1ij
、p
2ij
分别为左相机、右相机对应的第i个靶标图像中第j个标志点的投影坐标，i＝1,2,...,m，j＝1,2,...,n，m为图像序列数，j为靶标上的标志点数，A1、A2分别表示双目红外跟踪器的左、右相机的内参矩阵，K1、K2分别为左、右相机的畸变参数，M
j
为标靶上第j个标志点的三维坐标，R
1i
、t
1i
分别为左相机在第i个姿态下的外参，R
2i
、t
2i
分别为右相机在第i个姿态下的外参，R、t分别为两个相机之间的平
移和旋转矩阵。5.根据权利要求1所述的基于视觉跟踪的三维点云拼合方法，其特征在于，所述通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系具体包括：在球笼式面结构光扫描仪上建立测量坐标系，在标定块上建立标定块坐标系，在双目红外跟踪器所在位置建立全局跟踪坐标系；球笼式面结构光扫描仪运行到标定点位并通过拍摄标定块来标定测量坐标系与标定块坐标系的变换关系；双目红外跟踪器通过拍摄标定块来标定全局跟踪坐标系与标定块坐标系的变换关系；通过测量坐标系与标定块坐标系的变换关系、全局跟踪坐标系与标定块坐标系的变换关系计算在标定点位处测量坐标系与全局跟踪坐标系的转换关系。6.根据权利要求5所述的基于视觉跟踪的三维点云拼合方法，其特征在于，所述分别计算得到同一...

【专利技术属性】
技术研发人员：刘玉宝，龚成，陈星辰，李长城，
申请(专利权)人：武汉惟景三维科技有限公司，
类型：发明
国别省市：