适用于汽车挡风玻璃自动安装系统的双目视觉定位方法技术方案

本发明专利技术公开了适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，包括：机器人末端到达标定的安装位置后开启结构光装置；获取标定的安装位置的双目图像；获得包含边缘的边缘图像和灰度图像；提取边缘图像中的特定点；提取左右灰度化图像中的特征点并得到匹配点；求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置；拟合出挡风玻璃安装平面，并获得拟合平面在世界坐标系下的法向量；将平面的法向量转成RPY角表示，获得挡风玻璃安装平面的姿态；得到机器人末端位姿补偿量。本发明专利技术通过提取图像中的目标点和特征点，剔除不符合的特征点，减小非正确匹配点对拟合平面的影响，并保证了定位精度和鲁棒性。并保证了定位精度和鲁棒性。并保证了定位精度和鲁棒性。

【技术实现步骤摘要】
适用于汽车挡风玻璃自动安装系统的双目视觉定位方法


[0001]本专利技术涉及图像处理及计算机视觉领域，尤其涉及适用于汽车挡风玻璃自动安装系统的双目视觉定位方法。

技术介绍

[0002]汽车挡风玻璃安装的质量涉及到汽车防漏水、抗噪性能、车身刚度和安全性等，而装配质量的好坏最终取决于安装挡风玻璃时的定位。随着自动化水平的提高，尤其是工业机器人的加入，汽车挡风玻璃安装逐步实现自动化，定位挡风玻璃安装位置越来越重要。但是目前国内整车厂未能全部实现挡风玻璃自动安装，主要原因有：
[0003]1.总装流水线的随机误差，机器人无法进行位姿补偿；
[0004]2.车身制造误差，如焊接、冲压等造成的累计误差，这也是随机的；
[0005]3.机器人关节磨损带来的重复定位误差，导致机器人无法准确到达指定位置；
[0006]4.车身上缺少标志物，并且在挡风玻璃安装工序中不能够物理粘贴标志物，否则可能会损伤车漆，降低生产效率，而且不能够保证粘贴位置精确无误，这使得不能使用一般的视觉检测方法。
[0007]中国公开专利CN111994188A公开了一种汽车玻璃自动安装系统及其控制方法，通过双目视觉辅助结构光完成安装位置的定位，实现全自动化安装，但是这种方法采用的结构光装置价格高昂，并且需要不停地调整双目相机和结构光装置以适应多车型混合生产的需求，增大了调整难度和成本，同时降低了生产效率。

技术实现思路

[0008]针对现有视觉定位困难和设备成本高的问题，本专利技术提出适用于汽车挡风玻璃自动安装系统的双目视觉定位方法。本专利技术采用结构光标记辅助的双目视觉，利用边缘提取算子获取图像中的边缘点，然后利用RANSAC算法拟合直线，获得图像中的特定点。接着利用立体匹配算法提取图像中的特征点，并利用距离筛选和RANSAC算法，得到正确匹配点并拟合出安装平面，获得平面法向量。最后平面法向量转为姿态补偿量，将特定点位置转为位姿补偿量，得到机器人位姿补偿量。本专利技术能够不受随机误差的干扰，可以对挡风玻璃安装平面进行准确定位，提高挡风玻璃安装质量。
[0009]为了实现本专利技术目的，本专利技术提供适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，包括以下步骤：
[0010]机器人末端到达标定的安装位置后开启结构光装置；
[0011]获取标定的安装位置的双目图像，基于所述双目图像获得去除畸变后的双目图像；
[0012]对双目图像进行预处理，获得包含边缘的边缘图像和灰度图像；
[0013]利用霍夫变换和基于RANSAC算法的拟合方法提取边缘图像中的特定点；
[0014]利用双目立体匹配算法提取左右灰度化图像中的特征点并得到匹配点；
[0015]结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置；
[0016]利用匹配点拟合出挡风玻璃安装平面，并获得拟合平面在世界坐标系下的法向量；
[0017]将平面的法向量转成RPY角表示，获得挡风玻璃安装平面的姿态；
[0018]通过求取获得的所述挡风玻璃安装平面的位置与所述标定的安装位置、所述挡风玻璃安装平面的姿态与标定平面姿态做差，得到机器人末端位姿补偿量。
[0019]对本专利技术方案的进一步改进，所述的结构光装置安装在机器人末端的夹具上。
[0020]对本专利技术方案的进一步改进，所述对获取的双目图像进行矫正，具体包括以下步骤：
[0021]利用相机标定得到畸变参数，所述畸变参数包括径向畸变参数k1，以及切向畸变参数p1,p2，纠正归一化图像平面上的点坐标(x,y)：
[0022][0023]利用相机标定得到的内参，将纠正后的归一化图像投影到图像平面，得到矫正后的图像：
[0024][0025]对本专利技术方案的进一步改进，所述对获取的双目图像进行预处理，具体包括以下步骤：
[0026]根据R、G、B三个色彩分量加权，将获得的RGB色彩的双目图像转成灰度化图像，某一像素点的灰度值gray为：
[0027]gray＝0.2989R+0.5870G+0.1140B
ꢀꢀꢀ
(3)
[0028]利用预标定的参数，指定左右图像中ROI区域的位置和大小，将ROI区域分割出来。
[0029]利用高斯滤波对ROI提取后的图像进行平滑处理，获得滤波后的图像。
[0030]利用Canny边缘算子提取滤波后图像中的边缘信息，获得二值化的边缘图像。
[0031]对本专利技术方案的进一步改进，所述提取左右图像的特定点中，采用霍夫变换和基于RANSAC的拟合方法，提取出目标点的位置。
[0032]对本专利技术方案的进一步改进，所述利用霍夫变换和基于RANSAC算法的拟合方法，根据特定点的不同，具体的数学模型也不同。例如特定点为圆心，则霍夫变换和RANSAC算法是先检测(拟合)圆，再确定圆心。
[0033]对本专利技术方案的进一步改进，所述提取左右灰度化图像的特定点中，使用的图像是经过Canny算子提取出的二值化的边缘图像。
[0034]对本专利技术方案的进一步改进，所述双目立体匹配算法是基于特征的局部立体匹配算法。
[0035]对本专利技术方案的进一步改进，所述利用双目立体匹配算法提取左右灰度化图像中
的特征点并得到匹配点，根据距离剔除部分误匹配点，包括以下步骤：
[0036]提取双目图像中的SIFT特征点并进行匹配；
[0037]根据匹配点的距离进行排序，选取距离最小的前N对匹配点作为最终的匹配点。
[0038]对本专利技术方案的进一步改进，所述结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置，包括以下步骤：
[0039]根据特征点和匹配点在图像上的坐标(u,v)，获得双目图像中的视差d；
[0040]结合相机标定得到的焦距f、基线距离b，求特定点和匹配点在左相机坐标系下的空间坐标(x
c
,y
c
,z
c
)，得到空间点集Q
k
'：
[0041][0042]结合相机标定得到的齐次外参矩阵T，求得特定点和匹配点在世界坐标系下的空间坐标(x
w
,y
w
,z
w
)，得到空间点集Q
k
：
[0043][0044]挡风平面安装位置可以由特定点corners
measured
位置确定。
[0045]corners
measured
＝(x
m
,y
m
,z
m
)
ꢀꢀꢀ
(6)
[0046]其中，下标measured表示测量值，下标m是特定点在世界坐标系下的坐标表示。
[0047]对本专利技术方案的进一步改进，所述利用特定点和匹配点拟合出挡风玻璃安装平面的方法原理是R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，包括以下步骤：机器人末端到达标定的安装位置后开启结构光装置；获取标定的安装位置的双目图像，基于所述双目图像获得去除畸变后的双目图像；对双目图像进行预处理，获得包含边缘的边缘图像和灰度图像；利用霍夫变换和基于RANSAC算法的拟合方法提取边缘图像中的特定点；利用双目立体匹配算法提取左右灰度化图像中的特征点并得到匹配点；结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置；利用匹配点拟合出挡风玻璃安装平面，并获得拟合平面在世界坐标系下的法向量；将平面的法向量转成RPY角表示，获得挡风玻璃安装平面的姿态；通过求取获得的所述挡风玻璃安装平面的位置与所述标定的安装位置、所述挡风玻璃安装平面的姿态与标定平面姿态做差，得到机器人末端位姿补偿量。2.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述的结构光装置安装在机器人末端的夹具上。3.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述对双目图像进行预处理，包括对双目图像进行灰度化、ROI区域提取、高斯滤波和canny算子边缘检测，具体包括以下步骤：利用加权平均法将RGB图像转成灰度图像；利用预标定参数提取ROI区域；对ROI区域进行高斯滤波；利用Canny边缘算子提取滤波后图像中的边缘信息，获得二值化的边缘图像。4.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述提取边缘图像的特定点中，采用霍夫变换和基于RANSAC的拟合方法，提取出目标点的位置。5.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述的霍夫变换和基于RANSAC算法的拟合方法，根据特定点的不同采用不同的数学模型。6.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述双目立体匹配算法是基于特征的局部立体匹配算法。7.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述利用双目立体匹配算法提取左右灰度化图像中的特征点并得到匹配点中，还包括根据距离剔除误匹配点步骤，具体为：提取双目图像中的特征点并进行匹配；根据匹配点的距离进行排序，选取距离最小的前N对匹配点作为最终的匹配点。8.根据权利要求1所述的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，其特征在于，所述结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置，包括以下步骤：根据特征点和匹配点在图像上...

【专利技术属性】
技术研发人员：杨志坚，胡华辉，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：