一种机器人视觉引导的手机闪光灯组装系统及组装方法技术方案

本发明专利技术公开了一种机器人视觉引导的手机闪光灯组装系统及组装方法，所述组装系统包括工作台、第一工业相机、第二工业相机、机器人、视觉系统和控制系统，所述组装方法首先通过确定工业相机和拍照位的位置，并完成对相机坐标系与机器人坐标系的标定，之后通过工业相机采集闪光灯和手机玻璃背板的图像，完成机器人的角度补偿，然后再次通过工业相机采集闪光灯和手机玻璃背板的图像，完成机器人的坐标补偿，最后将闪光灯贴装在手机玻璃背板上完成组装。本发明专利技术通过采集闪光灯和手机玻璃背板的图像，完成机器人角度补偿和坐标补偿，改善了吸取和移动闪光灯过程中可能产生的位置或角度变化，提高了组装的精确度，具有适用范围广和灵活性高的特点。

A Mobile Flash Assembly System and Method Guided by Robot Vision

The invention discloses a robot vision-guided flash assembly system and assembly method for mobile phone. The assembly system includes a worktable, a first industrial camera, a second industrial camera, a robot, a vision system and a control system. The assembly method first determines the position of the industrial camera and the photographic position, and completes the calibration of the camera coordinate system and the robot coordinate system. After that, the image of the flashlight and the glass backplane of the mobile phone is collected by the industrial camera to complete the angle compensation of the robot. Then the image of the flashlight and the glass backplane of the mobile phone is collected by the industrial camera to complete the coordinate compensation of the robot. Finally, the flash is mounted on the glass backplane of the mobile phone to complete the assembly. By collecting the images of the flash lamp and the glass backplane of the mobile phone, the angle compensation and coordinate compensation of the robot are completed, the position or angle changes that may occur during the process of absorbing and moving the flash lamp are improved, the assembly accuracy is improved, and the robot has the characteristics of wide application range and high flexibility.

【技术实现步骤摘要】
一种机器人视觉引导的手机闪光灯组装系统及组装方法
本专利技术涉及到机器人视觉装配
，尤其涉及一种机器人视觉引导的手机闪光灯组装系统及组装方法。
技术介绍
中国是一个手机生产大国，据中国信息通信研究院日前发布《2017年12月国内手机市场运行分析报告》显示，2017年国内手机市场出货量4.91亿部，而根据TrendForce最新调查，在中国品牌的带动下，全球智能手机生产总数同比增长6.5％，高达14.6亿台。目前，随着“中国制造2025”开始从概念走入实际，未来的智能工厂中，有一个关键要素不能缺少，那就是“机器人”。除了传统的汽车装配领域，机器人逐渐进入到3C领域，富士康、和硕等公司都已经出现“黑灯”工厂，即完全由机器人来代替人工进行手机组装加工。手机组装机器人虽然有较高的使用率，但普遍采用的进行点对点的组装的丝杆构造机器人存在精度不高、位置矫正不精确等局限性，难以做到柔性生产。最近几年，装配机器人不断发展，柔性手腕和柔性手爪的使用大大提高了机器人装配的精度与灵活度，能够完成丝杆不能完成的一些工作。但是，随着装配工艺的复杂性以及装配精度的不断提高，传统的装配机器人由于缺乏感知和自适应控制的能力而无法满足当前电子制造的需求，而机器视觉可以模仿人的视觉功能，完成对客观事物的识别，并能够从图像中提取目标信息进行处理分析并加以理解，从而将结果用于定位、测量等。鉴于此，如何将机器视觉技术应用到手机装配机器人中，并根据工件的实际位置动态调整装配机器人的执行点，从而实现装配机器人精确定位与智能组装，满足装配需求是本
的重要研究方向。
技术实现思路
本专利技术的目的是提供一种机器人视觉引导的手机闪光灯组装系统及组装方法，解决了现有手机组装技术上人工效率低以及自动组装技术精度低、灵活性差等问题。为解决上述技术问题，本专利技术提供了一种机器人视觉引导的手机闪光灯组装系统，包括：工作台，所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机，以及对所述手机玻璃背板进行拍照的第二工业相机，所述第一工业相机上方设有用于辅助成像的第一同轴光源，所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位，所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源；机器人，用于移动所述闪光灯和所述手机玻璃背板；视觉系统，包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；控制系统，用于根据所述视觉系统的处理结果控制所述机器人动作，以及控制所述第一工业相机和所述第二工业相机进行图像采集。优选地，所述机器人为六轴机器人，所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。一种机器人视觉引导的手机闪光灯组装方法，包含上述的机器人视觉引导的手机闪光灯组装系统，所述组装方法包括以下步骤：S1、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面上的多个不同位置点，通过所述控制系统控制所述机器人吸附闪光灯依次到达所选取的位置点，获取所述第一工业相机坐标系和机器人坐标系之间的关系；S2、选取第二拍照位所在平面上的多个不同位置点，然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点，获取第二工业相机坐标系和机器人坐标系之间的关系；S3、通过所述机器人将闪光灯移动到第一拍照位，同时将手机玻璃背板置于第二拍照位上，所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像；S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理，获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ2，所述控制系统根据所获取的夹角θ1和夹角θ2进而控制机器人在第一拍照位旋转θ1-θ2的角度；S5、当所述机器人完成所述步骤S4的角度旋转后，通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集，获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)；S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系，计算出所述闪光灯中心点在机器人坐标系下的坐标(X1,Y1)，并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系，计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)在机器人坐标系下的坐标(X2,Y2)；S7、根据所述步骤S6的计算结果，所述控制系统控制机器人的末端执行器在X轴方向上移动X2-X1的距离，以及在Y轴方向上移动Y2-Y1的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区，完成贴装。优选地，所述步骤S1的具体实现方式为：S101、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附所述闪光灯依次到达三个位置点，得到三个位置点的闪光灯中心点像素坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3)，以及三个位置点的机器人坐标(Xm1,Ym1)、(Xm2,Ym2)、(Xm3,Ym3)；S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标，即可求出第一工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：式(1)中，X＝[Xm1Xm2Xm3]，Y＝[Ym1Ym2Ym3]，x＝[xc1xc2xc3]，y＝[yc1yc2yc3]，R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵，r1、r2、r3和r4表示旋转矩阵R中的矩阵元素，t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵，t1和t2表示偏移矩阵t中的矩阵元素。优选地，所述步骤S2的具体实现方式为：S201、选取第二拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点，获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(xd1,yd1)、(xd2,yd2)、(xd3,yd3)，以及三个位置点的机器人坐标(Xn1,Yn1)、(Xn2,Yn2)、(Xn3,Yn3)；S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标，即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：式(2)中，X*＝[Xn1Xn2Xn3]，Y*＝[Yn1Yn2Yn3]，x*＝[xd1xd2xd3]，y*＝[yd1yd2yd3]，R*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵，和表示旋转矩阵R*中的矩阵元素，t*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵，和表示偏移矩阵t*中的矩阵元素。优选地，所述步骤S4的具体实现方式为：S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI，并利用双边滤波去除手机玻璃背板图像的噪点，以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差，然后提取手机玻璃背板图像的边缘轮廓，根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘；S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x4本文档来自技高网...

【技术保护点】
1.一种机器人视觉引导的手机闪光灯组装系统，其特征在于，包括：工作台，所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机，以及对所述手机玻璃背板进行拍照的第二工业相机，所述第一工业相机上方设有用于辅助成像的第一同轴光源，所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位，所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源；机器人，用于移动所述闪光灯和所述手机玻璃背板；视觉系统，包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；控制系统，用于根据所述视觉系统的处理结果控制所述机器人动作，以及控制所述第一工业相机和所述第二工业相机进行图像采集。

【技术特征摘要】
1.一种机器人视觉引导的手机闪光灯组装系统，其特征在于，包括：工作台，所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机，以及对所述手机玻璃背板进行拍照的第二工业相机，所述第一工业相机上方设有用于辅助成像的第一同轴光源，所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位，所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源；机器人，用于移动所述闪光灯和所述手机玻璃背板；视觉系统，包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；控制系统，用于根据所述视觉系统的处理结果控制所述机器人动作，以及控制所述第一工业相机和所述第二工业相机进行图像采集。2.如权利要求1所述的机器人视觉引导的手机闪光灯组装系统，其特征在于，所述机器人为六轴机器人，所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。3.一种机器人视觉引导的手机闪光灯组装方法，其特征在于，包含权利要求1或2任一项所述的机器人视觉引导的手机闪光灯组装系统，所述组装方法包括以下步骤：S1、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面上的多个不同位置点，通过所述控制系统控制机器人吸附闪光灯依次到达所选取的多个不同位置点，获取所述第一工业相机坐标系和机器人坐标系之间的关系；S2、选取第二拍照位所在平面上的多个不同位置点，然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点，获取第二工业相机坐标系和机器人坐标系之间的关系；S3、通过所述机器人将闪光灯移动到第一拍照位上，同时将手机玻璃背板置于第二拍照位上，所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像；S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理，获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ2，所述控制系统根据所获取的夹角θ1和夹角θ2进而控制机器人在第一拍照位旋转θ1-θ2的角度；S5、当所述机器人完成所述步骤S4中的角度旋转后，通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集，获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)；S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系，计算出所述闪光灯中心点在机器人坐标系下的坐标(X1,Y1)，并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系，计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)在机器人坐标系下的坐标(X2,Y2)；S7、根据所述步骤S6的计算结果，所述控制系统控制机器人的末端执行器在X轴方向上移动X2-X1的距离，以及在Y轴方向上移动Y2-Y1的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区，完成贴装。4.如权利要求3所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S1的具体实现方式为：S101、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附闪光灯依次到达三个位置点，得到三个位置点的闪光灯中心点的像素坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3)，以及三个位置点的机器人坐标(Xm1,Ym1)、(Xm2,Ym2)、(Xm3,Ym3)；S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标，即可求出所述第一工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：式(1)中，X＝[Xm1Xm2Xm3]，Y＝[Ym1Ym2Ym3]，x＝[xc1xc2xc3]，y＝[yc1yc2yc3]，R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵，r1、r2、r3和r4表示旋转矩阵R中的矩阵元素，t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵，t1和t2表示偏移矩阵t中的矩阵元素。5.如权利要求4所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S2的具体实现方式为：S201、选取第二拍照...

【专利技术属性】
技术研发人员：毛建旭，高海潮，王耀南，朱青，刘彩苹，代扬，张美，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南,43