基于激光结构光的焊缝视觉跟踪系统及方法技术方案

本发明专利技术提供一种基于激光结构光的焊缝视觉跟踪系统，包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上，控制器通过通讯模块向机器人模块、焊枪模块进行数据传输；所述机器人模块内设置有坐标标识装置，用于确定作为参考的标识点。系统所用方法通过一系列图像处理控制焊枪的使用。本发明专利技术能够实现焊接机器人在焊接过程中实时自动纠偏，提高焊缝质量，扩大焊接机器人的应用范围，焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度，缩短产品生产周期，提高产品的生产效率。

【技术实现步骤摘要】
基于激光结构光的焊缝视觉跟踪系统及方法
本专利技术涉及一种视觉传感装置，尤其是涉及一种基于激光结构光的焊缝视觉跟踪系统及方法。
技术介绍
目前国内外本项目领域科技创新发展概况和最新发展趋势：经过许多研究学者的不断研究和实践，视觉传感技术得到了快速的发展。激光视觉焊缝跟踪系统的搭建包括视觉焊缝跟踪传感器的设计、采集的焊缝图像的处理、计算机和机器人之间的通讯和控制系统的设计。关于这几个方面的研究，国内外许多研究机构和学者做出了大量的工作。(1)国内研究状况2005年，中国科学院李原等学者经过多年的研究，设计了一种基于激光结构光的视觉传感器。并开发出了激光焊缝图像处理模块库，这种图像处理库可以对不同类型的焊缝的图像(如U形、V形、对接、搭接焊缝等)进行处理，因此，这种传感器在焊缝跟踪中有着一定的普遍适用性。该视觉跟踪系统在图像处理过程中的循环周期为125ms，图像处理效率有待提高。2007年，东南大学金振扬等人设计了一套基于结构光的焊缝跟踪系统。重点是将系统进行了标定，取得了较高的跟踪精度。同时，采用焊缝特征类型库提高了图像处理的速度，并引入可变窗口提高了焊缝图像处理的稳定性，解决了焊接时各种杂光、烟尘等对图像特征提取的干扰。2008年，中国科学院自动化研究所的邹媛媛等学者对激光焊缝跟踪中的结构光视觉传感器(包括传感器的硬件、镜头等)进行了一系列的误差分析。然后，对不同结构的视觉传感器建立了不一样的数学模型，详细分析各参数对传感器的影响，并提出了对视觉传感器的优化，且提供了优化的参数。最后，通过实验验证了优化方法的可行性。2011年，湘潭大学刘习文等学者根据激光在坡口图像中的特点，首先对激光焊缝图像进行了Radon变换，计算出激光条纹所在的位置。然后再对变换后的激光焊缝图像进行了去噪处理，将激光光束中有用的信息保留了下来。最后，再利用Radon逆变换复原图像，达到很好的去噪效果。接下来，对激光图像进行了分割处理，找出了焊缝的中心点。最后，进行了实验。这种方法具有较强的抗干扰性，处理周期短，实验效果较好。2013年，广西自动焊接技术中心李宁等学者设计了一套激光视觉传感焊缝跟踪系统，描述了焊缝图像处理方法。对不同的焊缝形状，采取了不同的特征提取方法。并利用模糊控制方法来控制和调整焊枪。最后，对系统进行了实验，焊接精度和运行稳定性能够满足要求,有着较高的使用价值。(2)国外研究现状国外的焊缝跟踪系统的研究起步较早，尤其是自动化程度很高的加拿大、英国、美国和日本，对激光结构光焊缝跟踪系统的工业用品已经商业化，广泛应用于全球范围内。加拿大Servo-Robot公司是世界公认的在焊接自动化智能传感及控制领域的领先者，在该领域的研究已经长达30年。该公司主要开发及生产3D激光传感系统和智能控制模块，尤其是赛融公司的Power-Trac(智能焊缝实时跟踪系列)和Robot-Find(离线寻位系列)两种智能焊缝跟踪器。可以实现对焊缝的自动识别，并对焊枪的运动轨迹实时控制，结构紧凑，高集成、非常紧凑的控制单元，广泛应用于航空航天，火车制造，船舶制造等。英国的Meta也是世界领先的激光焊缝跟踪系统的制造商，以及日本的FANUC等知名的焊缝跟踪系统制造商，大多数采用激光发射结构光，CCD相机拍摄图像的这种结构，该结构设计紧凑，工作性能稳定，效率高。日本的欧姆龙集团和美国邦纳公司的光电传感器应用也比较广泛。综合国内外的研究状况可知，虽然国内许多学者及研究机构在激光视觉焊缝跟踪系统方面取得了很多成就，但是，他们的研究成果大多处于理论和试验阶段，实际的应用效果还不太理想，在工业上的应用范围还是有一定的局限性，还需要进一步的研究和完善。
技术实现思路
本专利技术提供了一种基于激光结构光的焊缝视觉跟踪系统及方法，解决了在焊接自动化智能传感及控制领域的焊缝视觉跟踪问题，其技术方案如下所述：一种基于激光结构光的焊缝视觉跟踪系统，包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，结构光激光器发射的激光照射到被测物体，并由CCD相机用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊枪模块的焊接动作；视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上，控制器通过通讯模块向机器人模块、焊枪模块进行数据传输。所述结构光激光器采用一字线激光器，位于焊枪模块前方，向焊枪模块下方的被测物体倾斜发射激光，倾斜角度为30度，CCD相机位于被测物体正上方采集图像，正对结构光激光器照射的部位。三维运动测量系统包括支架和设置其上面的X轴运动器、Y轴运动器，Y轴运动器带动CCD相机和结构光激光器前后移动，X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置，X轴运动器的两端位于Y轴运动器上，X轴运动器上设置有焊缝跟踪器封装盒，用于放置CCD相机和结构光激光器；支架固定在机器人模块上。焊缝跟踪器封装盒设置有防护装置，防护装置包括滤光片、挡光板、冷却装置。基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法，包括下列步骤：(1)在焊枪未焊接的情况下，控制器对CCD相机拍摄的激光焊缝图像进行预先处理，包括焊缝位置提取处理、焊缝图像平滑处理，并定好坐标点；(2)进行焊缝图像增强处理，包括对采集的彩色焊缝图像进行灰度直方图处理，再进行直方图均衡化处理，用于修正图像，通过拉伸像素强度分布范围增强图像的对比度；(3)对焊缝图像分割处理，采用基于灰度阈值的分割处理方法；(4)焊缝图像后处理，包括利用开运算进行图像的处理，把图像中不平滑的部分消除掉，让图像中离的较近的像素连接起来，形成较为平滑的图像；以及图像的骨架提取，将图像中有用的信息提取出来；(5)再对图像进行直线拟合与特征点坐标的提取，找到拍摄的激光图像的焊缝中心坐标，然后将该坐标与之前步骤(1)示教好的坐标点进行比较，算出偏差信息，实现机器人模块对焊枪的纠偏。进一步的，步骤(1)中，焊缝位置提取处理是在原始图像中提取200×150像素的图像进行处理。进一步的，步骤(5)中，特征点坐标提取时，是建立激光坐标系与机器人模块本体坐标系中的相对位置计算矩阵，实现焊缝定位模型。进一步的，步骤(1)中，所述CCD相机和结构光激光器通过基于线结构光三角测量原理及基于“距离－深度关系”3D原理实现焊缝的计算，通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模，获得曲面、曲线的拓扑构造特征值，继而识别、重构正确的焊缝3D模型，并采用小波去噪声的处理，利用小波变换对正常信号中反常信息的灵敏捕捉能力，将视频图像中的信息不利因素去除。进一步的，在焊接过程中，所述系统能够设定悬停控制，对系统设定固定焊接距离或者焊接时间，在焊接时中止焊接工作，然后调整视觉跟踪模块和焊枪模块，并重新开始焊接。进一步的，在焊接前，所述系统能够设定预测控制，对系统设定固定焊接距离或者焊接时间，模拟焊接工作，然后回到初始位置，调整视觉跟踪模块和焊枪模块，开始焊接，并在焊接过程中与模拟焊接的数值进行比对，进行微调。所述基于激光结构光的焊缝视觉跟踪系统及方法能够实现焊接机器人在焊接过程中实时自动纠偏，提高焊缝质量，扩大焊接机器人的应用范围，焊缝视觉传感跟踪技术本文档来自技高网...

【技术保护点】
1.一种基于激光结构光的焊缝视觉跟踪系统，其特征在于：包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，结构光激光器发射的激光照射到被测物体，并由CCD相机用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊枪模块的焊接动作；视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上，控制器通过通讯模块向机器人模块、焊枪模块进行数据传输。

【技术特征摘要】
2017.12.07 CN 20172169487661.一种基于激光结构光的焊缝视觉跟踪系统，其特征在于：包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，结构光激光器发射的激光照射到被测物体，并由CCD相机用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊枪模块的焊接动作；视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上，控制器通过通讯模块向机器人模块、焊枪模块进行数据传输。2.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统，其特征在于：所述结构光激光器采用一字线激光器，位于焊枪模块前方，向焊枪模块下方的被测物体倾斜发射激光，倾斜角度为30度，CCD相机位于被测物体正上方采集图像，正对结构光激光器照射的部位。3.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统，其特征在于：三维运动测量系统包括支架和设置其上面的X轴运动器、Y轴运动器，Y轴运动器带动CCD相机和结构光激光器前后移动，X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置，X轴运动器的两端位于Y轴运动器上，X轴运动器上设置有焊缝跟踪器封装盒，用于放置CCD相机和结构光激光器；支架固定在机器人模块上。4.根据权利要求3所述的基于激光结构光的焊缝视觉跟踪系统，其特征在于：焊缝跟踪器封装盒设置有防护装置，防护装置包括滤光片、挡光板、冷却装置。5.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法，包括下列步骤：(1)在焊枪未焊接的情况下，控制器对CCD相机拍摄的激光焊缝图像进行预先处理，包括焊缝位置提取处理、焊缝图像平滑处理，并定好坐标点；(2)进行焊缝图像增强处理，包括对采集的彩色焊缝图像进行灰度直方图处理，再进行直方图均衡化处理，用于修正图像，通过拉伸像素强度分布范围增强图像的对比度；(3)对...

【专利技术属性】
技术研发人员：李明金，吴晶华，黄银花，刘业亮，
申请(专利权)人：淮安信息职业技术学院，
类型：发明
国别省市：江苏,32