基于嵌入式平台的焊缝寻位跟踪3D视觉传感器及跟踪方法技术

本发明专利技术公开了一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器及跟踪方法，包括被动立体视觉组件，在覆盖工件范围内获取工件图像信息，输入至嵌入式图像处理电路；激光主动立体视觉组件，在工件焊缝范围内获取图像信息，输入至嵌入式图像处理电路；嵌入式图像处理电路，根据被动立体视觉组件图像信息得到焊缝大致位置，引导焊接机器人运动至焊缝附近；根据焊缝图像信息解算获得寻位模式下焊缝精确位置和跟踪模式下焊缝实时位置信息，并传输至焊接机器人控制系统。本发明专利技术通过主动激光立体视觉弥补被动立体视觉环境适应性差的不足，提升焊缝定位精度，解决激光主动立体视觉传感器需人工示教焊缝起点以及基于先验信息工作的问题。

3D vision sensor and tracking method for seam location tracking based on embedded platform

The invention discloses a 3D vision sensor and tracking method for seam locating and tracking based on an embedded platform, including a passive stereo vision component, which obtains image information of the workpiece within the scope of the covered workpiece and inputs it to the embedded image processing circuit; a laser active stereo vision component, which obtains image information within the scope of the workpiece weld and inputs it to the embedded image processing circuit; embedding According to the image information of the passive stereo vision component, the general position of the welding seam is obtained and the welding robot is guided to move to the vicinity of the welding seam. According to the image information of the welding seam, the accurate position of the welding seam in the position finding mode and the real-time position information of the welding seam in the tracking mode are obtained and transmitted to the control system of the welding robot. The invention makes up the deficiency of poor adaptability of passive stereo vision environment through active laser stereo vision, improves the weld positioning accuracy, and solves the problem that the laser active stereo vision sensor needs to teach the starting point of weld manually and work based on prior information.

【技术实现步骤摘要】
基于嵌入式平台的焊缝寻位跟踪3D视觉传感器及跟踪方法
本专利技术属于焊接机器人
，具体涉及一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器及跟踪方法。
技术介绍
焊接技术是工业生产中非常重要的一项工艺，在多个领域具有广泛应用。焊接机器人由于具有可重复、可编程和精度高等优点而被广泛地应用于焊接领域，从而极大地提高了焊接效率和焊接质量。但是现有的焊接机器人一般为“示教再现”型机器人，即需要人工参与耗时冗长的标校工作，该类焊接机器人缺乏“柔性”。因此，为了提高焊接的柔性程度，可以采用传感器来获取待焊接工件的焊缝信息。在众多传感器中，视觉传感方式由于具有非接触、高精度和信息量大等优点而被广泛应用。所以，设计合理、高效的视觉传感器在提高机器人焊接的自动化水平上显得尤为重要。目前，国内外研究比较成熟的焊缝传感器为激光主动立体视觉传感器，具有焊缝寻位和跟踪功能，此类传感器主要缺陷如下：1)工作的前提是焊缝在传感器视场范围内，传感器安装于机器人机械臂上后，需要人工操作机器人将机械臂引导至传感器视场范围内，因此此类传感器集成于焊接机器人后需人工参与引导，无法自动在大范围内搜索焊缝位置，即容差能力弱，无法适应焊接场景常见的下料、组对和装夹偏差；2)传感器焊缝信息提取多基于PC平台进行，具有环境适应性差、功耗和体积大缺点。因此，研制功能强大、适应工业现场使用的焊缝传感器具有重大意义。
技术实现思路
为解决现有技术中存在的上述缺陷，本专利技术的目的在于提供一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器。该传感器集成于焊接机器人系统后，可减少当前焊接机器人领域人工参与程度，提高焊接效率和自动化程度。本专利技术的另一目的在于提供一种所述传感器的焊缝寻位跟踪3D视觉跟踪方法，通过激光主动立体视觉弥补被动立体视觉环境适应性差的不足，提升焊缝定位精度，解决激光主动立体视觉传感器需人工示教焊缝起点以及基于先验信息工作的问题。本专利技术是通过下述技术方案来实现的。一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，包括：被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路；激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路；嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。优选的，所述被动立体视觉组件包括至少一对图像采集单元Ⅰ、Ⅱ，一对图像采集单元呈一定夹角δ布置。优选的，所述夹角δ与待焊工件大小,图像采集单元I、II参数以及一对图像采集单元的基线距有关，确定方法如下：第一步：根据图像采集单元选型确定相机视场：Lx和Ly分别为所选图像采集单元的耙面尺寸，f为图像采集单元中镜头的焦距，h为图像采集单元的工作距离；第二步：一对图像采集单元光轴相互平行且光轴与基线距垂直时，重叠视场为其中B为图像采集单元的基线距；第三步：一对图像采集单元按照光轴相互平行，且光轴与基线距垂直，此时δ＝0°，根据需求视场大小确定是否增大该δ角度，在保证基线距B不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°。优选的，所述激光主动立体视觉组件包括激光器和主动立体视觉相机；所述动立体视觉相机前端设有镜头和窄带滤光片；所述激光器相对于主动立体视觉相机呈一定角度α设置，所述α角设为25°-30°。优选的，所述被动立体视觉组件的图像采集单元Ⅰ、Ⅱ和主动立体视觉相机为工业相机或CCD/CMOS传感器组成的图像采集电路；所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。优选的，所述激光器为一字线激光器。优选的，所述激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场若为V型焊缝，需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。优选的，所述嵌入式图像处理电路包括ARM+FPGA架构处理器，所述ARM+FPGA架构处理器分别连接DDR存储电路、FLASH存储电路、时钟电路、网口通讯电路、USB通讯电路、JTAG下载电路、电源接口和通讯接口，电源转换电路为所述图像处理电路的各个组成电路供电；所述ARM+FPGA架构的嵌入式处理平台为XilinxZYNQ7000、Ultrascale+系列ZYNQ平台、ARM+FPGA组合嵌入式平台或ARM+DSP+FPGA组合嵌入式平台。本专利技术相应地给出了一种所述传感器的基于嵌入式平台的焊缝寻位跟踪3D视觉跟踪方法，包括如下步骤：步骤1，将3D视觉传感器本体与焊接机器人系统相连；步骤2，嵌入式图像处理电路标定被动立体视觉组件和激光主动立体视觉组件与焊接机器人的坐标转换关系；步骤3，被动立体视觉组件搜索工件上的待焊焊缝位置，并根据步骤2获得的坐标转换关系解算待焊焊缝位置的三维坐标；步骤4，将解算待焊焊缝位置的三维坐标输出至焊接机器人控制单元，并控制焊接机器人携带3D视觉传感器本体运动至待焊焊缝起点附近；步骤5，根据焊缝形状和工件是否存在热变形情况，启动激光主动立体视觉组件的工作模式为焊缝跟踪模式或焊缝寻位模式；步骤6，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝寻位工作模式下，控制焊接机器人带动3D视觉传感器本体从当前位置开始沿待焊焊缝方向推扫，根据获取的多个位置的图像特征信息，提取待焊焊缝起点和终点信息；步骤7，通过以太网口直接与焊接机器控制系统通讯，焊缝寻位模式下输出步骤6得到的焊缝起点和终点位置信息，引导焊接机器人焊枪起弧和灭弧；步骤8，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝跟踪工作模式下，输出焊缝实时跟踪点位置，引导焊接机器人焊枪按实际焊缝执行焊接任务。优选的，所述步骤6)提取待焊焊缝起点和终点信息，具体步骤如下：61)对激光主动立体视觉组件采集到的工件图像信息进行滤波处理，设置获取感兴趣区域；62)对感兴趣区域的图像进行滤波、去除弧光和飞溅干扰操作；63)对激光线进行细化，并利用海森矩阵提取激光中心线像素坐标；64)利用激光器投射面与主动立体视觉相机之间的关系解算出激光中心线上各像素点在物理空间中的三维坐标；65)对激光中心线上的无效点得到的在物理空间中的三维坐标进行插补，并对插补点进行特殊标记；66)焊接机器人带动3D视觉传感器本体沿焊缝方向推扫，在下一个位置获取图像，重复步骤61)至65)，得到此位置激光中心线上各像素点在物理空间中的三维坐标；本文档来自技高网...

【技术保护点】
1.一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，包括：/n被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路；/n激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路；/n嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。/n

【技术特征摘要】
1.一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，包括：
被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路；
激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路；
嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。


2.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述被动立体视觉组件包括至少一对图像采集单元Ⅰ、Ⅱ；一对图像采集单元呈一定夹角δ布置，该夹角与待焊工件大小,图像采集单元I、II参数以及一对图像采集单元的基线距有关，确定方法如下：
第一步：根据图像采集单元选型确定相机视场：Lx和Ly分别为所选图像采集单元的耙面尺寸，f为图像采集单元中镜头的焦距，h为图像采集单元的工作距离；
第二步：一对图像采集单元光轴相互平行且光轴与基线距垂直时，重叠视场为其中B为图像采集单元的基线距；
第三步：一对图像采集单元按照光轴相互平行，且光轴与基线距垂直，此时δ＝0°，根据需求视场大小确定是否增大该δ角度，在保证基线距B不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°。


3.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光主动立体视觉组件包括激光器和主动立体视觉相机；所述主动立体视觉相机前端设有镜头和窄带滤光片；所述激光器相对于主动立体视觉相机呈一定角度α设置，所述α角设为25°-30°。


4.根据权利要求3述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述被动立体视觉组件的图像采集单元Ⅰ、Ⅱ和主动立体视觉相机为工业相机或CCD/CMOS传感器组成的图像采集电路；所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。


5.根据权利要求1述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光器为一字线激光器。


6.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场若为V型焊缝，需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。


7.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述嵌入式图像处理电路包括ARM+FPGA架构处理器，所述ARM+FPGA架构处理器分别连接DDR存储电路、FLASH存储电路、时钟电路、网口通讯电路、USB通讯电路、JTAG下载电路、电源接口和通讯接口，电源转换电路为所述图像处理电路的各个组成电路供电；
所述ARM+FPGA架构的嵌入式处理平台为XilinxZYNQ7000、Ultrascale+系列ZYNQ平台、ARM+FPGA组合嵌入式平台或ARM+DSP+FPGA组合嵌入式平台。


8.一种权利要求1-7任一项所述传感器的基于嵌入式平台的焊缝寻位跟踪3D视觉跟踪方法，其特征在于，包括如下步骤：
步骤1，将3D视觉传感器本体与焊接机器人系统相连；
步骤2，嵌入式图像处理电路标定被动立体视觉组件和激光主动立体视觉组件与焊接机器人的坐标转换关系；
步骤3，被动立体视觉组件搜...

【专利技术属性】
技术研发人员：靳亚丽，赵晓进，摆冬冬，吴易明，董林佳，王汉晨，黄荣，陈武强，
申请(专利权)人：西安中科光电精密工程有限公司，
类型：发明
国别省市：陕西;61