一种基于双目视觉的管棒材拆捆方法技术

本发明专利技术提供了一种基于双目视觉的管棒材拆捆方法方法包括如下方法步骤：上位机给机器人发送动作指令，使末端执行器的位移传感器发出的水平激光线打在管棒材表面；第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变；控制器控制机器人末端执行器摆动，直至棒材表面的水平激光线消失；第一影像装置、第二影像装置对畸变点重新拍照，并根据重新拍摄的图像计算出畸变点的坐标，并将计算结果反馈至控制器；控制器控制机械臂带动末端执行器下压完成绑丝剪切。本发明专利技术能够准确确定绑丝的位置，并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损伤。

A method of unpacking tube and bar based on binocular vision

【技术实现步骤摘要】
一种基于双目视觉的管棒材拆捆方法
本专利技术涉及智能制造
，特别涉及一种基于双目视觉的管棒材拆捆方法。
技术介绍
近年来，国内外对工业机器人技术的发展越来越重视。随着我国人口结构的变化，劳动人口已经逐年下降到72％，劳动者工资成本急剧上升，许多企业感觉到工荒和利润率下降，使用机器人降低生产成本成为企业提升竞争力的必然选择。钢铁工业是自动化程度较高的流程工业之一，特钢棒材精整过程由矫直、拆捆与探伤等多个工序构成，存在诸多转运频繁、环境恶劣、劳动繁重、安全风险大的作业过程，急需推动工业机器人的工程化应用，进一步提升生产效率和产品质量。截止2017年，国内钢铁行业的机器人密度为4台以下，远低于制造业的平均水平49台，距离发达国家200台以上的水平差距巨大。未来，我国钢铁行业的机器人密度将达到70台，局部工序可达400台以上。以特钢棒材精整过程作为切入点，推动冶金工业机器人的研发与工程化应用具有重要意义。当前，在特钢棒材精整生产线上首先需要对管棒材进行拆捆和打捆操作。打捆已经有现成的专机，而拆捆需要依赖人工操作，劳动强度大，成本高。因此利用拆捆机器人系统，完成智能化自动拆捆具有十分重大的研究意义。在当前的工业生产中，对于机械臂的使用多采用示教系统，然而工业环境复杂多变，实际拆捆位置与理想位置可能存在很大误差，特钢棒材精整区域转运频繁、危险及人工作业繁重。因此，为了解决现有技术中的问题，需要一种基于双目视觉的管棒材拆捆方法。
技术实现思路
本专利技术的目的在于提供一种基于双目视觉的管棒材拆捆方法，所述方法包括如下方法步骤：步骤一，通过上位机的人机界面发送拆捆作业请求，上位机判断当前工位是否可用，若工位可用，则将成捆管棒材调入可用工位，管棒材到位后由传感器向上位机发送到位信号；步骤二，上位机给机器人发送动作指令，使末端执行器的位移传感器发出的水平激光线打在管棒材表面，机器人沿移动轨道移动；步骤三：第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，通过双目视觉识别方法识别绑丝及棒材缝隙的位置，其中，当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变，则控制器控制机器人停止移动，同时，控制器控制机器人末端执行器摆动，直至棒材表面的水平激光线消失，末端执行器停止摆动，第一影像装置、第二影像装置对畸变点重新拍照，并根据重新拍摄的图像计算出畸变点的坐标，并将计算结果反馈至控制器；步骤四：控制器控制机械臂带动末端执行器下压完成绑丝剪切；步骤五：上位机控制机器人沿移动移动轨道移动，重复步骤三和步骤四，完成全部绑丝的剪切。在一个较佳的实施例中，机器人在拆捆之前，对机器人进行手眼标定。在一个较佳的实施例中，第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，发送至上位机进行处理，包括：预处理，对图像进行二值化处理，将图像上的像素点的灰度值设置为0或255；提取水平激光线区域，通过阈值分割的方法提取所述水平激光线区域。在一个较佳的实施例中，通过如下阈值分割的方法提取水平激光线区域：输入图像f(i，j)，进行如下变换输出图像g(i，j)：其中T为阈值；通过上述图像变换，对图像进行分割，提取水平激光线区域。在一个较佳的实施例中，通过霍夫变换对所述水平激光线区域中的几何形状分离，提取水平激光线。在一个较佳的实施例中，上位机建立图像平面坐标系和双目视觉坐标系，对图像平面坐标系与双目视觉坐标系进行三维空间坐标转换，确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标，通过机器人工具坐标与双目视觉坐标转换，获取水平激光线上的点在机器人工具坐标系中的三维坐标；通过曲线拟合计算水平激光线的直线度。在一个较佳的实施例中，当第一影像装置、第二影像装置拍摄的水平激光线图像发生畸变，将拍摄的图像发送至上位机进行处理，包括：通过三角形原理对发生畸变的位置进行信息提取，计算获取第一影像装置和第二影像装置公共视场内畸变位置的三维尺寸，及其畸变内一点的位置坐标。在一个较佳的实施例中，将计算得到畸变点坐标(x，y，z)反馈至控制器，控制器根据反馈得坐标的坐标z轴，控制末端执行器下压剪切绑丝。本专利技术上位机根据管棒材的拆捆请求可自动判断拆捆工位是否可用，利用行车将管棒材吊入指定工位；机器人接受上位机信号，由双目视觉引导机器人调整末端执行器位姿并使水平激光线水平打在管棒材表面上；机器人沿移动导轨移动并根据工业相机和结构光协同合作来获取绑丝缝隙位置，上位机通过机器人控制器调节末端执行器运动使金属锯片到达绑丝位置并切割绑丝；上位机通过机器人控制器调整末端进给量控制电机开始运转，金属锯片切割完绑丝后伺服电机停止运转，电磁铁通电并将绑丝吸去，机器人将绑丝放到指定位置并开始下一次切割绑丝作业；所述绑丝被全部放到指定位置后，机器人回到初始位置，等待上位机移动指令，上位机等待下一个拆捆作业请求。本专利技术能够准确确定绑丝的位置，并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损伤。本专利技术具有以下有益效果：一、本专利技术克服了传统人工拆捆工作量大，劳动强度高的诸多弊端，使用机器视觉引导机器人完成自动切割绑丝的任务，成本低、效率高。二、本专利技术使用机器视觉引导，可解决传统机械臂示教自动化程度低、当工业生产发生变化得重新示教、生产精度低的诸多问题。通过机器视觉引导可实时完成切割任务，自动化程度高。三、本专利技术使用相机和激光器的识别特征组合具有成本低，工作效率高的优点。四、将工业相机安装在机械臂末端，让其引导机器人完成自动切割绑丝的任务。本专利技术能够全方位覆盖机器人的识别区域，并且能够识别绑丝的深度。应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本专利技术所要求保护内容的限制。附图说明参考随附的附图，本专利技术更多的目的、功能和优点将通过本专利技术实施方式的如下描述得以阐明，其中：图1是本专利技术基于双目视觉的管棒材拆捆系统框图。图2是本专利技术基于双目视觉的管棒材拆捆系统的结构示意图。图3是本专利技术末端执行器的剖面视图。图4是图3中的A-A视图。图5是本专利技术一个实施例中第一影像识别装置与安装架的连接示意图。图6是图3的右侧视图。图7是图4的B向视图。图8是本专利技术一种基于双目视觉的管棒材拆捆方法的流程图。图9是水平激光线打在管棒材上的示意图。图10是本专利技术一种拆捆机器人末端执行器使用过程的示意图。图11是图10中末端执行器工作区域的放大图。具体实施方式通过参考示范性实施例，本专利技术的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本专利技术并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本专利技术的具体细节。在下文中，将参考附图描述本专利技术本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的管棒材拆捆方法，其特征在于，所述方法包括如下方法步骤：/n步骤一，通过上位机的人机界面发送拆捆作业请求，上位机判断当前工位是否可用，/n若工位可用，则将成捆管棒材调入可用工位，管棒材到位后由传感器向上位机发送到位信号；/n步骤二，上位机给机器人发送动作指令，使末端执行器的位移传感器发出的水平激光线打在管棒材表面，机器人沿移动轨道移动；/n步骤三：第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，通过双目视觉识别方法识别绑丝及棒材缝隙的位置，其中，/n当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变，则控制器控制机器人停止移动，同时，控制器控制机器人末端执行器摆动，直至棒材表面的水平激光线消失，末端执行器停止摆动，/n第一影像装置、第二影像装置对畸变点重新拍照，并根据重新拍摄的图像计算出畸变点的坐标，并将计算结果反馈至控制器；/n步骤四：控制器控制机械臂带动末端执行器下压完成绑丝剪切；/n步骤五：上位机控制机器人沿移动移动轨道移动，重复步骤三和步骤四，完成全部绑丝的剪切。/n

【技术特征摘要】
1.一种基于双目视觉的管棒材拆捆方法，其特征在于，所述方法包括如下方法步骤：
步骤一，通过上位机的人机界面发送拆捆作业请求，上位机判断当前工位是否可用，
若工位可用，则将成捆管棒材调入可用工位，管棒材到位后由传感器向上位机发送到位信号；
步骤二，上位机给机器人发送动作指令，使末端执行器的位移传感器发出的水平激光线打在管棒材表面，机器人沿移动轨道移动；
步骤三：第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，通过双目视觉识别方法识别绑丝及棒材缝隙的位置，其中，
当第一影像装置、第二影像装置拍摄到的水平激光线图像发生畸变，则控制器控制机器人停止移动，同时，控制器控制机器人末端执行器摆动，直至棒材表面的水平激光线消失，末端执行器停止摆动，
第一影像装置、第二影像装置对畸变点重新拍照，并根据重新拍摄的图像计算出畸变点的坐标，并将计算结果反馈至控制器；
步骤四：控制器控制机械臂带动末端执行器下压完成绑丝剪切；
步骤五：上位机控制机器人沿移动移动轨道移动，重复步骤三和步骤四，完成全部绑丝的剪切。


2.根据权利要求1所述的管棒材拆捆方法，其特征在于，机器人在拆捆之前，对机器人进行手眼标定。


3.根据权利要求1所述的管棒材拆捆方法，其特征在于，第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，发送至上位机进行处理，包括：
预处理，对图像进行二值化处理，将图像上的像素点的灰度值设置为0或255；
提取水平激光线区域，通过阈...

【专利技术属性】
技术研发人员：马立东，仝浩源，梁苏苏，马立峰，静大海，孟进礼，
申请(专利权)人：太原科技大学，海安太原科大高端装备及轨道交通技术研发中心，
类型：发明
国别省市：山西;14