本发明专利技术公开了一种基于目标检测的焊接机器人全自主视觉引导方法及系统，包括：获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。本发明专利技术基于图像识别方法识别所有焊缝的位置，识别准确度提高，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。漏检的情况发生。漏检的情况发生。
【技术实现步骤摘要】
基于目标检测的焊接机器人全自主视觉引导方法及系统
[0001]本专利技术涉及焊接机器人
，尤其涉及一种基于目标检测的焊接机器人全自主视觉引导方法。
技术介绍
[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前焊接领域多采用人工焊接或者人工示教焊接的方式进行作业，这两种方式都离不开人工的直接参与。但因为焊接工作环境恶劣，所需要的焊接技艺越来越复杂，所需要的人工成本也逐年攀高。且人工示教流程繁琐，需要人工根据焊件尺寸输入对应信息，调节对应的焊接工艺，需要适合的工装卡具进行定位，再针对每一条焊缝进行示教，整个过程耗时长，不能够保证作业效率。
[0004]虽然有智能焊接技术应用于焊接机器人，但智能焊接技术存在焊缝识别不准，识别不全的问题，在面临复杂工况的时候往往还是需要人为的介入，难以做到完全的自动化、智能化。
[0005]另外，现有的智能焊接方法对于弱观测条件下的超薄搭接、微小对接等复杂焊缝，感知精度较低。
技术实现思路
[0006]为了解决上述问题，本专利技术提出了一种基于目标检测的焊接机器人全自主视觉引导方法，能够利用激光
‑
视觉多模融合表征进行弱观测条件下的焊缝智能识别及定位，从而实现焊接机器人高效动作规划与纠偏。
[0007]在一些实施方式中，采用如下技术方案：
[0008]一种基于目标检测的焊接机器人全自主视觉引导方法，包括：
[0009]获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
[0010]基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
[0011]基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
[0012]作为进一步的方案，还包括：通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
[0013]作为进一步的方案，还包括：在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。
[0014]作为进一步的方案，所述目标检测模型的损失函数具体为：
[0015]L
Focal
‑
EIOU
＝IOU
γ
L
EIOU
；
[0016][0017]其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数；L
IOU
是重叠损失、L
dis
是中心距离损失、L
asp
是宽高损失；b，b
gt
分别为预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，w
c
和h
c
是覆盖两个Box的最小外接框的宽度和高度。
[0018]作为进一步的方案，基于所有焊缝的三维空间坐标计算最优的焊接顺序，具体为：
[0019]将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。
[0020]作为进一步的方案，寻找最短的无碰撞路径，具体为：
[0021]采用快速扩展随机树算法，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；所述目标引力函数如下：
[0022][0023]其中，x
goal
为向着目标节点的向量，x
rand
为随机产生的向量；k
g
为常数。
[0024]作为进一步的方案，进行焊接机器人焊接位姿初步调整，具体过程为：
[0025]分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴延伸线与焊接工件的交点；基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿。
[0026]作为进一步的方案，基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿，具体包括：
[0027]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与所述中心点的连线方向为焊接机器人的当前位姿；
[0028]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过所述中心点的垂线方向为焊接机器人的当前位姿；
[0029]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，所述平面过所述中心点的法向量方向为焊接机器人的当前位姿；
[0030]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过所述中心点的法向量为α，第二平面过所述中心点的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；
[0031]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与所述中心点的连线方向即为焊接机器人的当前位姿；
[0032]若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，停止作业。
[0033]在另一些实施方式中，采用如下技术方案：
[0034]一种基于目标检测的焊接机器人全自主视觉引导系统，包括：
[0035]焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
[0036]焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
[0037]机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
[0038]在另一些实施方式中，采用如下技术方案：
[0039]一种焊接机器人，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行上述的基于目标检测的焊接机器人全自主视觉引导方法。
[0040]与现有技术相比，本专利技术的有益效果是：
[0041](1)本专利技术基于图像识别方法识别所有焊缝的位置，识别准本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，包括：获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。2.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，还包括：通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。3.如权利要求2所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，还包括：在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。4.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，所述目标检测模型的损失函数具体为：L
Focal
‑
EIOU
＝IOU
γ
L
EIOU
；其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数；L
IOU
是重叠损失、L
dis
是中心距离损失、L
asp
是宽高损失；b，b
gt
分别为预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，w
c
和h
c
是覆盖两个Box的最小外接框的宽度和高度。5.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，基于所有焊缝的三维空间坐标计算最优的焊接顺序，具体为：将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。6.如权利要求5所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，寻找最短的无碰撞路径，具体为：采用快速扩展随机树算法，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；所述目标引力函数如下：其中，x
goal
为向着目标节点的向量，x
rand
【专利技术属性】
技术研发人员：张伟，程吉禹，魏鹏坤，宋然，张光先，杨硕，张一鹏，王军峰，李昊，张秀珊，
申请(专利权)人：山东奥太电气有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。