【技术实现步骤摘要】
本申请涉及自动化焊接，特别是涉及一种焊缝焊接方法、电子设备和存储介质。
技术介绍
1、随着机器人技术和计算机技术的不断进步和发展，工业机器人在焊接领域的应用越来越广泛。相比传统手工焊接，机器人焊接技术不仅可以提高生产效率和产品质量，而且可以降低生产成本，缓解熟练焊接工人资源短缺的问题。通过实现焊接机器人的智能化，可以进一步提高焊接质量和效率，实现更加灵活、智能化的生产过程。然而，现有的机器人焊接技术由于焊缝识别的准确率低，导致机器人对焊缝焊接的准确率低，存在错误焊接或者漏焊等情况。
技术实现思路
1、本申请主要解决的技术问题是提供一种焊缝焊接方法、电子设备和存储介质，能够提供焊缝识别准确率，进而提高焊缝焊接准确率。
2、为解决上述技术问题，本申请第一方面提供了一种焊缝焊接方法，该方法包括：分别获取第一摄像元件和第二摄像元件对待焊接工件拍摄得到的第一图像和第二图像；基于第一图像，得到第一焊缝识别结果，并基于第二图像，得到第二焊缝识别结果；其中，第一摄像元件与待焊接工件的位置相对固定，第二摄像元件位于安装焊枪的机械臂上，第二图像是机械臂基于第一焊缝识别结果进行移动后对待焊接工件上的目标焊缝进行拍摄得到；利用第一焊缝识别结果对第二焊缝识别结果进行验证，将验证通过的第二焊缝识别结果作为最终焊缝识别结果；基于最终焊缝识别结果，生成焊接轨迹，以使机械臂带动焊枪在焊接轨迹上移动，对待焊接工件中的焊缝进行焊接。
3、其中，基于第一图像，得到第一焊缝识别结果，或，基于第二图像
4、其中，目标图像的掩码数据包括若干个表征不同焊缝区域的掩码子数据；目标焊缝的空间信息包括目标焊缝的端点信息、目标焊缝的大小、目标焊缝的角度中至少一者。
5、其中，基于目标图像的掩码数据和待焊接工件的点云数据，得到目标焊缝的空间信息，包括：对于每个焊缝区域，基于焊缝区域对应的掩码子数据，拟合得到焊缝区域的最小外接矩形；利用最小外接矩形的位置，确定属于焊缝区域的目标焊缝的端点的二维坐标和目标焊缝的大小中的至少一者；基于最小外接矩形的位置、目标焊缝的端点的二维坐标和点云数据，确定目标焊缝的端点的三维坐标和目标焊缝的角度。
6、其中，基于第一图像，得到第一焊缝识别结果，包括：对第一图像进行语义分割，得到第一焊缝的第一类型，并对第一图像进行实例分割，得到第一图像的第一掩码数据；基于第一掩码数据和待焊接工件的点云数据，得到第一焊缝的第一空间信息。
7、其中，在基于第一掩码数据和待焊接工件的点云数据，得到第一焊缝的第一空间信息之后，还包括：将各第一类型分别作为待处理类型，并将属于待处理类型的第一焊缝作为待处理焊缝；对第一掩码数据进行二值化处理，得到二值化数据，并基于二值化数据进行轮廓检测，得到属于各待处理焊缝的像素点的位置；其中，二值化数据表征二值化图像中每个像素点的像素值，二值化图像中待处理焊缝的像素点的像素值与其他像素点的像素值不同；对于每个待处理焊缝，基于属于待处理焊缝的像素点的位置，得到待处理焊缝的第三空间信息；基于第三空间信息，确定机械臂的移动轨迹和第二摄像元件的目标位置，其中，移动轨迹用于使第二摄像元件从初始位置移动至目标位置，目标位置用于使第二摄像元件拍摄到包含待处理焊缝的第二图像。
8、其中，第一焊缝识别结果包括至少一个第一焊缝的第一类型和第一空间信息，第二焊缝识别结果包括至少一个第二焊缝的第二类型和第二空间信息。
9、其中，利用第一焊缝识别结果对第二焊缝识别结果进行验证，将验证通过的第二焊缝识别结果作为最终焊缝识别结果，包括：判断第一焊缝的第一类型和第二焊缝的第二类型是否相同，并判断第一焊缝的第一空间信息和第二焊缝的第二空间信息之间的差异是否小于预设差异；响应于第一类型和第二类型相同，且差异小于预设差异，将第二焊缝的第二类型和第二空间信息作为最终焊缝识别结果。
10、其中，在基于第一图像，得到第一焊缝识别结果之后，和/或，在基于第二图像，得到第二焊缝识别结果之后，还包括：基于第一焊缝识别结果和/或第二焊缝识别结果，判断待焊接工件中的目标焊缝是否符合预设焊接要求；响应于目标焊缝不符合预设焊接要求，生成提示信息；响应于目标焊缝符合预设焊接要求，执行利用第一焊缝识别结果对第二焊缝识别结果进行验证及其后续步骤。
11、其中，基于第一图像，得到第一焊缝识别结果，和/或，基于第二图像，得到第二焊缝识别结果由焊缝识别模型执行；焊缝焊接方法还包括以下步骤以对焊缝识别模型进行训练：获取包含待焊接工件的样本图像；利用焊缝识别模型对样本图像进行语义分割，得到样本图像中样本焊缝的样本类型，并对样本图像进行实例分割，得到样本图像的样本掩码数据；基于样本掩码数据和标注掩码数据，计算掩码损失；并基于样本类型和标注类型，计算类别损失；至少基于掩码损失和类别损失，调整焊缝识别模型的网络参数。
12、其中，在对样本图像进行语义分割，得到样本图像中样本焊缝的样本类型，并对样本图像进行实例分割，得到样本图像的样本掩码数据之后，还包括：基于样本掩码数据和待焊接工件的样本点云数据，得到样本焊缝的预测端点位置；基于预测端点位置和标注的真实端点位置之间的差异，得到距离损失。
13、其中，至少基于掩码损失和类别损失，调整焊缝识别模型的网络参数，包括：基于掩码损失、类别损失和距离损失，调整焊缝识别模型的网络参数。
14、为解决上述技术问题，本申请第二方面提供了一种电子设备，该电子设备包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述第一方面提供的方法。
15、为解决上述技术问题，本申请第三方面提供了一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述第一方面提供的方法。
16、本申请的有益效果是：区别于现有技术的情况，本申请分别获取第一摄像元件和第二摄像元件对待焊接工件拍摄得到的第一图像和第二图像；基于第一图像，得到第一焊缝识别结果，并基于第二图像，得到第二焊缝识别结果；其中，第一摄像元件与待焊接工件的位置相对固定，第二摄像元件位于安装焊枪的机械臂上，第二图像是机械臂基于第一焊缝识别结果进行移动后对待焊接工件上的目标焊缝进行拍摄得到；利用第一焊缝识别结果对第二焊缝识别结果进行验证，将验证通过的第二焊缝识别结果作为最终焊缝识别结果；通过第一焊缝识别结果对第二焊缝识别结果，即可提高最终焊缝识别结果的准确度；最后，基于最终焊缝识别结果，生成焊接轨迹，以使机械臂带动焊枪在焊接轨迹上移动，对待焊接工件中的焊缝进行焊接本文档来自技高网...
【技术保护点】
1.一种焊缝焊接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，得到第一焊缝识别结果，或，所述基于所述第二图像，得到第二焊缝识别结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述目标图像的掩码数据包括若干个表征不同焊缝区域的掩码子数据；所述目标焊缝的空间信息包括所述目标焊缝的端点信息、所述目标焊缝的大小、所述目标焊缝的角度中至少一者；
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，得到第一焊缝识别结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一焊缝识别结果包括至少一个第一焊缝的第一类型和第一空间信息，所述第二焊缝识别结果包括至少一个第二焊缝的第二类型和第二空间信息；
6.根据权利要求1所述的方法，其特征在于，在所述基于所述第一图像，得到第一焊缝识别结果之后，和/或，在所述基于所述第二图像，得到第二焊缝识别结果之后，还包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，得到第一焊缝识别结果，和/或，所述基于
8.根据权利要求7所述的方法，其特征在于，在所述对所述样本图像进行语义分割，得到所述样本图像中样本焊缝的样本类型，并对所述样本图像进行实例分割，得到所述样本图像的样本掩码数据之后，还包括：
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现权利要求1-8任一项所述方法。
...【技术特征摘要】
1.一种焊缝焊接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，得到第一焊缝识别结果，或，所述基于所述第二图像，得到第二焊缝识别结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述目标图像的掩码数据包括若干个表征不同焊缝区域的掩码子数据；所述目标焊缝的空间信息包括所述目标焊缝的端点信息、所述目标焊缝的大小、所述目标焊缝的角度中至少一者；
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，得到第一焊缝识别结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一焊缝识别结果包括至少一个第一焊缝的第一类型和第一空间信息，所述第二焊缝识别结果包括至少一个第二焊缝的第二类型和第二空间信息；
6.根据权利要求1所述的方法，其特征在于，在所...
【专利技术属性】
技术研发人员：刘贤柱，邱强，李辉，黄美鸾，吴立见，
申请(专利权)人：深圳市如本科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。