【技术实现步骤摘要】
本专利技术涉及一种基于多模态语义分割模型的焊缝识别方法，属于焊缝检测。
技术介绍
1、工业机器人在工业生产中的应用，使得焊接领域的智能化和自动化迅速发展，显著提高了焊接的效率和质量。机器人已经在越来越多的工业场景中出现用于替代手工操作，包括军工国防、轨道交通、高端制造等领域。但当前大多数焊接机器人都是基于人工示教编程，需要提前设定焊接路径和工艺参数，这大大限制了工业生产效率。随着近年来计算机视觉的高速发展，工业相机代替人眼完成焊缝检测成为趋势，本专利技术针对小视场小组立工件焊缝的精准检测展开研究。
2、传统的焊缝定位与识别技术主要基于图像处理，通过对焊接前获取的图像数据进行分析，来确定焊缝的准确位置。常用的方法包括边缘检测、模板匹配、特征提取和分类器识别等。dinham和fang使用hough变换检测焊件的外边界以去除背景，并利用sobel边缘检测操作符对焊缝进行识别；weis等人使用hdr相机融合多帧图像以去除火花，并完成了船体中厚钢板线性焊缝的识别。shao等人设计了一种基于粒子滤波器的图像处理算法，实现了窄隙对接型焊缝...
【技术保护点】
1.一种基于多模态语义分割模型的焊缝识别方法，其特征在于，采用焊缝识别系统，所述焊缝识别系统包括投影仪和双目相机，所述双目相机包括左相机和右相机，所述左相机、投影仪和右相机均正对工件，所述投影仪设置在所述左相机和右相机之间，
2.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，所述投影仪为DLP条纹投影仪。
3.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，步骤二中对步骤一得到的三维点云进行数据预处理，包括以下步骤：
4.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，步...
【技术特征摘要】
1.一种基于多模态语义分割模型的焊缝识别方法，其特征在于，采用焊缝识别系统，所述焊缝识别系统包括投影仪和双目相机，所述双目相机包括左相机和右相机，所述左相机、投影仪和右相机均正对工件，所述投影仪设置在所述左相机和右相机之间，
2.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，所述投影仪为dlp条纹投影仪。
3.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，步骤二中对步骤一得到的三维点云进行数据预处理，包括以下步骤：
4.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，步骤四中所述透视投影处理模块用于将输入点云透视投影到相机平面，通过下式表示：
5.如权利要求1所述的基于多模态语义分割模型的焊缝识别方法，其特征在于，步骤四中所述特征融合模块rf将图像流中多尺度的语义特征嵌入到点云流中，包括以下步骤:
6.如权利要求1所述的基于多模态语义分...
【专利技术属性】
技术研发人员：张毅，张俊，陆骏，赵壮，韩静，柏连发，吴梓剑，刘乃炀，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。