【技术实现步骤摘要】
本专利技术涉及机器视觉，特别涉及一种基于机器视觉的焊缝任务工艺编制方法。
技术介绍
1、在传统的工业生产中，焊接作业是最常见的加工方式之一，它在制造业中起着至关重要的作用。焊缝任务的工艺编制通常需要工艺人员根据工程图纸来确定焊缝的位置、类型和尺寸等参数，然后将这些信息输入到工艺系统中。这个过程不仅耗时耗力，而且容易出错，特别是在处理复杂或大量的焊缝任务时，工艺人员需要花费大量的时间来手动查找和输入焊缝信息，这严重影响了工作效率和焊接质量。
2、随着计算机视觉和深度学习技术的快速发展，图像处理和文字识别技术已经取得了显著的进展。通过这些先进的技术，可以自动识别工程图纸中的焊缝信息，从而替代传统的手工操作。目前，市场上已经有一些基于机器学习的图像识别系统，能够识别特定领域的文字或符号，但这些系统通常需要大量的人工干预，并且难以适应复杂多变的工业环境。
3、因此，急需一种能够自动、准确、高效地从工程图纸中提取焊缝信息，并将其直接输入到工艺系统中的方法，以提高工艺编制的效率和准确性。本专利技术正是在这样的背景下产生的，它利用了计算机视觉和深度学习技术，通过自动处理pdf格式的焊缝图纸，识别并提取焊缝信息，最终实现快速准确的工艺编制。
技术实现思路
1、为了解决人工识别焊缝效率低、漏检率高的问题，本专利技术提出了一种基于机器视觉技术的焊缝任务工艺编制方法。本专利技术采用以下技术方案：
2、一种基于机器视觉技术的焊缝任务工艺编制系统，包括：
3、
4、校验pdf文档的编码格式，确保其合规，检查文档是否可处理，逐页读取pdf文档，将pdf文档的每一页转换为jpg格式的图片；
5、图像处理模块:用于对从pdf文件中提取的图片进行处理，提取有效的文本区域，工作流程:读取并高精度转换图片，利用颜色分割技术提取有效的文本区域，滤除不符合标准的图形和文字部分，截取文本的有效区域，并进行重新绘制，通过图形检测算法消除噪声，对处理过的文本进行完整性检测及修复；
6、文字识别模块:识别处理过的图像中的焊缝字符，工作流程:接收图像处理模块发送过来的处理过的电子图纸，通过文字定位、角度校正和字符识别算法提取出焊缝字符，将识别结果(字符集，置信度，坐标)发送到web前端。
7、基于微服务架构的web模块用于封装上述三个模块，与用户和工艺系统进行信息交互，并提供文件上传、文件下载、图片查看、识别区域框选、缓存清理、焊缝识别和图片发送功能接口。
8、文字识别模块中在图像中定位出文字所在的区域，使用深度学习模型，如卷积神经网络，可以自动学习图像中文字的特征，并准确地定位文字所在区域。
9、利用深度学习模型分析文字的倾斜或旋转角度，并进行自动校正。从校正后的文字区域中提取特征，并进行字符识别。这些模型能够处理不同大小、字体和风格的文字，提高识别的准确性。使用循环神经网络或transformer等模型，可以捕捉文字序列的上下文信息，从而在有歧义的情况下提高识别的准确性。
10、本系统通过上述四个模块的紧密协作，实现了从用户上传pdf文件到最终在web前端显示焊缝字符识别结果的完整流程。深度学习在文字识别模块中发挥了重要作用，提高了字符识别的准确性和可靠性。而基于微服务架构的web模块则确保了系统的灵活性和可扩展性，提供了与用户和其他系统交互的界面。
11、一种基于机器视觉技术的焊缝任务工艺编制方法，包括如下步骤：
12、1)在系统中上传pdf格式的焊缝图纸，并通过pdf处理模块将图纸转换为jpg格式的图片；
13、2)使用图像处理模块对转换得到的图片进行高精度转换，并通过用户在前端界面进行框选，确定需要识别焊缝的区域；
14、3)对框选区域的图片进行颜色空间转换，将rgb空间转换为hsv空间，并根据预定的颜色范围进行焊缝标号区域的提取；
15、4)通过带方向的形态学处理，滤除噪声，并对焊缝标号进行定位和提取；
16、5)使用深度学习模型，对处理后的焊缝标号图片进行检测、矫正和识别，输出焊缝标号的字符信息；
17、6)通过微服务框架，将pdf处理模块、图像处理模块、文字识别模块封装为web服务，提供给用户和工艺系统进行交互；
18、7)将识别得到的焊缝信息，根据焊缝编号的规则进行过滤和排序，并通过web接口展示给用户，并提供编辑和校对的功能；
19、8)在用户确认无误后，将焊缝信息传入工艺系统，完成工艺编制的任务。
20、进一步的，步骤5)的具体实现方法包括：基于fpn网络构建目标检测模型，网络分为6层，前三层为上采样层，目的是用来提取图片中的特征信息，后三层为下采样层，目的是学习图片中的强语义信息；设定iou阈值并使用nms(非极大值抑制)算法对检测完的多个候选框进行去冗余处理，得到得分最高的目标框坐标(x1，y1，x2，y2)；构建基于cnn(卷积神经网络)的图像识别模型，模型中依次构建了卷积层、池化层、softmax分类器模块；对上述构建的检测模型和识别模型，使用icdar2015和coco-text数据集以及自建的焊缝字符数据集训练算法模型。并对定义模型损失函数为
21、
22、其中，i为候选框的索引，pi为softmax分类后的概率，为真实值的预测概率值，ti为预测的边界框，真实值对应的边框；
23、对算法模型的相关参数进行设定，设置目标检测模型的置信度为0.4，目标识别模型的置信度阈值为0.85。
24、本专利技术采用的技术方案具有如下有益效果：
25、1.提高工作效率
26、快速处理:通过自动化的pdf处理、图像处理和文字识别技术，系统能够在数秒内完成从电子图纸中提取所有焊缝的任务，相比传统方法大大缩短了处理时间。
27、减少人工校对时间:工人只需要进行一次校对，并确认信息无误后，系统即可自动将焊缝信息传入工艺系统，整个过程3分钟内可完成。
28、2.减少错误和提高准确性
29、减少漏填和误填:自动化的处理减少了人为错误的可能性，降低了漏填和误填焊缝信息的风险。
30、提高数据准确性:由于系统能够精确识别图纸中的焊缝信息，所以提供给工艺系统的数据更加准确可靠。
31、3.信息化和无纸化办公
32、信息化流程:采用微服务架构，将图纸设计和工艺编制整合在一个信息化平台上，简化了工作流程，提高了数据处理的一致性。
33、无纸化办公:工艺人员可以直接在pc端完成从图纸绘制到工艺编制的全部流程，实现了真正的无纸化办公，不仅环保，还提高了工作效率。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于包括：PDF处理模块，图像处理模块，文字识别模块，基于微服务架构的web模块。
2.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：PDF处理模块：处理用户上传的PDF文件，确保其符合系统要求，工作流程:校验PDF文档的编码格式，确保其合规，检查文档是否可处理，逐页读取PDF文档，将PDF文档的每一页转换为jpg格式的图片。
3.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：图像处理模块:用于对从PDF文件中提取的图片进行处理，提取有效的文本区域，工作流程:读取并高精度转换图片，利用颜色分割技术提取有效的文本区域，滤除不符合标准的图形和文字部分，截取文本的有效区域，并进行重新绘制，通过图形检测算法消除噪声，对处理过的文本进行完整性检测及修复。
4.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：文字识别模块:识别处理过的图像中的焊缝字符，工作流程:接收图像处理模块发送过来的处理过的电子图纸，通过文字定位、角度
5.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：基于微服务架构的web模块用于封装上述三个模块，与用户和工艺系统进行信息交互，并提供文件上传，文件下载，图片查看，识别区域框选，缓存清理，焊缝识别和图片发送功能接口。
6.一种基于机器视觉技术的焊缝任务工艺编制方法，包括如下步骤：
7.如权利要求6所述的一种基于机器视觉技术的焊缝任务工艺编制方法，其特征在于：步骤5)的具体实现方法包括：基于FPN网络构建目标检测模型，网络分为6层，前三层为上采样层，目的是用来提取图片中的特征信息，后三层为下采样层，目的是学习图片中的强语义信息；设定IOU阈值并使用NMS算法对检测完的多个候选框进行去冗余处理，得到得分最高的目标框坐标(x1，y1，x2，y2)；构建基于CNN的图像识别模型，模型中依次构建了卷积层、池化层、softmax分类器模块；对上述构建的检测模型和识别模型，使用ICDAR2015和COCO-Text数据集以及自建的焊缝字符数据集训练算法模型。并对定义模型损失函数为
8.如权利要求7所述的一种基于机器视觉技术的焊缝任务工艺编制方法，其特征在于：对算法模型的相关参数进行设定，设置目标检测模型的置信度为0.4，目标识别模型的置信度阈值为0.85。
...【技术特征摘要】
1.一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于包括：pdf处理模块，图像处理模块，文字识别模块，基于微服务架构的web模块。
2.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：pdf处理模块：处理用户上传的pdf文件，确保其符合系统要求，工作流程:校验pdf文档的编码格式，确保其合规，检查文档是否可处理，逐页读取pdf文档，将pdf文档的每一页转换为jpg格式的图片。
3.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：图像处理模块:用于对从pdf文件中提取的图片进行处理，提取有效的文本区域，工作流程:读取并高精度转换图片，利用颜色分割技术提取有效的文本区域，滤除不符合标准的图形和文字部分，截取文本的有效区域，并进行重新绘制，通过图形检测算法消除噪声，对处理过的文本进行完整性检测及修复。
4.如权利要求1所述的一种基于机器视觉技术的焊缝任务工艺编制系统，其特征在于：文字识别模块:识别处理过的图像中的焊缝字符，工作流程:接收图像处理模块发送过来的处理过的电子图纸，通过文字定位、角度校正和字符识别算法提取出焊缝字符，将识别结果发送到web前端模块。
5.如权利要求1所述的一...
【专利技术属性】
技术研发人员：邓烜堃，段晓磊，王康乐，魏玉鹏，刘栋，李自奇，冯靖宇，高建杰，高浚译，
申请(专利权)人：兰州兰石集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。