【技术实现步骤摘要】
本专利技术属于机器视觉，特别涉及一种基于边缘检测和语义分割的企业产品缺陷智能检测方法。
技术介绍
1、企业产品缺陷检测是一项重要的任务，涉及识别和定位产品表面的缺陷，如不规则形状或边缘缺陷。为了提高这一任务的效率和准确性，研究者们采用了先进的深度学习技术，包括语义分割和边缘检测。
2、语义分割是计算机视觉中的一个重要任务，它的目标是将图像中的每个像素分配给特定的类别，从而实现对图像中不同区域的语义理解。这通常涉及使用深度学习模型，如卷积神经网络(cnn)或语义分割网络，以学习像素级别的分类决策。在产品缺陷检测中，语义分割可用于标记和分割图像中的不同缺陷区域。通过训练深度学习模型，可以将产品缺陷与正常部分进行区分，并将缺陷部分的像素标记出来。这有助于精确定位缺陷位置，以进行后续处理或修复。
3、边缘检测是一种用于检测图像中物体轮廓或边缘的技术。它通常涉及应用特定的图像处理滤波器，如sobel、canny等，以突出图像中的强度变化，从而找到物体边缘。在产品缺陷检测中，边缘检测可以帮助确定产品中的缺陷区域。缺陷通常表现为在其边缘上的不规则性或强度变化。通过检测这些边缘，用以确定产品中的不规则形状或边缘缺陷。
4、目前，基于深度学习的产品缺陷检测任然面临着对形状、大小多样化缺陷识别的不足。基于语义分割和边缘检测的企业产品缺陷检测方法有助于解决复杂缺陷识别问题。语义分割可以对图像进行像素级的分类，识别出产品的不同区域，包括可能的缺陷区域。结合边缘检测，可以更准确地定位缺陷的边界，尤其是在缺陷形状和大小多
技术实现思路
1、专利技术目的：针对上述问题，本专利技术公开一种基于边缘检测和语义分割的企业产品缺陷智能检测方法，主要通过机器视觉的语义分割和边缘检测两大领域，采用deeplabv3+和transformer模型，实现企业产品的缺陷检测，这有助于减少不合格产品的生产，降低报废率以及减轻因生产故障而可能产生的成本。
2、技术方案：本专利技术提出一种基于边缘检测和语义分割的企业产品缺陷智能检测方法，包括如下步骤：
3、步骤1：获取企业产品图像，对初始图像进行预处理，得到原始数据集；
4、步骤2：使用gcn对deeplabv3+的语义分割结果进行边缘优化，得到边缘优化后的语义分割结果；
5、步骤3：利用边缘检测算法提取产品的边缘信息，得到货物的边缘检测结果；
6、步骤4：分析语义分割和边缘检测的结果，以判断货物是否有缺陷，并使用逐像素融合的方法，将语义分割和边缘检测的结果相结合，获取缺陷区域图像和形状。
7、进一步地，所述步骤1的具体方法为：
8、步骤1.1：收集企业产品图像，包括正常产品和带有缺陷的产品，且同一件产品的图像包括产品的正反面以及侧面；
9、步骤1.2：对收集来的图像使用翻转变换、旋转变换、裁剪变换技术进行数据增强；
10、步骤1.3：对图像中缺陷区域进行标注，得到处理后的产品图像数据集。
11、进一步地，所述步骤2的具体方法为：
12、步骤2.1：构建用于产品分割的deeplabv3+模型，包括一个编码器encoder和一个解码器decoder；
13、步骤2.2：将步骤1处理后的企业产品图像作为deeplabv3+模型的输入，得到初步的语义分割结果，并得到deeplabv3+中aspp模块提取出的多尺度特征矩阵a以及解码器生成的与输入图像具有相同维度的分割掩码集合，掩码包含每个像素的类别标签，表示图像中的不同区域或对象；
14、步骤2.3：将步骤2.2中的初始分割结果进行遍历，如果一个像素在不同分割区域的边界上，则将该像素标记为true否则标记为false，得到一个boolean掩码集合；
15、步骤2.4构建gcn的图结构；将每一个像素作为图的一个节点，根据步骤2.3中的boolean掩码集合连接边缘节点；每个节点由n个相邻节点的坐标(xi,yi)，i<n以及与相邻节点之间的权重di，i<n两部分组成；两个节点n1和n2之间的权重定义如下式：
16、
17、为两个相邻节点的欧几里得距离，i表示像素强度，i255是一个归一化因子，用于将图像的像素强度值标准化到[0,1]的范围内；
18、步骤2.5：使用在步骤2.4中构建的图结构来搭建gcn模型的网络架构，网络架构由三个图卷积网络层构成，分别有64、128、64个通道，并在每个图卷积层之间插入一个dropout层，最后使用softmax层作为输出层；
19、步骤2.6：利用步骤2.3中生成的boolean掩码集合，对每个像素点进行距离变换，计算其到最近边界的欧氏距离；采用指数衰减函数，为每个像素点分配一个权重值，使得距离边界越近的像素获得更高的权重，形成边界权重矩阵b；
20、步骤2.7：使用加权交叉熵损失函数与步骤2.6中的边界权重矩阵b构建边界感知损失函数，公式如下：
21、
22、其中，y是真实的标签，是gcn模型预测的标签，⊙表示逐元素乘法；
23、步骤2.8：将步骤2.6中的加权交叉熵损失函数作为gcn的损失函数，使用步骤2.1中多尺度特征矩阵a以及图像的邻接矩阵作为gcn模型的输入，进行训练，得到精炼的边缘像素；
24、步骤2.9：对于每个像素点，如果其在boolean掩码中被标记为true，则使用gcn给出的预测结果，如果被标记为false，则使用deeplabv3+的原始预测结果，得到边缘优化后的语义分割结果。
25、进一步地，所述步骤3的具体方法为：
26、步骤3.1：构建transformer模型，用于边缘检测的transformer模型包含两个阶段，分别是第一阶段的全局上下文信息提取和第二阶段的局部优化，挖掘局部区域的细粒度线索；
27、步骤3.2：构建transformer的第一阶段，采用vit的方式，将整张图像分为16*16的patch，经过24个transformer block进行编码，用表示第1个block到第24个block的输出；
28、步骤3.3：构建transformer的第二阶段，将步骤3.2中的分为4组，只取每组最后一个transformer block的输出来代表这个阶段的特征，即取出
29、步骤3.4：将步骤3.3中的作为全局解码器bimla的输入，bimla采用了向特征聚合策略，包括自顶向下路径和自底向上路径对输入特征进行上采样到高分辨率，分别产生4个总共8个粗粒度的边缘特征；
30、步骤3.5：第二阶段将图像分为x1、x2、x3、x4四块，每块划分为8*8的patch，经过12个trans本文档来自技高网...
【技术保护点】
1.一种基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，所述步骤2的具体方法为：
4.根据权利要求1所述的基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，所述步骤3的具体方法为：
5.根据权利要求3所述的基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，所述步骤4的具体方法为：
【技术特征摘要】
1.一种基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于边缘检测和语义分割的企业产品缺陷智能检测方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的基于边缘检测和语义分割的企业产品缺陷智能检测...
【专利技术属性】
技术研发人员：李翔，陈仁文，朱全银，葛濡豪，罗林雨，金圣华，张永军，任珂，周泓，王留洋，韩金婷，吴林燕，汤夏磊，吴丁鹏，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。