一种基于深度学习的自动化工业缺陷检测系统及装置制造方法及图纸

本发明专利技术提供了一种基于深度学习的自动化工业缺陷检测系统，包括：特征提取模块，所述特征提取模块包括以下提取步骤：S1，自下而上提取原始图片各阶段的特征图，生成数据集，设数据集为{C2,C3,C4,C5}时；S2，自上而下进行采样，对{C2,C3,C4,C5}分别使用256个n*n的卷积运算，提取到{F2,F3,F4,F5}特征；S3，再次采用n*n的卷积核进行特征提取，F2特征采用n*n卷积核提取出P2特征，同时用n*n卷积核处理F3特征，将F3处理后的特征与P2融合并进行下采样操作，得到P3特征；S4，用k*k卷积核提取出{S2,S3,S4,S5}特征，最后对S5进行最大池化操作得到S6；最终所有特征图构成集合{S2,S3,S4,S5,S6}。本发明专利技术解决实际工业生产中数据不足，缺陷类型表征不够丰富，样本类别不平衡的问题。样本类别不平衡的问题。样本类别不平衡的问题。

【技术实现步骤摘要】
一种基于深度学习的自动化工业缺陷检测系统及装置


[0001]本专利技术涉及工业缺陷检测领域，尤其是一种基于深度学习的自动化工业缺陷检测系统及装置。

技术介绍

[0002]在现代工业制造领域中，生产物件缺陷检测的准确性和自动化程度对质量控制起着至关重要的作用。
[0003]随着深度学习技术的发展和计算机算力的提升，基于大数据背景，挖掘工业缺陷数据内部的深层特征与内在联系，构建精度高、泛化性强的模型成为了可能。
[0004]当前，基于实例分割深度学习算法在目标检测领域已取得较高精度，相较于传统算法具有极大优势，目前已逐渐在工业智能制造领域中投入缺陷检测使用。但由于工业制造领域的缺陷形态多变，实际应用中常面临检测精度不足，不同生产线在生产初期由于所收集的样本不足，漏检、误检现象普遍存在；同时，由于人工判例的主观性，经常需要对缺陷类别进行拆分或合并，而由于模型算法训练时已将类别进行固定，因此算法验证时与人工判断往往存在缺陷类别上的出入；此外，由于Mask
‑
RCNN算法结构较为复杂，在算法部署与产品交付方面，算法理论与工业生产还存在一定的落地障碍。

技术实现思路

[0005]本专利技术提供一种基于深度学习的自动化工业缺陷检测系统及装置，以至少解决由于所收集的样本不足，对形状、尺度不一的各类缺陷检测精度不佳，导致漏检、误检、效率低的问题。
[0006]本专利技术提供了一种基于深度学习的自动化工业缺陷检测系统，包括：特征提取模块，所述特征提取模块包括以下提取步骤：
>[0007]S1，自下而上提取原始图片各阶段的特征图，生成数据集，设数据集为{C2,C3,C4,C5}时；
[0008]S2，自上而下进行采样，对{C2,C3,C4,C5}分别使用256个n*n的卷积运算，提取到{F2,F3,F4,F5}特征；
[0009]S3，再次采用n*n的卷积核进行特征提取，F2特征采用n*n卷积核提取出P2特征，同时用n*n卷积核处理F3特征，将F3处理后的特征与P2融合并进行下采样操作，得到P3特征，以此类推自下而上链路产生出{P2,P3,P4,P5}特征；
[0010]S4，用k*k卷积核提取出{S2,S3,S4,S5}特征，最后对S5进行最大池化操作得到S6；最终所有特征图构成集合{S2,S3,S4,S5,S6}；
[0011]所述k值大于n。
[0012]进一步地，所述系统还包括：数据增广模块；
[0013]所述数据增广模块是在实际生产过程中随机采集产品图像；
[0014]所述数据增广是通过常数配置实现。
[0015]更进一步地，所述数据增广模块包括：图像随机翻转、图像随机裁剪、图像随机亮度、图像随机对比度、图像随机饱和度、图像随机旋转方法中的一种或多种。
[0016]进一步地，所述系统的模型训练包括：正则化项的模型训练；
[0017]设网络损失为L
RPN
，全连接损失为L
FC
，Mask Branch损失为L
MASK
，在此基础上，模型的总损失为
[0018]L＝L
RPN
+L
FC
+L
MASK
，
[0019]设CNN提取出的权重为W，则增添L2正则项，有
[0020][0021]L2范数作为惩罚项，其中n为样本总数，k为大于0的超参数，基于总损失进行模型端到端训练。
[0022]进一步地，所述系统设有类别拆分
‑
合并后处理模块，所述类别拆分
‑
合并后处理模块进行类别校正。
[0023]更进一步地，所述图像随机裁剪，为给定图像的随机裁剪值，按随机裁剪值进行裁剪增广，生成新的图像；
[0024]所述图像随机亮度，为给定随机权重最小值w_min、最大值w_max；
[0025]通过正态分布在最大最小权重值之中获取随机权重值
[0026]w＝random.uniform(w_min,w_max).
[0027]计算
[0028]dst_img＝w*ori_img,
[0029]dst_img＝clip(dst_img,0,255).
[0030]其中clip操作将超出0或255的图像亮度值约束回阈值范围。
[0031]更进一步地，所述图像随机对比度为给定随机权重最小值w_min、最大值w_max；
[0032]首先通过正态分布在最大最小权重值之中获取随机权重值
[0033]w＝random.uniform(w_min,w_max).
[0034]计算
[0035]dst_img＝w*mean(ori_img)+(1
‑
w)*ori_img,
[0036]dst_img＝clip(dst_img,0,255)。
[0037]所述图像随机饱和度为给定随机权重最小值w_min、最大值w_max。
[0038]首先通过正态分布在最大最小权重值之中获取随机权重值
[0039]w＝random.uniform(w_min,w_max).
[0040]计算
[0041]grayscale＝dot(ori_img,[0.299,0.587,0.114]),
[0042]dst_img＝w*grayscale+(1
‑
w)*ori_img,
[0043]dst_img＝clip(dst_img,0,255).
[0044]其中[0.299,0.587,0.114]为RGB图像在灰度图像中相应的视觉转换系数，grayscale为原始图像的灰度图。
[0045]进一步地，所述数据增广为图像随机旋转，
[0046]所述图像随机旋转为给定旋转角，通过旋转角度和原始图像生成纺射矩阵，计算
后获得旋转后图像。
[0047]进一步地，所述系统采用RPN网络，所述RPN网络生成候选区域，并将这些区域映射到特征图；
[0048]所述系统使用ROIAlign进行像素对齐，用于提取Mask掩码。
[0049]本专利技术另一方面提供一种基于深度学习的自动化工业缺陷检测装置，所述装置应用上述一种基于深度学习的自动化工业缺陷检测系统。
[0050]本专利技术相对于现有技术由于改进系统算法，解决实际工业生产中数据不足，缺陷类型表征不够丰富，样本类别不平衡的问题，减轻模型过拟合，提升模型泛化性能，提高检测效率。
附图说明
[0051]图1为本专利技术架构图；
[0052]图2为CNN处理+FPN组合提取特征顺序图。
具体实施方式
[0053]为了使本
的人员更好地理解本专利技术方案，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自动化工业缺陷检测系统，其特征在于，所述系统包括：特征提取模块，所述特征提取模块包括以下提取步骤：S1，自下而上提取原始图片各阶段的特征图，生成数据集，设数据集为{C2,C3,C4,C5}时；S2，自上而下进行采样，对{C2,C3,C4,C5}分别使用256个n*n的卷积运算，提取到{F2,F3,F4,F5}特征；S3，再次采用n*n的卷积核进行特征提取，F2特征采用n*n卷积核提取出P2特征，同时用n*n卷积核处理F3特征，将F3处理后的特征与P2融合并进行下采样操作，得到P3特征，以此类推自下而上链路产生出{P2,P3,P4,P5}特征；S4，用k*k卷积核提取出{S2,S3,S4,S5}特征，最后对S5进行最大池化操作得到S6；最终所有特征图构成集合{S2,S3,S4,S5,S6}；所述k值大于n。2.根据权利要求1所述一种基于深度学习的自动化工业缺陷检测系统，其特征在于，所述系统还包括：数据增广模块；所述数据增广模块是在实际生产过程中随机采集产品图像；所述数据增广是通过常数配置实现。3.根据权利要求2所述一种基于深度学习的自动化工业缺陷检测系统，其特征在于，所述数据增广模块包括：图像随机翻转、图像随机裁剪、图像随机亮度、图像随机对比度、图像随机饱和度、图像随机旋转方法中的一种或多种。4.根据权利要求1所述一种基于深度学习的自动化工业缺陷检测系统，其特征在于，所述系统的模型训练包括：正则化项的模型训练；设网络损失为L
RPN
，全连接损失为L
FC
，Mask Branch损失为L
MASK
，在此基础上，模型的总损失为L＝L
RPN
+L
FC
+L
MASK
，设CNN提取出的权重为W，则增添L2正则项，有L2范数作为惩罚项，其中n为样本总数，k为大于0的超参数，基于总损失进行模型端到端训练。5.根据权利要求1所述一种基于深度学习的自动化工业缺陷检测系统，其特征在于，所述系统设有类别拆分
‑
合并后处理模块，所述类别拆分
‑
合并后处理模块进行类别校正。6.根据权利要求3所述一种基于深度学习的自动化工业缺陷检测系统，其特征在于...

【专利技术属性】
技术研发人员：陈伟锋，陈宇，
申请(专利权)人：厦门微亚智能科技有限公司，
类型：发明
国别省市：