工业缺陷实例分割方法技术

本发明专利技术公开了一种工业缺陷实例分割方法。所述方法包括以下步骤：训练时不固定特征提取网络的浅层网络参数，以保证在开源自然实例数据集上得到的预训练网络能更好地拟合到工业缺陷实例，对工业缺陷实例进行有效的特征提取；使用级联缺陷区域建议模块，避免了从自然实例分割任务迁移到工业缺陷实例分割任务进行的大量参数调整，采用了多次候选框优化的机制提高了算法精度；提出了自适应分割质量评估探头，该模块能根据分割结果生成自适应的分割阈值进行分割结果的二值化，并对分割结果进行打分，解决了实例分割打分偏高的问题。以上设计使得本发明专利技术能够有效地解决工业缺陷实例分割问题。割问题。割问题。

【技术实现步骤摘要】
工业缺陷实例分割方法


[0001]本专利技术属于计算机视觉
，更具体地，涉及一种工业缺陷实例分割方法。

技术介绍

[0002]近年来，工业缺陷检测作为工业生产制造中的重要环节，已成为工业视觉领域重要的研究方向之一。工业缺陷实例分割是工业缺陷检测的具体细分，旨在对待检样本中潜在的缺陷区域进行包含包围盒、类别打分以及分割在内的实例级别的分割。该技术能够辅助工程技术人员对潜在缺陷品进行排查，对缺陷品中的缺陷进行分类，按照缺陷严重程度的不同对这些缺陷品进行分类处理，能够极大地提升工业生产效率，具有丰富的实际应用价值。
[0003]现有的主流实例分割方法大致可以划分为单阶段方法和双阶段方法两大类。单阶段方法将实例分割任务作为一个整体考虑或是拆解为并行的分支，具有较高的实时性但精度有限；双阶段方法将实例分割任务分解为两个串行的子任务，具有较高的精度但实时性不如前者。目前所有的实例分割算法均面向自然实例分割任务设计，没有面向工业缺陷检测任务设计的实例分割算法。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业缺陷实例分割方法，其特征在于，包括如下步骤：步骤S1，训练工业缺陷实例分割网络(1)，使用带有实例级别标注的图像作为训练数据输入到训练工业缺陷实例分割网络模型中，利用损失函数对训练过程进行约束；其中步骤S1包括3个子步骤：S1
‑
1，工业图像特征提取；S1
‑
2，基于级联缺陷区域建议模块的工业缺陷定位；S1
‑
3，基于自适应分割质量评估的工业缺陷实例分割；步骤S2，分割阶段，将含有工业缺陷区域的测试图像(2)输入到工业缺陷实例分割网络(1)中得到工业缺陷实例分割结果。2.如权利要求1所述的工业缺陷实例分割方法，其特征在于，所述步骤S1具体包括：步骤S1
‑
1，工业图像特征提取，利用基于卷积神经网络的骨干网络提取输入图像的融合特征；步骤S1
‑
2，基于级联缺陷区域建议模块的工业缺陷定位，将融合特征F1,F2,F3,F4,F5输入到级联缺陷区域建议网络中对潜在缺陷区域进行定位；步骤S1
‑
3，基于自适应分割质量评估的工业缺陷实例分割，将前述得到的ROI特征G1,G2,G3,G4,G5输入到工业缺陷实例分割模块生成实例分割结果。3.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1
‑
1具体包括：步骤S1
‑
1(1)，使用在ImageNet上预训练得到的ResNet50作为特征提取网络对输入图像进行特征提取，从第一到第四个卷积块输出的图像特征图尺寸分别为输入图像的1/4，1/8，1/16和1/32，通道数分别为C1，C2，C3，C4，C1，C2，C3，C4分别为预设值；步骤S1
‑
1(2)，将骨干网络提取的第四个卷积块输出的1/32分辨率的特征图经过卷积层降维得到融合特征F1,之后使用最大池化降低分辨率为原来的1/2得到融合特征F2；步骤S1
‑
1(3)，将骨干网络提取的第三个卷积块输出的1/16分辨率的特征图经过卷积层降维对F1进行最邻近上采样与与前者堆叠后采用1
×
1卷积进行融合得到融合特征F3；步骤S1
‑
1(4)，将骨干网络提取的第三个卷积块输出的1/8分辨率的特征图经过卷积层降维对F1进行最邻近上采样与前者堆叠后采用1
×
1卷积进行融合得到融合特征F4；步骤S1
‑
1(5)，将骨干网络提取的第三个卷积块输出的1/4辨率的特征图经过卷积层进行平滑，对F1进行最邻近上采样与前者堆叠后采用1
×
1卷积进行融合得到融合特征F5。4.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1
‑
2具体包括：步骤S1
‑
2(1)，使用3
×
3空洞卷积核对融合特征F1进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L1；按照回归值L1对融合特征F1中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R1和类别分数S1；根据二次回归值R1对预设候选框进行修正，基于类别分数S1选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F1对应的候选框A1，K为预设值；使用ROI Align基于候选框A1提取融合特
征F1中的ROI特征G1；步骤S1
‑
2(2)，使用3
×
3空洞卷积核对融合特征F2进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L2；按照回归值L2对融合特征F2中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R2和类别分数S2；根据二次回归值R2对预设候选框进行修正，基于类别分数S2选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F2对应的候选框A2，K为预设值；使用ROI Align基于候选框A2提取融合特征F2中的ROI特征G2；步骤S1
‑
2(3)，使用3
×
3空洞卷积核对融合特征F3进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L3；按照回归值L3对融合特征F3中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R3和类别分数S3；根据二次回归值R3对预设候选框进行修正，基于类别分数S3选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F3对应的候选框A3，K为预设值；使用ROI Align基于候选框A3提取融合特征F3中的ROI特征G3；步骤S1
‑
2(4)，使用3
×
3空洞卷积核对融合特征F4进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L4；按照回归值L4对融合特征F4中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R4和类别分数S4；根据二次回归值R4对预设候选框进行修正，基于类别分数S4选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F4对应的候选框A4，K为预设值；使用ROI Align基于候选框A4提取融合特征F4中的ROI特征G4；步骤S1
‑
2(5)，使用3
×
3空洞卷积核对融合特征F5进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L5；按照回归值L5对融合特征F5中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R5和类别分数S5；根据二次回归值R5对预设候选框进行修正，基于类别分数S5选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F5对应的候选框A5，K为预设值；使用ROI Align基于候选框A5提取融合特征F1中的ROI特征G5。5.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1
‑
3具体为：基于自适应分割质量评估的工业缺陷实例分割，将前述得到的ROI特征G1,G2,G3,G4,G5输入到工业缺陷实例分割模块生成实例分割结果，工业缺陷实例分割模块由检测探头、分割探头以及自适应分割质量评估探头构成：检测探头用于生成候选框回归值、分类分数；分割探头用于生成分割结果；自适应分割质量评估探头根据分割探头输出计算动态阈值对分割结果进行二值化，针对二值化分割结果输出分割质量分数，将该分数与分类分数相乘得到最终实例分割分数。6.如权利要求5所述的工业缺陷实例分割方法，其特征在于，所述检测探头具体用于：步骤S1
‑
3(1)，将ROI特征G1输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸使用7
×
7卷积核对下采样特征进行下采样以及升维
后接1
×
1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L1以及类别分数预测P1；步骤S1
‑
3(2)，将ROI特征G2输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸使用7
×
7卷积核对下采样特征进行下采样以及升维R7×7×
256
→
R1×1×
1024
，后接1
×
1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L2以及类别分数预测P2；步骤S1
‑
3(3)，将ROI特征G3输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸使用7
×
7卷积核对下采样特征进行下采样以及升维R7×7×
256
→
R1×1×
1024
，后接1
×
1卷积核对特征进行编码；使用两个全连接层对激活特征进...

【专利技术属性】
技术研发人员：白翔，杨子豪，罗东亮，章哲彦，蔡雨萱，周瑜，郑增强，刘荣华，
申请(专利权)人：武汉精测电子集团股份有限公司武汉精立电子技术有限公司，
类型：发明
国别省市：