工件表面缺陷区域分割方法和装置制造方法及图纸

本申请涉及一种工件表面缺陷区域分割方法和装置；该方法包括如下步骤：将待处理图像输入骨干网络进行特征提取，得到待处理图像的像素表示；为每个像素表示生成一个类概率分布，并以类概率分布为权值进行数据集层级的上下文聚合，得到数据集层级的上下文信息；利用数据集层级的上下文信息对原始的像素表示进行增强；将增强后的像素表示输入解码器，获得区域分割结果。本申请的方案提出了一种利用单个图像之外的上下文语义信息的工件表面缺陷区域分割网络，该网络融合利用单个图像内的上下文信息及整个数据集层面的上下文信息来提高工件表面缺陷区域分割的性能。高工件表面缺陷区域分割的性能。高工件表面缺陷区域分割的性能。

【技术实现步骤摘要】
工件表面缺陷区域分割方法和装置


[0001]本申请涉及机器视觉
，具体涉及一种工件表面缺陷区域分割方法和装置。

技术介绍

[0002]工件表面质量对产品的质量或后续加工步骤有着重要影响。特别是在高精密零件加工时，由于切屑、机床振动、刀具磨损以及装夹搬运等原因，工件表面往往会产生多种缺陷，导致产品定位精度下降、使用寿命降低。因此需要在生产加工过程中及时、准确地检测出产品表面缺陷，以便分析其产生的原因，进而消除缺陷产生的根源。
[0003]由于工件表面缺陷微小、加工现场干扰强以及离线式人工抽检带来的检测质量不稳定的现状，以及数字化工厂概念的提出，离线式的人工检测已经不适用于现实情况。
[0004]因此基于机器视觉的表面质量检测方法成为研究的热点。工件表面缺陷检测一般分为基于边缘检测算法和基于相似区域的检测算法。第一类边缘检测的代表方法是微分算子边缘检测算法和曲面拟合边缘检测算法，方法简单但噪声抑制能力差。第二类区域检测的代表方法阈值分割和聚类，但由于图像的随机性和复杂性，对图像预处理的要求较高。
[0005]相关技术中，在工件表面缺陷区域分割中，探索不同类别的“共现”特征来建模的方法层出不穷。即聚合上下文信息成为增强工件表面缺陷区域分割效果的常用范例。现有研究中无论是图形化模型、级联结构细化分割或是采用新的骨干网络，亦或是金字塔池化、空洞卷积等，这些方法都是在图像内建模，没有考虑到单个图像以外的上下文信息，导致工件表面缺陷区域分割的性能较差。

技术实现思路

[0006]为至少在一定程度上克服相关技术中存在的现有方法都是在图像内建模，没有考虑到单个图像以外的上下文信息，导致工件表面缺陷区域分割的性能较差的问题，本申请提供一种工件表面缺陷区域分割方法和装置。
[0007]根据本申请实施例的第一方面，提供一种工件表面缺陷区域分割方法，包括如下步骤：将待处理图像输入骨干网络进行特征提取，得到待处理图像的像素表示；为每个像素表示生成一个类概率分布，并以类概率分布为权值进行数据集层级的上下文聚合，得到数据集层级的上下文信息；利用数据集层级的上下文信息对原始的像素表示进行增强；将增强后的像素表示输入解码器，获得区域分割结果。
[0008]进一步地，将待处理图像输入骨干网络进行特征提取，包括如下步骤：给定待处理图像I∈R3×
H
×
W
，输入骨干网络进行特征提取，得到输入图像I的像素表示；其中Z代表像素表示的特征维数。
[0009]进一步地，为每个像素表示生成一个类概率分布，包括如下步骤：
建立一个动态更新的记忆模块，用于记忆不同类别的数据集层级的分布信息；在网络训练过程中，利用不同类别的数据集层级的分布信息，生成不同类别的数据集层级的类别表示；通过一个分类头预测每个像素表示的类别概率分布。
[0010]进一步地，所述记忆模块的动态更新过程包括如下步骤：从训练集中随机抽取每个类的一个像素表示，计算分布信息对应的超参数，以初始化记忆模块M；在每次训练迭代后，通过进行移动平均数更新记忆模块M中的信息。
[0011]进一步地，通过进行移动平均数更新记忆模块M中的信息，包括如下步骤：设置一个与记忆模块M相同大小的模块M
’
，其初始值从记忆模块M中复制；对于待处理图像I中存在的每个类别c
k
，提取相应的像素的特征表示；基于特征表示计算出c
k
在模块M
’
中的分布信息；基于模块M
’
中的分布信息更新记忆模块M中的信息。
[0012]进一步地，利用不同类别的数据集层级的分布信息，生成不同类别的数据集层级的类别表示，包括如下步骤：根据记忆模块M中的分布信息生成不同类别C
dl
的数据集层级表示：C
dl
=G(M)；其中，C
dl
∈R
K
×
Z
，G(M)是从由记忆模块M中的超参数决定的分布中进行采样的操作。
[0013]进一步地，通过一个分类头预测每个像素表示的类别概率分布，包括如下步骤：根据像素表示R预测一个权重矩阵W：W=H
pr
(R)；其中，分类头H
pr
( )采用Softmax函数，其后接两个1
×
1卷积层实现。
[0014]进一步地，以类概率分布为权值进行数据集层级的上下文聚合，包括如下步骤：基于数据集层级的类别表示C
dl
和权重矩阵W，计算每个像素的粗略的数据集层级；计算与初始像素表示R之间的关系，得到一个位置置信权值P来校准，获得数据集层级的上下文信息C
bi
。
[0015]进一步地，每个像素的粗略的数据集层级为：=permute(W)C
dl
；其中，permute(W)是将权重矩阵W排列为的操作，代表矩阵乘法；数据集层级的上下文信息C
bi
为：C
bi
=permute(F
O
(PF
C
()))；其中：；F
R1
、F
R2
、F
O
、F
C
用来调整每个像素表示的维数，通过一个1
×
1卷积层来实现。
[0016]根据本申请实施例的第二方面，提供一种工件表面缺陷区域分割装置，包括：特征提取模块，用于将待处理图像输入骨干网络进行特征提取，得到待处理图像的像素表示；聚合模块，用于为每个像素表示生成一个类概率分布，并以类概率分布为权值进行数据集层级的上下文聚合，得到数据集层级的上下文信息；增强模块，用于利用数据集层级的上下文信息对原始的像素表示进行增强；
解码模块，用于将增强后的像素表示输入解码器，获得区域分割结果。
[0017]本申请的实施例提供的技术方案具备以下有益效果：本申请的方案提出了一种利用单个图像之外的上下文语义信息的工件表面缺陷区域分割网络，该网络融合利用单个图像内的上下文信息及整个数据集层面的上下文信息来提高工件表面缺陷区域分割的性能。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0020]图1是本专利技术实施例示出的一种工件表面缺陷区域分割方法的流程图。
[0021]图2是本专利技术实施例示出的一种融合图像以外的上下文信息的Unet网络结构。
[0022]图3是本专利技术实施例示出的一种记忆模块M的示意图。
[0023]图4是本专利技术实施例示出的一种数据集层级上下文信息聚合模块的示意图。
[0024]图5是本专利技术实施例示出的一种工件表面缺陷区域分割装置的框图。
具体实施方式
[0025]这里将详本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工件表面缺陷区域分割方法，其特征在于，包括如下步骤：将待处理图像输入骨干网络进行特征提取，得到待处理图像的像素表示；为每个像素表示生成一个类概率分布，并以类概率分布为权值进行数据集层级的上下文聚合，得到数据集层级的上下文信息；利用数据集层级的上下文信息对原始的像素表示进行增强；将增强后的像素表示输入解码器，获得区域分割结果。2.根据权利要求1所述的方法，其特征在于，将待处理图像输入骨干网络进行特征提取，包括如下步骤：给定待处理图像I∈R3×
H
×
W
，输入骨干网络进行特征提取，得到输入图像I的像素表示；其中Z代表像素表示的特征维数。3.根据权利要求1所述的方法，其特征在于，为每个像素表示生成一个类概率分布，包括如下步骤：建立一个动态更新的记忆模块，用于记忆不同类别的数据集层级的分布信息；在网络训练过程中，利用不同类别的数据集层级的分布信息，生成不同类别的数据集层级的类别表示；通过一个分类头预测每个像素表示的类别概率分布。4.根据权利要求3所述的方法，其特征在于，所述记忆模块的动态更新过程包括如下步骤：从训练集中随机抽取每个类的一个像素表示，计算分布信息对应的超参数，以初始化记忆模块M；在每次训练迭代后，通过进行移动平均数更新记忆模块M中的信息。5.根据权利要求4所述的方法，其特征在于，通过进行移动平均数更新记忆模块M中的信息，包括如下步骤：设置一个与记忆模块M相同大小的模块M
’
，其初始值从记忆模块M中复制；对于待处理图像I中存在的每个类别c
k
，提取相应的像素的特征表示；基于特征表示计算出c
k
在模块M
’
中的分布信息；基于模块M
’
中的分布信息更新记忆模块M中的信息。6.根据权利要求4所述的方法，其特征在于，利用不同类别的数据集层级的分布信息，生成不同类别的数据集层级的类别表示，包括如下步骤：根据记忆模块M中的分布信息生成不同类别C
dl
的数据集层级表示：C
dl
=G(M)；其中，C
...

【专利技术属性】
技术研发人员：李朋超，杨庆泰，赵亮，
申请(专利权)人：北京矩视智能科技有限公司，
类型：发明
国别省市：