一种基于点集表示的精确缺陷检测方法和系统技术方案

本发明专利技术涉及一种基于点集表示的精确缺陷检测方法和系统。该方包括对检测目标采用点集进行表示；对于采用点集表示的检测目标，采用全局上下文特征金字塔网络来增强提取对比度明显的多尺度缺陷特征，采用感受野金字塔模块来获取和融合不同尺度大小的缺陷特征，采用自适应正负样本分配检测头来筛选用于学习训练的缺陷正样本；依据筛选得到的缺陷正样本以及提取的缺陷特征，生成准确的缺陷类别以及精确的缺陷位置，实现检测功能。在此基础上，采用深度可分离卷积来代替普通卷积对网络进行轻量优化，以提升检测速度。本发明专利技术解决了低对比度问题带来的检测模糊性问题，解决了缺陷尺寸变化大带来的单一性问题，并且避免了不平衡正负样本带来的训练问题。样本带来的训练问题。样本带来的训练问题。

【技术实现步骤摘要】
一种基于点集表示的精确缺陷检测方法和系统


[0001]本专利技术属于计算机视觉图像处理领域，具体涉及一种基于点集表示的精确缺陷检测方法和系统。

技术介绍

[0002]缺陷检测是计算机视觉领域中一项基础但是极为重要的任务，其目的在于在含有缺陷的图像中分类和定位出缺陷的类型和位置。目前主流的缺陷检测方法主要可以归类为目标检测类方法和图像分割类方法，在本专利技术中，主要关注到目标检测类方法。随着目标检测的发展，根据整体架构是否使用预设的锚框，又可以进一步将其划分为基于锚框(anchor based)和不基于锚框(anchor free)的方法。
[0003]目前，主流的缺陷检测方法都是基于锚框的检测器，并且都是针对特定的某一种缺陷提出的基于经典目标检测网络架构的检测器，通用性不是很强，精确性不是很高。在本领域中，仍然存在着许多具有挑战性的问题，如图1所示。其一是由于生产生活中的缺陷通常与背景极为相似，这就会产生对比度低的问题，进而会使得检测器难以去区分前景和背景；其二是由于不同缺陷之间或同种缺陷内部的形状和大小往往各不相同，导致产生缺陷尺寸变化大的问题，使得同一种检测器无法很好地对所有尺寸的缺陷都检测准确；其三是由于在一张高分辨率图像上，缺陷区域往往只是占据很小一部分，这就会导致在网络的训练阶段产生正负样本极不平衡的问题，使得检测器不能够很好地建模缺陷的特征。

技术实现思路

[0004]本专利技术针对真实场景中缺陷检测方法存在的低对比度、尺寸变化大以及正负样本不平衡等问题，提出了一种基于点集表示的精确缺陷检测方法和系统。
[0005]本专利技术采用的技术方案如下：
[0006]一种基于点集表示的精确缺陷检测方法，包括以下步骤：
[0007]1)对检测目标采用点集进行表示；
[0008]2)对于采用点集表示的检测目标，采用全局上下文特征金字塔网络(Global Context Feature Pyramid Network,GC
‑
FPN)来增强提取对比度明显的多尺度缺陷特征；
[0009]3)对于采用点集表示的检测目标，采用感受野金字塔模块(Receptive Field Pyramid Block,RFPB)来有效获取和融合不同尺度大小的缺陷特征；
[0010]4)对于采用点集表示的检测目标，采用自适应正负样本分配(Adaptive Positive and Negative Samples Allocation)检测头来高效筛选用于学习训练的极少数正样本(缺陷)；
[0011]5)依据步骤4)得到的正样本，以及步骤2)、3)所提取的样本特征，生成准确的缺陷类别以及精确的缺陷位置，实现检测功能；
[0012]进一步地，该方法还包括步骤6)：在实现检测功能的基础上，对于步骤2)的特征提取过程，采用深度可分离卷积来代替普通卷积对网络进行轻量优化，以达到更加快速的检
测目的。
[0013]进一步地，步骤2)所述全局上下文特征金字塔网络，网络输入为含有缺陷的图像(即检测目标)，网络能够通过自注意力机制在特征上采样和特征下采样过程中捕获缺陷和其他位置的长距离约束关系，进而增强各类缺陷的对比度，从而解决目前缺陷检测中存在低对比度情况导致的无法区分前景和后景的问题。
[0014]进一步地，步骤3)所述感受野金字塔模块，由两个分支组成，分别是多感受野卷积分支和残差分支。感受野的大小与卷积核密切相关，为了能够对不同大小尺寸的缺陷进行精确建模，在多感受野卷积分支采用不同扩张率的卷积核，有效地提取大、中、小三种尺寸的缺陷特征。同时为了保留在前一阶段产生的融合特征，设计了残差连接，在输出端对两个分支的不同特征进行了有效地融合，进而达到对多尺度缺陷准确检测的目的，以解决检测过程中缺陷类间和类内形状和尺寸差异大的问题。
[0015]进一步地，步骤4)所述自适应正负样本分配检测头采用自适应正负样本分配策略。在本专利技术的检测头中涉及到两种类型的样本分配策略，分别是对初始点集样本的筛选以及对中间表示锚框样本的筛选。对初始点集样本采用现有的特征点映射对应的方法进行筛选。本专利技术对后一种筛选即对中间表示锚框样本的筛选进行了改进。由统计特征可知，样本的均值可以用来判断预测的合理性，样本的方差可以用来判断预测的波动性。基于这一点，本专利技术将原始锚框分配策略改进为自适应样本分配的选择策略，充分利用了缺陷的统计特征，进而可以有效的选择少数正样本作为训练避免由样本不平衡所带来的问题。
[0016]进一步地，步骤6)所述轻量化网络方法采用深度可分离卷积来代替原有流程中的普通卷积，其由逐通道卷积和逐点卷积两个过程组成，在保证模型检测准确性的前提下，能够使得模型整体的参数量下降，提高目标缺陷的检测速度。
[0017]一种采用本专利技术方法实现的基于点集表示的精确缺陷检测系统，其包括：
[0018]全局上下文特征金字塔网络模块，用于对于采用点集表示的检测目标，采用全局上下文特征金字塔网络来增强提取对比度明显的多尺度缺陷特征；
[0019]感受野金字塔模块，用于对于采用点集表示的检测目标，获取和融合不同尺度大小的缺陷特征；
[0020]自适应正负样本分配模块，用于对于采用点集表示的检测目标，采用自适应正负样本分配检测头来筛选用于学习训练的缺陷正样本；
[0021]缺陷检测模块，用于依据筛选得到的缺陷正样本以及提取的缺陷特征，生成准确的缺陷类别以及精确的缺陷位置，实现检测功能；
[0022]轻量卷积模块，用于采用深度可分离卷积代替全局上下文特征金字塔网络模块中使用的普通卷积，减少检测网络的参数，在保证检测准确率的前提下，提高检测的速度。
[0023]本专利技术关注到了目前缺陷检测领域存在的主要挑战问题，通过利用注意力机制捕获缺陷位置和其他位置的长距离约束关系，增强了缺陷的特征，解决了低对比度问题带来的检测模糊性问题；通过精心设计感受野来提取不同尺寸缺陷的特征，有效地融合各类尺寸缺陷特征，解决了缺陷尺寸变化大带来的单一性问题；通过在检测头引入自适应正负样本分配策略，充分利用缺陷的统计特征，避免了不平衡正负样本带来的训练问题。
附图说明
[0024]图1.缺陷检测领域的挑战性问题；其中(a)是低对比度问题，(b)是尺寸变化大问题，(c)是样本不平衡问题。
[0025]图2.全局上下文特征金字塔网络的可视化结果；其中(a)是输入图像，(b)～(d)是GC
‑
FPN特征金字塔从底向上的特征图热图表示。
[0026]图3.感受野金字塔模块的框架图。
[0027]图4.本专利技术方法的总体流程图；其中(a)表示全局上下文特征金字塔网络，C1～C3表示骨干网络最初提取生成的自底向上的特征图，P1～P3表示经过融合后生成的自顶向下的特征图，表示最终输出的特征图；(b)表示金字塔特征图，；(c)表示感受野金字塔模块；(d)表示自适应正负样本分配检测头。
具体实施方式
[0028]为更加清楚、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点集表示的精确缺陷检测方法，其特征在于，包括以下步骤：对检测目标采用点集进行表示；对于采用点集表示的检测目标，采用全局上下文特征金字塔网络来增强提取对比度明显的多尺度缺陷特征；对于采用点集表示的检测目标，采用感受野金字塔模块来获取和融合不同尺度大小的缺陷特征；对于采用点集表示的检测目标，采用自适应正负样本分配检测头来筛选用于学习训练的缺陷正样本；依据筛选得到的缺陷正样本以及提取的缺陷特征，生成准确的缺陷类别以及精确的缺陷位置，实现检测功能。2.如权利要求1所述的方法，其特征在于，在采用全局上下文特征金字塔网络进行特征提取的过程中，采用深度可分离卷积替代特普通卷积，以实现检测速度的提升；所述深度可分离卷积由逐通道卷积和逐点卷积两个过程组成。3.如权利要求1所述的方法，其特征在于，所述全局上下文特征金字塔网络的输入为含有缺陷的图像，通过自注意力机制在特征上采样和特征下采样过程中捕获缺陷和其他位置的长距离约束关系，进而增强各类缺陷的对比度；所述全局上下文特征金字塔网络按如下公式捕获缺陷和其他位置的长距离约束关系：其中，GC表示输入特征图查询位置对应的输出，x
in
表示输入特征图查询位置，x
j
、x
n
表示输入特征图的其他位置，in为查询位置的索引，n表示特征图位置的索引，W
v
和W
k
代表线性转化矩阵，H表示特征图的高，W表示特征图的宽。4.如权利要求1所述的方法，其特征在于，所述感受野金字塔模块由两个分支组成，分别是多感受野卷积分支和残差分支；在多感受野卷积分支采用不同扩张率的卷积核，有效地提取大、中、小三种尺寸的缺陷特征；在输出端对两个分支的不同特征进行有效地融合，进而达到对多尺度缺陷准确检测的目的。5.如权利要求4所述的方法，其特征在于，所述感受野金字塔模块表示为：5.如权利要求4所述的方法，其特征在于，所述感受野金字塔模块表示为：5.如权利要求4所述的方法，其特征在于，所述感受野金字塔模块表示为：其中，o表示输出特征图大小，i表示输入特征图大小，p表示填充大小，d表示扩张率大小，k表示...

【专利技术属性】
技术研发人员：杨戈，班渺椐，丁润伟，陈阳，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：