基于编码解码网络的缺陷检测方法技术

本发明专利技术涉及缺陷检测技术领域，具体涉及基于编码解码网络的缺陷检测方法及系统

【技术实现步骤摘要】
基于编码解码网络的缺陷检测方法、系统、设备及介质


[0001]本专利技术涉及缺陷检测
，尤其涉及基于编码解码网络的缺陷检测方法
、
系统
、
计算机设备及存储介质
。

技术介绍

[0002]在工业上缺陷检测领域，通常使用标注文件进行缺陷训练学习特征信息
。
工业缺陷检测运用场景不断增多，其缺陷类型变化繁杂，缺陷往往经历着不断量变到质变的过程，导致同一类缺陷会有较大特征表征存在，所以检测模型需要不断学习，不断兼容缺陷表征特性，以检出各个时期不同表征的缺陷，这对缺陷的标注，模型的泛化性都存在一定考验性
。
[0003]为了解决标注数据的有监督模型存在的影响，无标注数据进行自监督得到预训练大模型参数得到了较大的运用空间，例如，使用
DETR
网络进行缺陷检测
。DETR
是一个经典的
Encoder
‑
Decoder
结构的算法，
DETR Encoder （
DETR
编码）用于获取训练图像的特征信息，
DETR Decoder （
DETR
解码）直接将图像特征信息转化为序列化信息，输出目标框任务
。
[0004]但是，由于
DETR
模型编码部分只是普通的
Transform
模型，提取图片特征信息能力较有限，现有技术通常是将该
DETR
网络应用于分割及分类网络中，但不适用目标检测任务的网络，无法准确利用目标框任务信息进行缺陷特征信息的学习，从而导致无法得到需要的实际检测效果
。

技术实现思路

[0005]为了解决上述现有技术中存在的技术问题，本专利技术提供了一种基于编码解码网络的缺陷检测方法
、
系统
、
计算机设备及存储介质，通过对
DETR
网络进行优化设计，将
DETR
解码与
BEIT
编码相结合，使其能够极大的提高缺陷检测的准确性
。
[0006]为实现上述目的，本专利技术实施例提供了如下的技术方案：第一方面，在本专利技术的一个实施例中，提供了基于编码解码网络的缺陷检测方法，该方法包括以下步骤：通过图像
patch
处理和图像掩码处理对输入图像进行解析，得到图像特征信息；对所述图像特征信息进行
BEIT
编码处理，得到视觉标志信息；对所述视觉标志信息进行
DETR
解码处理，得到序列化数据；基于所述序列化数据进行位置编码，得到对应的位置编码信息；通过
MLP
预测层对所述序列化数据和对应的位置编码信息进行目标缺陷的检测，以输出检测结果
。
[0007]作为本专利技术的进一步方案，所述图像
patch
处理进一步包括：对输入图像拆分为
N
个大小相等的图像
patch
，其中
N
为正整数；对所述图像
patch
进行序列化处理，得到图像
patch
序列；将所述图像
patch
序列进行编码处理以获得图像特征信息；
其中，所述图像
patch
表示为：；
[0008]式中，
X
是图像
patch
的特征向量，
H
代表输入图像长度，
W
代表输入图像宽度，
C
代表图像通道数；
R
代表实数集，用于表示所述特征向量各维度的值
H、W、C
属于实数范围内；所述图像
patch
序列表示为：；
[0009]式中，是图像
patch
结果序列化之后的特征向量，
p
代表每个图像
patch
的分辨率；
N
代表图像
patch
的个数，也是所述图像
patch
序列的长度，；
R
代表实数集，用于表示所述特征向量各维度的值
N、P、C
属于实数范围内
。
[0010]作为本专利技术的进一步方案，将所述图像
patch
序列进行编码处理以获得图像特征信息，是通过将所述图像
patch
序列输入线性层网络，得到图像
patch
的嵌入；其中，，式中，
P
代表图像分辨率，
C
代表图像通道数，
D
表示图像的向量维度；
R
代表实数集，用于表示所述特征向量各维度的值
D、P、C
属于实数范围内
。
[0011]作为本专利技术的进一步方案，对所述图像
patch
进行序列化处理之前，还包括对所述图像
patch
进行图像掩码处理；所述图像掩码处理是采
blockwise masking
分块掩码方式，输入所述
N
个图像
patch
进行掩码处理后，输出被掩码的图像
patch
集合，得到图像掩码序列
。
[0012]作为本专利技术的进一步方案，所述
BEIT
编码处理是采用
BERT
模型对所述图像掩码序列进行训练，损失函数为交叉熵损失函数，输出视觉标志信息
。
[0013]作为本专利技术的进一步方案，所述
DETR
解码处理，是将视觉标志信息解码转换为基于输入图像的长宽维度的序列化数据，具体包括：对所述视觉标志信息进行卷积核
1x1
卷积的维度压缩处理，使其维度与输入图像的长宽一致，以此得到基于长宽维度的序列化数据
。
[0014]作为本专利技术的进一步方案，所述位置编码处理，是指基于所述序列化数据得到位置编码信息，具体包括：基于每个长宽维度的序列化数据，使用不同频率的
sin
函数对其高度维度进行位置编码；并且，使用不同频率的
cos
函数对宽度维度进行位置编码；最后对宽高维度的一半进行合并处理，以此得到位置编码信息
。
[0015]第二方面，在本专利技术的又一个实施例中，提供了基于编码解码网络的缺陷检测系统，该系统包括：图像解析模块，其通过图像
patch
处理和图像掩码处理对输入图像进行解析，得到图像特征信息；
BEIT
模块，用于对所述图像特征信息进行
BEIT
编码处理，得到视觉标志信息；
DETR
模块，用于对所述视觉标志信息进行
DETR
解码处理，得到序列化数据；以及，基于所述序列化数据进行位置编码，得到对应的位置编码信息；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于编码解码网络的缺陷检测方法，其特征在于，包括以下步骤：通过图像
patch
处理和图像掩码处理对输入图像进行解析，得到图像特征信息；对所述图像特征信息进行
BEIT
编码处理，得到视觉标志信息；对所述视觉标志信息进行
DETR
解码处理，得到序列化数据；基于所述序列化数据进行位置编码，得到对应的位置编码信息；通过
MLP
预测层对所述序列化数据和对应的位置编码信息进行目标缺陷的检测，以输出检测结果；所述
DETR
解码处理，是将视觉标志信息解码转换为基于输入图像的长宽维度的序列化数据，具体包括：对所述视觉标志信息进行卷积核
1x1
卷积的维度压缩处理，使其维度与输入图像的长宽一致，以此得到基于长宽维度的序列化数据；所述位置编码，是指基于所述序列化数据得到位置编码信息，具体包括：基于每个长宽维度的序列化数据，使用不同频率的
sin
函数对其高度维度进行位置编码；并且，使用不同频率的
cos
函数对宽度维度进行位置编码；最后对宽高维度的一半进行合并处理，以此得到位置编码信息
。2.
如权利要求1所述的基于编码解码网络的缺陷检测方法，其特征在于，所述图像
patch
处理进一步包括：对输入图像拆分为
N
个大小相等的图像
patch
，其中
N
为正整数；对所述图像
patch
进行序列化处理，得到图像
patch
序列；将所述图像
patch
序列进行编码处理以获得图像特征信息；其中，所述图像
patch
表示为：；式中，
X
是图像
patch
的特征向量，
H
代表输入图像长度，
W
代表输入图像宽度，
C
代表图像通道数；
R
代表实数集，用于表示所述特征向量各维度的值
H、W、C
属于实数范围内；所述图像
patch
序列表示为：；式中，是图像
patch
结果序列化之后的特征向量，
p
代表每个图像
patch
的分辨率；
N
代表图像
patch
的个数，也是所述图像
patch
序列的长度， ；
R
代表实数集，用于表示所述特征向量各维度的值
N、P、C
属于实数范围内
。3.
如权利要求2所述的基于编码解码网络的缺陷检测方法，其特征在于，将所述图像
patch
序列进行编码处理以获得图像特征信息，是通过将所述图像
patch
序列输...

【专利技术属性】
技术研发人员：陈宇，陈震，
申请(专利权)人：厦门微图软件科技有限公司，
类型：发明
国别省市：