基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法技术

本发明专利技术公开了一种基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，对收集到的瓷砖缺陷图像进行变换、特征提取，随后进行对齐，获得差分图像，结合缺陷图像与差分图像构成数据集，随后进行缺陷标注，按比例划分训练集测试集。确定优化方法及损失函数，将所构建的瓷砖表面缺陷检测神经网络以端到端的方式进行训练，获得训练好的检测神经网络对待检测瓷砖图像进行缺陷类别与缺陷位置预测，随后使用非极大值抑制获得最终结果。本发明专利技术提高了瓷砖缺陷检测的精度；本方法对瓷砖表面缺陷进行检测的方法流程可以应用到其他类型的表面缺陷检测框架中提高检测精度，通用性强。通用性强。通用性强。

【技术实现步骤摘要】
基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法


[0001]本专利技术涉及缺陷图像识别
，具体涉及一种基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，尤其适用于轻量级瓷砖的检测。

技术介绍

[0002]不同类型瓷砖生产不同，但都存在瓷砖表面图像缺陷问题，以抛釉砖为例，经过原材料混合研磨、脱水、压胚、喷墨印花、淋釉、烧制、抛光，最后进行质量检测和包装。得益于产业自动化的发展，目前生产环节已基本实现无人化。
[0003]而质量检测环节仍大量依赖人工完成。一般来说，一条产品线需要配2～6名质检工，长时间在高光下观察瓷砖表面寻找瑕疵。这样导致质检效率低下、质检质量层次不齐且成本居高不下。瓷砖表面检测是瓷砖行业生产和质量管理的重要环节，也是困扰行业多年的技术瓶颈。

技术实现思路

[0004]针对上述问题，本专利技术的目的在于提供一种基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其目的在于通过多尺度特征融合获取更多的多尺度特征信息来丰富表征能力，通过交互注意力加大缺陷部位的权重来提高缺陷检测精度，提升瓷砖表面瑕疵质检的效果和效率，降低对人工的依赖。
[0005]本专利技术提供了一种基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，具体做法如下：
[0006]利用工业相机采集到的瓷砖高分辨率图像，建立瓷砖缺陷图像库；
[0007]将图像库中的图像进行裁剪，随后将瓷砖缺陷图像库中待标注的缺陷图像，同无缺陷的标准瓷砖图像进行图像对齐，将标准瓷砖图像与缺陷图像通过变换处理对齐到相同角度和位置，最后获得对齐后的差分图像，具体方法为：
[0008]先将缺陷图像与无缺陷的标准瓷砖图像分别都转化为灰度图。
[0009]再对缺陷图像与无缺陷的标准瓷砖图像这两张灰度图像进行亮度与对比度上的对齐。
[0010]使用SURF特征提取算子，首先对两张灰度图进行特征提取，后进行特征点匹配，获得透视变换矩阵L，将图像投影到一个新的视平面，其变换公式为：
[0011][0012]其中[x',y',l']是变换后的坐标，[u,v,l]是变换前的坐标，其中本专利处理二维图像，所以原坐标的l恒为1。则为变换之后的图像像素坐标。透视变换矩阵解释如下图：
[0013][0014][0015]T2＝[a
13 a
23
]T
[0016]T3＝[a
31 a
32
][0017]L表示透视变换矩阵，其中a
ij
表示计算出的变换矩阵中的每个数值标量，其中T1矩阵表示图像线性变换，T2向量用于产生图像透视变换，T3向量表示图像平移。经过变换从而使缺陷图像与无缺陷的标准瓷砖图像对齐，使用透视变换矩阵将无缺陷的标准瓷砖图像与缺陷图像对齐，将变换后的无缺陷的标准瓷砖图像与缺陷图像的灰度图进行差分，对两幅图像进行对应位置的像素值相减操作，获得差分后的图像像素矩阵。
[0018]对预处理后的瓷砖缺陷图像库中缺陷图像进行缺陷类别标注，并将标注后的缺陷图像预处理后按分为训练集和测试集；
[0019]使用随机旋转、随机平移、随机翻转、随机剪裁对缺陷图像进行随机的不同角度旋转，垂直、水平方向翻转，随机方向平移，另外还对缺陷图像进行随机剪裁部分区域，增强图像表征能力。
[0020]针对边缺陷、角缺陷等依赖几何图形的缺陷进行增强，针对白色点瑕疵、浅色块瑕疵、深色点块瑕疵、光圈瑕疵等缺陷使用了亮度、对比度、色相等增强方式。
[0021]再建立基于的轻量级瓷砖表面缺陷的目标检测神经网络，具体做法为：
[0022]使用获得的增强后的训练集与缺陷标注信息作为输入，使用对齐模块对训练图像进行对齐，获得差分图像，利用特征提取神经网络分别对差分图像与原缺陷图像分别进行特征提取。
[0023]特征提取模块使用了EffNet的特征提取神经网络，对差分图像与原缺陷图像进行特征提取，其中模块公式如下：
[0024]E(x)＝f2×1(f3×1(MaxPool(f1×3(f1×1(x)))))
[0025]其中f
a
×
b
为卷积核为a
×
b的卷积操作，MaxPool为最大池化，池化操作是将数据划分为若干2*2大小的区域，取其小区域的最大值其余舍去构成新的数据，平均池化则是取其2*2区域平均数构成新的数据。
[0026]EffNet神经网络可以显著减少计算负担，同时提高精度，使模型更轻量化。
[0027]随后使用FPN特征金字塔神经网络，提取出不同尺度特征，使用矩阵求和的形式将两种图像的不同尺度特征融合，获得融合后的多尺度特征。将图像采用几次卷积操作，获取不同大小的特征图，其后使用反卷积将最后的特征图，通过放大到和浅层的特征图一样的尺寸后，和卷积提取的同样大小的特征图元素相加，最后的得到融合多尺度的三种特征图predict。
[0028]FPN神经网络采用特征金字塔做目标检测，通过自下而上的神经网络来提取不同神经网络层的特征图，得到特征金字塔，再通过自上而下的神经网络将不同层的特征图融合到一起；融合了多尺度的特征包含了具有不同感受野的大量图像信息，详细操作公式如
下：
[0029][0030][0031]Ci为经过i次的特征提取所获得的特征图，其中f
a
×
b
为卷积核为a
×
b的卷积操作，upsample2×2为卷积核为2
×
2的反卷积操作，Pi为卷积获得的特征图与反卷积获得的特征图融合的新特征图，它融合了多尺度的特征。
[0032]感受野指的是一个特定的卷积特征在输入空间所受影响的区域。第k层的感受野计算方法如下：
[0033][0034]其中l
k
为第k
‑
1层对应的感受野大小，f
k
为第k层的卷积核大小，或者是池化层的池化尺寸大小，s
i
为卷积的步长大小。
[0035]通过交互注意力模块对融合后的多尺度特征进行，交互注意力的操作，此模块可进一步加强缺陷部分的权重。交互注意力模块包括空间注意力与通道注意力及自交互模块，混合了两种注意力及自交互机制的交互注意力模块可进一步增强其缺陷特征表现能力：
[0036]通道注意力：对H
×
W
×
C维度的特征图，进行一个空间的全局最大池化(SMaxPool)和全局平均池化(SAvgPool)得到两个1
×1×
C的通道描述。其中平均池化与最大池化策略如图4所示进行操作。
[0037]接着，再将所提取的第二差分图像与原缺陷图像的特征图分别送入一个两层的神经网络，这个两层的神经网络是共享的，将其全局最大池化(SMaxPool)和全局平均池化(SAvgPool)得到两个1
×1×
C的通道描述，使用同一个两层的神经网络进行训练，表示为MLP，其中W1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其特征在于，包括以下步骤：步骤1，利用工业相机采集到的瓷砖高分辨率图像，建立瓷砖缺陷图像库；步骤2，将图像库中的图像进行裁剪，随后将瓷砖缺陷图像库中待标注的缺陷图像，同无缺陷的标准瓷砖图像进行图像对齐，将标准瓷砖图像与缺陷图像通过变换处理对齐到相同角度和位置，最后获得对齐后的差分图像；步骤3，对预处理后的瓷砖缺陷图像库中缺陷图像进行缺陷类别标注，并将标注后的缺陷图像预处理后分为训练集和测试集；步骤4，采用数据增强技术对训练集和测试集中的缺陷图像进行增强；步骤5，建立基于交互注意力与卷积神经网络的轻量级瓷砖表面缺陷的目标检测神经网络；步骤6，将经过预处理并增强后的缺陷图像输入到目标检测神经网络中，对目标检测神经网络进行训练，获得优化后的目标检测神经网络；步骤7，在线采集瓷砖表面图像，并基于优化后的目标检测神经网络对瓷砖进行缺陷检测，若存在缺陷则检测到缺陷目标位置并获得目标缺陷类别。2.根据权利要求1所述的基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其特征在于：所述步骤2中，瓷砖图像库由工业相机采集的高分辨率图像组成，主要数据为瓷砖图像，缺陷种类有8类，包括边缺陷、角缺陷、白色点瑕疵、浅色块瑕疵、深色点块瑕疵、光圈瑕疵、记号笔以及划伤，数据包含有缺陷图片、无缺陷图片和标注数据，标注数据标注缺陷位置和类别信息。3.根据权利要求1所述的基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其特征在于：所述步骤2中，缺陷检测方法的步骤为：步骤2.1，将缺陷图像与无缺陷的标准瓷砖图像分别都转化为灰度图；步骤2.2，其次对缺陷图像与无缺陷的标准瓷砖图像的灰度图像进行亮度与对比度上的对齐；步骤2.3，对两张灰度图进行特征提取，使用SURF特征提取算子，后进行特征点匹配，获得透视变换矩阵L，将图像投影到一个新的视平面，其变换公式为：其中[x',y',l']是变换后的坐标，[u,v,l]是变换前的坐标，由于灰度图为二维图像，所以原坐标的l恒为1，则为变换之后的图像像素坐标，透视变换矩阵解释如下图：
T2＝[a
13 a
23
]
T
T3＝[a
31 a
32
]L表示透视变换矩阵，其中a
ij
表示计算出的变换矩阵中的每个数值标量，其中T1矩阵表示图像线性变换，T2向量用于产生图像透视变换，T3向量表示图像平移，经过变换从而实现缺陷图像与无缺陷的标准瓷砖图像对齐；步骤2.4，将对齐后的无缺陷标准瓷砖图像与缺陷图像的灰度图进行差分，获得差分后的图像像素矩阵。4.根据权利要求1所述的基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其特征在于：所述步骤4中：步骤4.1，使用随机旋转、随机平移、随机翻转、随机剪裁对缺陷图像进行随机的角度旋转，垂直、水平方向翻转，随机方向平移，另外还对缺陷图像进行随机剪裁部分区域，从而增强图像表征能力；步骤4.2，使用色彩变换和直方图均衡化方式，针对边缺陷、角缺陷依赖几何图形的缺陷进行增强，针对白色点瑕疵、浅色块瑕疵、深色点块瑕疵、光圈瑕疵缺陷使用了亮度、对比度、色相增强方式。5.根据权利要求1所述的基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法，其特征在于：所述步骤5中，步骤5.1，使用获得的增强后的训练集与缺陷标注信息作为输入，再次使用步骤2中的所述对齐模块对训练图像与无缺陷标准瓷砖图像进行对齐，获得第二差分图像；步骤5.2，利用特征提取神经网络分别对第二差分图像与原缺陷图像分别进行特征提取，特征提取模块使用EffNet的特征提取神经网络，该特征提取模块公式如下：E(x)＝f2...

【专利技术属性】
技术研发人员：韩琦，侯明阳，翁腾飞，陈国荣，杨恒，武宸，王洪艺，田升，解燕，张澳，张崟溧，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：