一种基于自适应锚框的铝材质图像缺陷检测方法技术

本发明专利技术提出了一种基于自适应锚框的铝材质图像缺陷检测方法，以解决当前缺陷检测方法不够灵活且检测精度较低等问题。首先，本发明专利技术采用了使用分组卷积和可形变卷积思想的ResNeXt‑101作为骨干网络，将包含注意力机制的特征增强模块集成到骨干网络，然后送入到特征金字塔网络中进行多尺度特征融合，从而提高缺陷检测精度；其次，本发明专利技术使用了一个自适应锚框神经网络，自动根据缺陷特征学习对应的锚框参数，提高锚框定位检测的精度；然后，在框预测阶段采用级联网络结构，解决训练阶段和预测阶段精度不匹配的问题；最后，本发明专利技术对形状差异大的缺陷和小目标缺陷的检测精度均有大幅提升，对铝材质图像缺陷检测的总体精度较高，在缺陷检测领域有较高的应用价值。

【技术实现步骤摘要】
一种基于自适应锚框的铝材质图像缺陷检测方法
本专利技术属于计算机视觉和缺陷检测领域，主要采用深度学习的思想，具体涉及一种基于自适应锚框的铝材质图像缺陷检测方法。
技术介绍
铝型材是所有工业化国家的支柱产业，具有强度高，重量轻，耐磨，装饰性好，环保和经济等特点，越来越多的建筑师开始使用铝型材作为建筑材料。因此，质量已成为铝型材的关键评估标准。然而在实际生产中，由于生产流程的影响，铝材质表面可能产生不导电，刮擦，粗粒，外露板，起泡，凹坑，突起的颗粒，板角暴露，油漆痕迹和杂色等缺陷。由于恶劣的环境和高成本，非接触式检测是确保产品质量的重要步骤。缺陷检测的困难如下：1)边界不明显，缺陷与背景的边界模糊；2)人工标注时可能不统一；3)传统方法只能统计特定类别的特征；4)缺陷的尺寸和形状不规则，很难准确预测位置。在实际工业生产中，这些缺陷可能会出现在任何地方，使用计算机自动识别并定位这些缺陷是不可缺少的步骤。最初的缺陷检测方法为人工肉眼检测，但是这不足以满足快速生产的需要。后来业界开始采用传统的机器学习方法，比如纹理统计算法，Halcon软件等，但由于铝型材的表面可能包含很难与缺陷区分的图案，使得这些方法也有很大的局限性，缺乏泛化导致效率和准确性降低。最近，铝型材制造商正在尝试应用最新的人工智能(AI)技术来彻底改变现有的质检流程。AI技术使用卷积神经网络(CNN)，从图像中提取缺陷特征并抽象为非线性模型。这种方法只需要少量的人工参与，且可以在整个流程中充分掌握产品表面质量的状态。经过调研，我们发现现有的缺陷检测方法主要存在以下几点不足：1)CNN可以更好地定位缺陷，但是在许多先进的检测器中，需要预先设置锚的形状和大小。设置锚框的步骤如下：首先人工统计所有缺陷特征，可以采用数学统计工具，然后将这些特征进行归一化操作，分析出一些尽量符合所有特征的锚框的长宽比及大小的参数，最后根据这些参数信息，设置锚框的参数。但由于缺陷的复杂性和多样性，这种人工设计的锚框无法完全覆盖所有的缺陷，且不具备灵活性。因此，我们提出了一种根据所有缺陷特征自动生成锚框的模型，同时结合了一个特征增强的注意力模块，用于在特征提取阶段增强缺陷特征。
技术实现思路
本专利技术的目的在于提供一种基于自适应锚框的铝材质图像缺陷检测方法，以解决当前检测方法效果不好，检测手段不够灵活的问题。为了达到上述目的，本专利技术采用以下技术方案：步骤一，采用图片下采样技术，将所有的图片下采样至统一尺寸，从而使输入维度具有一致性；步骤二，将步骤一中得到的图片输入到一个使用分组卷积和可形变卷积思想的残差神经网络中，从而得到输入图片的特征图；步骤三，把步骤二输出的特征图输入到使用通道注意力和空间注意力机制的特征增强模块中，进行缺陷特征的表达增强；步骤四，将步骤三中生成的增强后的特征图，输入到特征金字塔网络进行特征融合，进一步完成特征增强；步骤五，将步骤四得到的增强后的特征输入到加入了自适应锚框的RPN网络中，进行锚框参数的学习，并生成相应的候选框；步骤六，将所有候选框输入到框预测模块中，采用soft-NMS选择得分较高的候选框，并做框的回归，使其更接近真实值，从而得到最终的预测缺陷区域及缺陷识别结果。并且包含一个训练过程，使用阿里天池比赛中提供的真实生产线上的缺陷数据集对提出的模型进行训练；训练过程采用反向传播机制，根据损失函数的大小不断更新模型参数，直到损失收敛到一个稳定的且较小的值，保存模型参数；步骤七，使用训练出的模型和参数构成基于自适应锚框和注意力机制的铝材质缺陷检测模型。进一步的，步骤一中，对输入图像I(W×H)进行s倍下采样操作，即将原始图像中每(s×s)窗口内的像素进行均值运算，得到(W/s)×(H/s)尺寸的图像，其中W为图像的长度，H为图像的高度；进一步的，步骤二中，骨干网络使用基于ResNeXt-101的神经网络，并引入了split-transform-merge的思想，在特征提取环节，原始输入图像通过一个卷积核为7×7的卷积层和一个批归一化层后，分成64组进入Conv2-Conv5中，分组卷积可以实现在参数量不变的情况下，防止对特定数据集的过拟合，达到一个更好的效果。进一步的，步骤二中，基于分组卷积思想的特征提取网络中，Conv1.0-Conv1.2经过3组conv+BN层后，使用3×3的卷积核，步长为2，采用最大池化的方式进行下采样。conv1-conv3的构成为1×1卷积、3×3卷积组和1×1卷积，特征图经过1×1卷积后，会根据通道的维度分为不同的子特征图，其中第一个子特征图会直接输出，其余会通过3×3卷积后输出，从第三个特征图起，每个子特征图会和前一个进行相加操作再进行3×3的卷积操作，最后将所有的子特征图采用1×1卷积映射融合得到总输出。Conv2.0在conv2采用了可形变卷积，给每个采样点加一个offset，增强学习能力，最后加入了3×3的最大池化层进行下采样。进一步的，步骤二中，Conv2.0中除了3组conv+BN层外，还在conv2采用了可形变卷积，给每个采样点加一个offset，增强学习能力，最后加入了3×3的最大池化层进行下采样。Conv2.1-Conv2.3和Conv2.0结构类似，Conv3.0、Conv4.0和Conv2.0的结构类似，Conv3.1-Conv3.22、Conv4.1-Conv4.2和Conv2.1的结构相似。进一步的，步骤三中采用具有可形变卷积的通道注意力和空间注意力结合的注意力机制，根据通道和空间的两个独立维度推导注意力映射，然后将其与输入特征相乘。可形变卷积在每个点上学习一个偏移，然后找到一个更合适的位置来提取特征。进一步的，Ac是尺寸为C×1×1的一维通道注意力特征图，其注意力特征图谱Ac(M(l，w，x))计算如下：其中，代表通道平均池化操作，代表通道最大池化操作，代表通道中值池化操作，w1和w0是多层感知器(MLP)学习到的权重，该权重可用于所有输入特征，RL代表ReLU激活函数，用于激活逐个元素求和后，合并得到的特征向量。进一步的，As是尺寸为1×W×H的二维空间注意力特征图，空间注意力是通道注意力的补充，空间注意力描述为：其中，代表空间平均池化操作，代表空间最大池化操作，代表空间中值池化操作，基于通道注意力和输入特征，通过具有可形变卷积的平均池化最大池化和中值池化获得空间权重系数，RL代表ReLU激活函数，Γ7×7是具有可变形卷积的7×7卷积核，offset表示偏移量。最后，两个注意力模块相乘，·表示将每一个元素进行相乘操作。M(l，w，x)表示可形变卷积运算后的特征图，可以定义为：其中W(ln)和w代表学习到的权重，ln表示实数集R中的任意数字，l是线性插值的参数，x是输入的特征图谱。B(·，·)代表N维的双线性插值算法，其一维形式如下所示：其中mi和ni分别代表m和n在第i维的情况。M本文档来自技高网...

【技术保护点】
1.基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，包括以下步骤：/n步骤一，采用图片下采样技术，将所有图片下采样至统一尺寸，使输入维度具有一致性；/n步骤二，将步骤一中得到的图片输入到一个使用分组卷积和可形变卷积思想的残差神经网络中，从而得到输入图片的特征图；/n步骤三，把步骤二输出的特征图输入到使用通道注意力和空间注意力机制的特征增强模块中，进行缺陷特征的表达增强；/n步骤四，将步骤三中生成的增强后的特征图，输入到特征金字塔网络中进行多尺度特征融合，进一步完成特征增强；/n步骤五，将步骤四得到的增强后的特征输入到加入了自适应锚框的RPN网络中，进行锚框参数的学习，并生成相应的候选框；/n步骤六，将所有候选框输入到框预测模块中，采用soft-NMS选择得分较高的候选框，并做框的回归，使其更接近真实值，从而得到最终的预测缺陷区域及缺陷识别结果；/n并且包含一个训练过程，使用阿里天池比赛中提供的真实生产线上的缺陷数据集对提出的模型进行训练；/n训练过程采用反向传播机制，根据损失函数的大小不断更新模型参数，直到损失收敛到一个稳定的且较小的值，保存模型参数；/n步骤七，使用训练出的模型和参数构成基于自适应锚框和注意力机制的铝材质缺陷检测模型。/n...

【技术特征摘要】
1.基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，包括以下步骤：
步骤一，采用图片下采样技术，将所有图片下采样至统一尺寸，使输入维度具有一致性；
步骤二，将步骤一中得到的图片输入到一个使用分组卷积和可形变卷积思想的残差神经网络中，从而得到输入图片的特征图；
步骤三，把步骤二输出的特征图输入到使用通道注意力和空间注意力机制的特征增强模块中，进行缺陷特征的表达增强；
步骤四，将步骤三中生成的增强后的特征图，输入到特征金字塔网络中进行多尺度特征融合，进一步完成特征增强；
步骤五，将步骤四得到的增强后的特征输入到加入了自适应锚框的RPN网络中，进行锚框参数的学习，并生成相应的候选框；
步骤六，将所有候选框输入到框预测模块中，采用soft-NMS选择得分较高的候选框，并做框的回归，使其更接近真实值，从而得到最终的预测缺陷区域及缺陷识别结果；
并且包含一个训练过程，使用阿里天池比赛中提供的真实生产线上的缺陷数据集对提出的模型进行训练；
训练过程采用反向传播机制，根据损失函数的大小不断更新模型参数，直到损失收敛到一个稳定的且较小的值，保存模型参数；
步骤七，使用训练出的模型和参数构成基于自适应锚框和注意力机制的铝材质缺陷检测模型。


2.根据权利要求1所述的基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，步骤一中，对输入图像I(W×H)进行s倍下采样操作，即将原始图像中每(s×s)窗口内的像素进行均值运算，得到(W/s)×(H/s)尺寸的图像，其中W为图像的长度，H为图像的高度。


3.根据权利要求1所述的基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，步骤二中，骨干网络使用基于ResNeXt-101的神经网络，原始输入图像通过一个卷积核为7×7的卷积层和一个批归一化层后，分成64组进入Conv2-Conv5中。基于分组卷积思想的特征提取网络中，Conv1.0-Conv1.2经过3组conv+BN层后采用最大池化的方式进行下采样，conv1-conv3的构成为1×1卷积、3×3卷积组和1×1卷积，特征图经过1×1卷积后，会根据通道的维度分为不同的子特征图，其中第一个子特征图会直接输出，其余会通过3×3卷积后输出，从第三个特征图起，每个子特征图会和前一个进行相加操作再进行3×3的卷积操作，最后将所有的子特征图采用1×1卷积映射融合得到总输出，Conv2.0在conv2采用了可形变卷积，给每个采样点加一个offset，增强学习能力，最后加入了3×3的最大池化层进行下采样。


4.根据权利要求1所述的基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，步骤三中采用具有可形变卷积的通道注意力和空间注意力结合的注意力机制，根据通道和空间的两个独立维度推导注意力映射，然后将其与输入特征相乘。可形变卷积在每个点上学习一个偏移，然后找到一个更合适的位置来提取特征。


5.根据权利要求4所述的基于自适应锚框的铝材质图像缺陷检测方法，其特征在于，具有可形变卷积的通道注意力和空间注意力结合的注意力机制，Ac是尺寸为C×1×1的一维通道注意力特征图，其注意力特征图谱Ac(M(l，w，x))计算如下：



其中，代表通道平均池化操作，代表通道最大池化操作，代表通道中值池化操作，w1和w0是多层感知器(MLP)学习到的权重，该权重可用于所有输入特征，RL代表ReLU激活函数，用于激活逐个元素求和后，合并得到的特征向量；
As是尺寸为1×W×H的二维空间注意力特征图，空间注意力是通道注意力的补充，空间注意力描述为：



其中，代表空间平均池化操作，代表空间最大池化操作，代表空间中值池化操作，基于通道注意力和输入特征，通过具有可形变卷积的平均池化最大池化和中值池化获得空间权重系数，RL代表ReLU激活函数，Γ7×7是具有可变形卷积的7×7卷积核，offset表示偏移量；
最后，两个注意力模块相乘，·表示将每一个元素进行相乘操作，M(l，w，x)表示可形变卷积运算后的特征图，可以定义为：



其中W(ln)和w代表学习到的权重，ln表示实数集R中的任意数字，l是线性插值的参数，x是输入的特征图谱，B(·，·)代表N维的双线性插值算法，其一维形式如下所示：

【专利技术属性】
技术研发人员：田智强，董靓杰，王欢，许博，郑尧月，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61