一种基于多尺度转移的充电器表面缺陷检测方法技术

本发明专利技术涉及一种基于多尺度转移的充电器表面缺陷检测方法，包括步骤：数据预处理；搭建稠密卷积神经网络；搭建多尺度转移模型；得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成。本发明专利技术的有益效果是：本发明专利技术使用基于稠密卷积神经网络的多尺度转移算法，搭建了一种端到端的多尺度目标检测模型，应用多特征匹配的方法，可以对电子设备的充电器外表面进行自动且高效的缺陷目标检测；图像级标签缺省的手机屏幕缺陷检测对于工业应用具有重大应用价值，可以节约企业生产成本，并保护消费者权益。益。益。

【技术实现步骤摘要】
一种基于多尺度转移的充电器表面缺陷检测方法


[0001]本专利技术属于缺陷检测
，具体涉及一种基于多尺度转移的充电器表面缺陷检测方法，用以解决充电器表面缺陷检测问题。

技术介绍

[0002]随着计算机技术、通信技术以及互联网技术的高速发展，电子设备在人们生产生活中所扮演的角色越来越重要，而配套的充电器更是不可或缺的。为了保护消费者权益，以及提高品牌价值，防止存在缺陷的充电器流入市场，在充电器出厂前，对充电器的质量进行检测是必需的过程，而对其外观表面的缺陷检测则是一个研究重点。
[0003]传统的检测手段是在生产线上安排工人值守，工人对生产线上的屏幕用肉眼逐一进行检测。但是这种手段存在检测效率慢、人工成本高、缺乏统一的判断标准等缺点。
[0004]近年来，随着机器学习、深度学习在计算机视觉、模式识别等领域大放异彩，对于充电器外观表面缺陷检测又提供了另外的强有力的方法。目标检测要求在给定的图像中定位所要提取的对象类别的所有实例，基于卷积神经网络(CNN)的检测框架在速度和精度方面取得了显著进展。在其中，尺度问题是缺陷目标检测的核心问题，为了检测不同尺度的目标，一种基本策略是利用图像特征图谱获取不同尺度的特征。而由于CNN中每一层的感受野是固定的，所以充电器缺陷图像中固定的感受野与不同尺度的缺陷存在不一致。并且，浅层特征图有小的感受野，用于检测小的目标，而深层特征地图有大的感受野，用于检测大的缺陷目标。然而，浅层特征的语义信息较少，这可能会影响小目标的缺陷检测的性能。

技术实现思路

[0005]本专利技术的目的是克服现有技术中的不足，提供一种基于多尺度转移的充电器表面缺陷检测方法。
[0006]这种基于多尺度转移的充电器表面缺陷检测方法，包括以下步骤：
[0007]步骤1、数据预处理：在输入模型前，将充电器外表面缺陷图像分别进行尺度放缩、直方图均衡、均值平滑和图像校正；
[0008]步骤2、搭建稠密卷积神经网络：将步骤1预处理得到的充电器外表面缺陷图像输入稠密卷积神经网络中进行特征提取，并在每一个稠密单元层中获取不同的特征；
[0009]步骤3、搭建多尺度转移模型；将步骤2中每一个卷积单元层不同尺度的输出特征输入多尺度转移模型中，获取不同尺度的特征图，结合不同分辨率的特征图进行多尺度的缺陷目标检测；
[0010]步骤3.1、利用稠密卷积神经网络的网络结构得到强语义特征映射，通过concat操作将底层特征直接转移到稠密卷积神经网络的顶层；
[0011]步骤3.2、在多尺度转移模型中使用平均池化层来获得低分辨率的特征图；使用尺度转移层技术获得高分辨率的特征图；将多尺度转移模型直接嵌入稠密卷积神经网络中，从稠密卷积神经网络的最后一个稠密卷积单元层得到不同尺度的特征图；
[0012]步骤3.3、利用步骤3.2所得不同尺度的特征图的特征来映射构造多尺度缺陷目标检测模型；
[0013]步骤4、将步骤3中得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成；分类子网络对多尺度缺陷目标进行目标分类，边界回归子网络对多尺度缺陷目标进行边界位置回归分析。
[0014]作为优选，步骤1具体包括如下步骤：
[0015]步骤1.1、将充电器外表面缺陷图像进行尺度放缩，达到设定的尺度大小；
[0016]步骤1.2、使用直方图均衡将充电器外表面缺陷图像变换为均匀分布的形式；统计均匀分布形式下充电器外表面缺陷图像中各个像素占全部像素的比例；
[0017]步骤1.3、使用均值平滑方式对充电器外表面缺陷图像进行平滑处理；
[0018]步骤1.4、采用参考点匹配进行缺陷图像校正并计算旋转参数。
[0019]作为优选，步骤2具体包括如下步骤：
[0020]步骤2.1、将卷积神经网络的每一个卷积单元替换成3个3
×
3卷积层和一个2
×
2平均池化层；将第一个卷积层步长设置为2，另外两个卷积层步长为1，将三个卷积层的输出通道设置为64；所述卷积神经网络的每一个卷积单元由步长为2的7
×
7卷积层和步长为2的3
×
3最大池化层组成；
[0021]步骤2.2、将若干步骤2.1所述的卷积单元进行线性堆叠，搭建完整的稠密卷积神经网络；
[0022]步骤2.3、将预处理后的充电器外表面缺陷图像输入稠密卷积神经网络的第一个卷积单元层中，获得该单元层的图像特征；
[0023]步骤2.4、卷积神经网络第一单元层之后的每一个卷积单元层的输入为前面所有卷积单元层的输出，每一个卷积单元层均输出经过本单元的特征。
[0024]作为优选，步骤4具体包括如下步骤：
[0025]步骤4.1、将一组预设的目标边界框与尺度转移层技术获得的每个高分辨率的特征图中的特征映射相关联；在每个预测输出层使用预设的长宽高比；目标边界框与任何相交高于阈值的标签匹配，将其余的边界框视为背景；在匹配步骤之后使用负挖掘得到的边界框映射关系，将得到的边界框映射关系分别输入分类子网络和边界回归子网络进行处理；
[0026]步骤4.2、将边界框映射关系输入分类子网络，通过分类子网络预测每个目标边界框属于一个类别的概率；
[0027]步骤4.3、将边界框映射关系输入边界回归子网络，边界回归子网络将每个目标边界框的偏移量回归到匹配的标签目标上；
[0028]步骤4.4、搭建目标检测网络建立学习模型，训练得到最小化分类和定位的联合损失：
[0029][0030]上式中，a是目标边界框，I是充电器缺陷图像，θ是优化参数，L
cls
是分类损失，L
loc
是定位损失；y
a
∈{0，1，...，K}是类标签，K是缺陷目标类的数量；当目标边界框a不匹配时，y
a
＝0；p
loc
(I，a，θ)和p
cls
(I，a，θ)分别是预测边界的编码以及预测边界的编码对应的类；
是标签框对匹配目标边界框的编码，λ是权衡系数。
[0031]作为优选，步骤1.1中充电器外表面缺陷图像设定的尺度大小为300
×
300
×
3像素；步骤1.2中均匀分布形式下充电器外表面缺陷图像中，像素x进行直方图均衡后的像素值为：(x的比例+所有像素值比x小的比例)*255。
[0032]作为优选，步骤1.3中使用3
×
3元素全为1的三阶方阵作为均值算子，对充电器外表面缺陷图像进行卷积计算，并将步长设置为1进行算子平移。
[0033]作为优选，步骤3中多尺度转移模型包括平均池层和尺度转移层。
[0034]作为优选，步骤3.2中使用尺度转移层技术获得高分辨率的特征图的具体方式为：假设尺度转移层的输入张量的维数为H
×
W
×...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度转移的充电器表面缺陷检测方法，其特征在于，包括以下步骤：步骤1、数据预处理：在输入模型前，将充电器外表面缺陷图像分别进行尺度放缩、直方图均衡、均值平滑和图像校正；步骤2、搭建稠密卷积神经网络：将步骤1预处理得到的充电器外表面缺陷图像输入稠密卷积神经网络中进行特征提取，并在每一个稠密单元层中获取不同的特征；步骤3、搭建多尺度转移模型；将步骤2中每一个卷积单元层不同尺度的输出特征输入多尺度转移模型中，获取不同尺度的特征图，结合不同分辨率的特征图进行多尺度的缺陷目标检测；步骤3.1、利用稠密卷积神经网络的网络结构得到强语义特征映射，通过concat操作将底层特征直接转移到稠密卷积神经网络的顶层；步骤3.2、在多尺度转移模型中使用平均池化层来获得低分辨率的特征图；使用尺度转移层技术获得高分辨率的特征图；将多尺度转移模型直接嵌入稠密卷积神经网络中，从稠密卷积神经网络的最后一个稠密卷积单元层得到不同尺度的特征图；步骤3.3、利用步骤3.2所得不同尺度的特征图的特征来映射构造多尺度缺陷目标检测模型；步骤4、将步骤3中得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成；分类子网络对多尺度缺陷目标进行目标分类，边界回归子网络对多尺度缺陷目标进行边界位置回归分析。2.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤1具体包括如下步骤：步骤1.1、将充电器外表面缺陷图像进行尺度放缩，达到设定的尺度大小；步骤1.2、使用直方图均衡将充电器外表面缺陷图像变换为均匀分布的形式；统计均匀分布形式下充电器外表面缺陷图像中各个像素占全部像素的比例；步骤1.3、使用均值平滑方式对充电器外表面缺陷图像进行平滑处理；步骤1.4、采用参考点匹配进行缺陷图像校正并计算旋转参数。3.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤2具体包括如下步骤：步骤2.1、将卷积神经网络的每一个卷积单元替换成3个3
×
3卷积层和一个2
×
2平均池化层；将第一个卷积层步长设置为2，另外两个卷积层步长为1，将三个卷积层的输出通道设置为64；所述卷积神经网络的每一个卷积单元由步长为2的7
×
7卷积层和步长为2的3
×
3最大池化层组成；步骤2.2、将若干步骤2.1所述的卷积单元进行线性堆叠，搭建完整的稠密卷积神经网络；步骤2.3、将预处理后的充电器外表面缺陷图像输入稠密卷积神经网络的第一个卷积单元层中，获得该单元层的图像特征；步骤2.4、卷积神经网络第一单元层之后的每一个卷积单元层的输入为前面所有卷积单元层的输出，每一个卷积单元层均输出经过本单元的特征。4.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤
4具体包括如下步骤：步骤4.1、将一组预设的目标边界框与尺度转移层技术获得的每个高分辨率的特征图中的特征映射相关联；在每个预测输出层使用预设的宽高比；目标边界框与任何相交高于阈值的标签匹配，将其余的边界框视为背景；在匹配步骤之后使用负挖掘得到的边界框映射关系，将得到的边界框映射关系分别输入分类子网络和边界回归子网络进行处理；步骤4.2、将边界框映射关系输入分类子网络，通过分类子网络预测每个目标边界框属于一个类别的概率；步骤4.3、将边界框映射关系输入边界回归子网络，边界回归子...

【专利技术属性】
技术研发人员：张成英，李缃珍，
申请(专利权)人：深圳市玻尔智造科技有限公司，
类型：发明
国别省市：