一种基于轻量化重构网络的太阳能电池板缺陷检测方法技术

本发明专利技术公开一种基于轻量化重构网络的太阳能电池板缺陷检测方法，该方法的检测网络模型采用改进Ghostnet作为骨干网络，减少模型的参数量，降低模型的计算复杂度，使得该检测模型能够在移动端部署。并针对由于骨干网络参数量减小而带来的检测精度降低的问题，提出了新的注意力机制Ghost

【技术实现步骤摘要】
一种基于轻量化重构网络的太阳能电池板缺陷检测方法


[0001]本专利技术属于计算机视觉检测
，具体涉及一种基于轻量化重构网络的太阳能电池板缺陷检测方法。

技术介绍

[0002]太阳能是一种绿色可再生能源，太阳能光伏发电技术是充分利用太阳能的典型代表技术，该技术的大规模应用很好地缓解了因煤炭、石油等能源的过度使用而造成的环境污染问题。太阳能电池板质量的好坏直接决定了太阳能光伏发电技术效率的高低，而太阳能电池板在生产和运输过程中，不可避免地会对电池造成损失，导致其表面产生不少缺陷，常见的缺陷类型主要有粗线、断栅、漏浆、色差、脏片、划痕等。由于电池大多采用阵列安装方式，某一小块电池的缺陷可能会造成整块电池性能的下降，所以在生产过程中太阳能电池表面检测缺陷具有重要作用。密集的栅线被布置在太阳能电池上，在表面形成规则纹理，这给表面缺陷检测带来了很大的困难。目前，大多数的太阳能电池生产厂主要采用人工检测方式，依靠工作人员的视觉判断，人工检测方式不仅容易造成肉眼疲劳，还会受到人为主观因素的影响，造成误判，因此深入研究太阳能电池板缺陷检测技术就显得十分重要。
[0003]现有的关于表面缺陷检测方法的研究，大体可分为基于显式特征提取的(传统方法)和基于自动特征提取的(深度学习方法)两类。显式特征提取方法是通过分析纹理特性，如同向性、同质性等，提取图像特征，识别缺陷纹理，从而区分缺陷产品图像和正常产品图像。此类方法的研究起步早，可追溯至上世纪八十年代，研究成果也十分丰富。深度学习方法是2012年深层神经网络成功应用于大规模图像分类以后，逐渐发展起来的。与显式特征提取方法相比，自动特征提取方法不需要专门进行图像特征的手工设计和提取，对目标识别能力强。
[0004]近年来随着深度学习的发展，卷积神经网络CNN在许多领域得到了广泛的应用，为了达到较高的检测效果，CNN的网络结构也变得越来越复杂，参数量日益增多，计算复杂度逐渐升高。对于那些嵌入式设备不能够满足实时性的要求，因此亟需开发一个轻量化的太阳能电池缺陷检测模型。

技术实现思路

[0005]为解决基于深度卷积神经网络的目标检测模型存在的计算量大和参数量大的问题和对于一些资源受限制的嵌入式设备无法满足实时性要求的问题，本专利技术提供一种基于轻量化重构网络的太阳能电池板缺陷检测方法。该模型通过降低参数量和计算量，在保证检测精度的基础上降低模型的部署难度。
[0006]为实现上述目的，本专利技术所采用的技术方案如下：设计一种基于轻量化重构网络的太阳能电池板缺陷检测方法，其特征在于，该方法包括以下步骤：
[0007]步骤1：获取数据集
[0008]1‑
1)建立太阳能电池板缺陷图像库：使用工业相机获取原始的太阳能电池板的电
致发光EL缺陷图像，然后将该原始缺陷图像进行数据增强处理以扩充数据，最后对原始缺陷图像和经数据增强处理得到图像进行尺寸归一化操作，得到尺寸一致的图像，建立为太阳能电池缺陷图像库；
[0009]1‑
2)制作数据集：将太阳能电池缺陷图像库采用随机抽样的方式划分为训练集和测试集，其中训练集中的图像数量不少于60％，对训练集和测试集中的每张图像分别进行标注，添加缺陷类型和缺陷位置信息；标注的对象是图像缺陷区域，缺陷类型包括隐裂、断栅、粗线、实心黑，人工使用Labelimg对缺陷区域进行标注；
[0010]步骤2：构建太阳能电池板缺陷检测模型
[0011]太阳能电池板缺陷检测模型主要由主干特征提取网络、加强特征提取网络和Yolo Head模块组成；主干特征提取网络为改进后的Ghostnet网络与Ghost
‑
Attention模块结合所得，其主要作用为提取图像的特征层，具体包括一号阶段网络、二号阶段网络、三号阶段网络、四号阶段网络、五号阶段网络，一号阶段网络包括一个Conv2D_BN_ReLU模块和一个一号Ghost
‑
Bottleneck模块，二号阶段网络包括一个二号Ghost
‑
Bottleneck模块和一个三号Ghost
‑
Bottleneck模块，三号阶段网络包括一个四号Ghost
‑
Bottleneck模块和一个五号Ghost
‑
Bottleneck模块，四号阶段网络包括一个六号Ghost
‑
Bottleneck模块、三个七号Ghost
‑
Bottleneck模块和两个八号Ghost
‑
Bottleneck模块，五号阶段网络包括一个九号Ghost
‑
Bottleneck模块、一个十号Ghost
‑
Bottleneck模块、一个十一号Ghost
‑
Bottleneck模块、一个十二号Ghost
‑
Bottleneck模块和一个十三号Ghost
‑
Bottleneck模块；上述五个阶段网络依次顺接，每一个阶段网络内部的模块依次顺接，上一个阶段网络的最后一个模块的输出为下一个阶段网络的一号个模块的输入；一号阶段网络的Conv2D_BN_ReLU模块为太阳能电池板缺陷检测模型的数据输入端；
[0012]Conv2D_BN_ReLU模块包括一个卷积层、一个标准化层、一个ReLU激活函数层，三部分依次连接，输入的数据依次经过三个部分的处理后，由ReLU激活函数层输出Conv2D_BN_ReLU模块的输出；
[0013]五号Ghost
‑
Bottleneck模块、八号Ghost
‑
Bottleneck模块、十一号Ghost
‑
Bottleneck模块、十三号Ghost
‑
Bottleneck模块的结构与参数均相同，以五号Ghost
‑
Bottleneck模块为例进行工作原理说明：五号Ghost
‑
Bottleneck模块由一号改进Ghost
‑
Module模块、一号BN ReLU层、二号改进Ghost
‑
Module模块、BN层和Add层构成，该五部分依次顺接，输入到五号Ghost
‑
Bottleneck模块的Z1依次经过一号改进Ghost
‑
Module模块、一号BN ReLU层、二号改进Ghost
‑
Module模块、BN层的处理，得到Z2，将输入的Z1与Z2均输入到Add层中进行相加操作，得到五号Ghost
‑
Bottleneck模块的输出Z3；BN ReLU层为一个BN层的操作之后再经过ReLU激活函数的处理；
[0014]一号改进Ghost
‑
Module模块与二号改进Ghost
‑
Module模块的结构与参数相同，均为由Ghost
‑
Module模块融合Ghost
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化重构网络的太阳能电池板缺陷检测方法，其特征在于，该方法包括以下步骤：步骤1：获取数据集1
‑
1)建立太阳能电池板缺陷图像库：使用工业相机获取原始的太阳能电池板的电致发光EL缺陷图像，然后将该原始缺陷图像进行数据增强处理以扩充数据，最后对原始缺陷图像和经数据增强处理得到图像进行尺寸归一化操作，得到尺寸一致的图像，建立为太阳能电池缺陷图像库；1
‑
2)制作数据集：将太阳能电池缺陷图像库采用随机抽样的方式划分为训练集和测试集，其中训练集中的图像数量不少于60％，对训练集和测试集中的每张图像分别进行标注，添加缺陷类型和缺陷位置信息；标注的对象是图像缺陷区域，缺陷类型包括隐裂、断栅、粗线、实心黑，人工使用Labelimg对缺陷区域进行标注；步骤2：构建太阳能电池板缺陷检测模型太阳能电池板缺陷检测模型主要由主干特征提取网络、加强特征提取网络和Yolo Head模块组成；主干特征提取网络为改进后的Ghostnet网络与Ghost
‑
Attention模块结合所得，其主要作用为提取图像的特征层，具体包括一号阶段网络、二号阶段网络、三号阶段网络、四号阶段网络、五号阶段网络，一号阶段网络包括一个Conv2D_BN_ReLU模块和一个一号Ghost
‑
Bottleneck模块，二号阶段网络包括一个二号Ghost
‑
Bottleneck模块和一个三号Ghost
‑
Bottleneck模块，三号阶段网络包括一个四号Ghost
‑
Bottleneck模块和一个五号Ghost
‑
Bottleneck模块，四号阶段网络包括一个六号Ghost
‑
Bottleneck模块、三个七号Ghost
‑
Bottleneck模块和两个八号Ghost
‑
Bottleneck模块，五号阶段网络包括一个九号Ghost
‑
Bottleneck模块、一个十号Ghost
‑
Bottleneck模块、一个十一号Ghost
‑
Bottleneck模块、一个十二号Ghost
‑
Bottleneck模块和一个十三号Ghost
‑
Bottleneck模块；上述五个阶段网络依次顺接，每一个阶段网络内部的模块依次顺接，上一个阶段网络的最后一个模块的输出为下一个阶段网络的一号个模块的输入；一号阶段网络的Conv2D_BN_ReLU模块为太阳能电池板缺陷检测模型的数据输入端；Conv2D_BN_ReLU模块包括一个卷积层、一个标准化层、一个ReLU激活函数层，三部分依次连接，输入的数据依次经过三个部分的处理后，由ReLU激活函数层输出Conv2D_BN_ReLU模块的输出；五号Ghost
‑
Bottleneck模块、八号Ghost
‑
Bottleneck模块、十一号Ghost
‑
Bottleneck模块、十三号Ghost
‑
Bottleneck模块的结构与参数均相同，以五号Ghost
‑
Bottleneck模块为例进行工作原理说明：五号Ghost
‑
Bottleneck模块由一号改进Ghost
‑
Module模块、一号BN ReLU层、二号改进Ghost
‑
Module模块、BN层和Add层构成，该五部分依次顺接，输入到五号Ghost
‑
Bottleneck模块的Z1依次经过一号改进Ghost
‑
Module模块、一号BN ReLU层、二号改进Ghost
‑
Module模块、BN层的处理，得到Z2，将输入的Z1与Z2均输入到Add层中进行相加操作，得到五号Ghost
‑
Bottleneck模块的输出Z3；BN ReLU层为一个BN层的操作之后再经过ReLU激活函数的处理；一号改进Ghost
‑
Module模块与二号改进Ghost
‑
Module模块的结构与参数相同，均为由Ghost
‑
Module模块融合Ghost
‑
Attention注意力模块与基本单元的通道混洗层而得，一号改进Ghost
‑
Module模块的具体工作原理与流程为：首先对输入X
in
进行一个通道数减半的1
×
1卷积得到第一部分的结果X1，X1经GA注意力模块处理得到X2；同时，将X1平均分为四组，分别为Φ1、Φ2、Φ3、Φ4，然后对Φ1、Φ2、Φ3、Φ4对应进行卷积核大小为3
×
3、5
×
5、7
×
7、9
×
9的分组卷积后再将其在通道维度上进行拼接得到第二部分结果，然后对第二部分结果进行通道混洗得到X3，最后将X2与X3在通道维度上进行拼接获得一号改进Ghost
‑
Module模块最后的输出X
out
，整个过程表达式如下：X1＝X
in
*F1×
1 (1)X2＝F
GA
(X1) (2)Φ1，Φ2，Φ3，Φ4＝chunk(X1，4，dim＝1) (3)X3＝F
Shuffle
(F
Concat
(Φ1*F3×3，Φ2*F5×5，Φ3*F7×7，Φ4*F9×9)) (4)X
out
＝F
Concat
(X2， X3) (5)式(1)中，*表示卷积操作，F1×1表示point
‑
wise卷积，即卷积核为1
×
1的卷积；式(2)中，F
GA
表示经过GA注意力模块的操作；式(3)中，chunk(X1，4，dim＝1)表示在通道维度上对X1进行均分为四组的操作；式(4)中，F
Shuffle
表示通道混洗操作，F
Concat
表示拼接操作，*表示卷积操作，F3×3、F5×5、F7×7、F9×9分别表示卷积核大小为3
×
3、5
×
5、7
×
7、9
×
9的卷积；式(5)中，F
Concat
表示拼接操作；四号Ghost
‑
Bottleneck模块与九号Ghost
‑
Bottleneck模块的结构与参数均相同，且跟五号Ghost
‑
Bottleneck模块的区别在于，四号Ghost
‑
Bottleneck模块由一号改进Ghost
‑
Module模块、一号BN ReLU层、DWConv模块、二号BN ReLU层、二号改进Ghost
‑
Module模块、BN层和Add层构成，该7部分依次顺接，输入到四号Ghost
‑
Bottleneck模块的E1依次经过一号改进Ghost
‑
Module模块、一号BN ReLU层、DWConv模块、二号BN ReLU层、二号改进Ghost
‑
Module模块、BN层的处理，得到E2，将输入的E1与E2均输入到Add层中进行相加操作，得到四号Ghost
‑
Bottleneck模块的输出E3；DWConv模块为一个步长为2x2的深度可分离卷积模块；一号Ghost
‑
Bottleneck模块、三号Ghost
‑
Bottleneck模块、七号Ghost
‑
Bottleneck模块、十号Ghost
‑
Bottleneck模块、十二号Ghost
‑
Bottleneck模块的结构与参数均相同，一号Ghost
‑
Bottleneck模块由三号改进Ghost
‑
Module模块、一号BN ReLU层、四号改进Ghost
‑
Module模块、BN层和Add层构成，该五部分依次顺接，输入到一号Ghost
‑
Bottleneck模块的M1依次经过三号改进Ghost
‑
Module模块、一号BN ReLU层、四号改进Ghost
‑
Module模块、BN层的处理，得到M2，将输入的M1与M2均输入到Add层中进行相加操作，得到一号Ghost
‑
Bottleneck模块的输出M3；三号改进Ghost
‑
Module模块与四号改进Ghost
‑
Module模块的结构与参数均相同，均为由Ghost
‑
Module模块融合基本单元的通道混洗层而得的结构，三号改进Ghost
‑
Module模块与一号改进Ghost
‑
Module模块的区别在于不包含GA注意力模块，三号改进Ghost
‑
Module模块的第一部分的结果与第二部分的结果经通道混洗层处理后的输出在通道维度上进行拼接，获得三号改进Ghost
‑
Module模块的输出；二号Ghost
‑
Bottleneck模块与六号Ghost
‑
Bottleneck模块的结构与参数均相同，且跟一号Ghost
‑
Bottleneck模块的区别在于，二号Ghost
‑
Bottleneck模块由三号改进Ghost
‑
Module模块、一号BN ReLU层、DWConv模块、二号BN ReLU层、四号改进Ghost
‑
Module模块、BN层和Add层构成，该7部分依次顺接，输入到二号Ghost
‑
Bottleneck模块的N1依次经过三号
改进Ghost
‑
Module模块、一号BN ReLU层、DWConv模块、二号BN ReLU层、四号改进Ghost
‑
Module模块、BN层的处理，得到N2，将输入的N1与N2均输入到Add层中进行相加操作，得到二号Ghost
‑
Bottleneck模块的输出N3；DWConv模块为一个步长为2x2的深度可分离卷积；所述GA注意力模块包括Ghost
‑
Module模块、Maxpool2d
‑
Conv
‑
ReLU模块和Avgpool2d
‑
Conv
‑
ReLU模块，GA注意力模块对于输入的特征图，首先由Ghost
‑
Module模块进行提取特征，Ghost
‑
Module模块的输出分别同时输入到Maxpool2d
‑
Conv
‑
ReLU模块和Avgpool2d
‑
Conv
‑
ReLU模块，Maxpool2d
‑
Conv
‑
ReLU模块和Avgpool2d
‑
Conv
‑
ReLU模块的输出进行相加操作后，再经Sigmoid函数处理，并将Sigmoid函数处理得到的结果对GA注意力模块的输入进行加权，得到GA注意力模块最终的输出，整个过程表达式如下：Y1＝Concat([Y
in
*F1×1， (Y
in
*F1×1)*F
dp
]) (6)Y2＝CR1×1×
c
(CR1×1×
c/r
(Gap(Y1)))+CR1×1×
c
(CR1×1×
c/r
(Gmp(Y1))) (7)Y
out
＝Y
in
×
σ(Y2) (8)式(6)中，Concat表示在通道维度上进行拼接操作，*表示卷积操作，F1×1表示point
‑
wise卷积，即卷积核为1
×
1的逐点卷积；F
dp
表示depth
‑
wise卷积，即深度可分离卷积，(Y
in
*F1×1)*F
dp
表示对Y
in
的1
×
1的逐点卷积的结果再进行深度可分离卷积操作；式(7)中，Gap表示全局平均池化操作，Gmp表示全局最大池化操作，CR1×1×
c
表示先进行卷积核大小为1
×1×
c的卷积操作之后再进行ReLU激活函数操作，CR1×1×
c/r
表示先进行卷积核大小为1
×1×
c/r的卷积操作之后再进行ReLU激活函数...

【专利技术属性】
技术研发人员：周颖，许士博，陈海永，张艳宽，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：