基于多通道残差神经网络的光伏电池外观缺陷分类方法技术

本发明专利技术为基于多通道残差神经网络的光伏电池外观缺陷分类方法，该方法基于多通道输入残差神经网络的深度学习算法来分类光伏电池外观缺陷，首先对采集的光伏电池片外观图像进行预处理；从目标图像中随机抽取20％作为测试样本集，对剩余目标图像进行人工分选，并添加标签，并将目标图像尺寸量化并提取目标图像中的多通道信息，从而分别得到固定尺度的训练样本集、验证样本集；将训练集输入残差神经网络，获得图像的多维输出特征值矩阵；根据提取到的多维特征值矩阵，将验证集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，将测试数据和多维特征值矩阵，载入分类器，得到最终的分类。本申请准确率高，速度快。

【技术实现步骤摘要】
基于多通道残差神经网络的光伏电池外观缺陷分类方法
本专利技术涉及光伏电池外观缺陷分类的视觉检测
，具体是一种基于多通道残差神经网络的光伏电池外观缺陷分类方法。
技术介绍
硅晶片的质量直接决定了光伏电池的效率。电池片生产过程中镀膜和湿法刻蚀的环节可能会造成外观缺陷，包括脏片、色差、划痕、粗线、断栅、漏浆，缺角、崩边等，影响到了电池片的效率。现阶段国内外外观缺陷检测分类主要有以下几种方法：人工目视检测法，CCD检测法等。一些国外的大型公司如比利时ICOS等推出了专业的基于CCD相机的太阳能视觉检测系统，能够支持微裂痕检测、位置检测等，而国内由于起步较晚，并没有这样成熟的视觉检测系统。但是，国内大部分中小企业并无法承担进口的硬件设备和高昂的软件授权。目前，国内有李桥(李桥.基于机器视觉的太阳能电池外观检测技术研究[D].苏州大学,2016.)提出了结合局部自适应阈值处理法和区域生长法的检测算法可以检测出倒角，边缘缺损和表面污迹等缺陷这些方法，但是这样的方法，实时性能差，且不适用于多晶硅电池片；王宪保(王宪保,李洁,姚明海,何文秀,钱沄涛.基于深度学习的太阳能电池片表面缺陷检测方法[J].模式识别与人工智能,2014,27(06):517-523.)提出深度置信网络(DBN)深度学习算法检测裂痕、刮擦和缺角，对于隐形缺陷，例如粗线，漏浆等，并不能检测出来。在这样的情况下，开发一种能够进行快速智能检测太阳能光伏电池多晶硅片、具有较强的适应性能、泛化性能和较低误检率的检测方法，提高光伏电池产品的整体质量，降低光伏电池行业的总体成本，从而促进光伏产业的整体发展，是许许多多相关从业人员们身上肩负的重大责任。
技术实现思路
针对光伏电池外观缺陷分类人工方法的不足，本专利技术拟解决的技术问题是，提供一种基于多通道残差神经网络的光伏电池外观缺陷分类方法。该方法基于多通道输入残差神经网络的深度学习算法来分类光伏电池外观缺陷，首先对采集的光伏电池片外观图像进行预处理，即采用区域形态学处理和最小二乘法边缘提取与拟合，获得具有有效边缘的目标图像；从目标图像中随机抽取20％作为测试样本集，对剩余目标图像进行人工分选，并添加标签，并将目标图像尺寸量化并提取目标图像中的多通道信息，从而分别得到固定尺度的训练样本集、验证样本集；将训练集输入残差神经网络，获得图像的多维输出特征值矩阵，可实现光伏电池图像特征提取；根据提取到的多维特征值矩阵，将验证集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率和损失函数loss到残差神经网络中；重复训练，损失函数loss不大于0.01时，停止训练，得到最终的多维特征值矩阵；将测试数据和多维特征值矩阵，载入分类器，得到最终的分类。本专利技术解决所述技术问题所采用的技术方案是，设计一种基于多通道残差神经网络的光伏电池外观缺陷分类方法，该方法用于光伏电池外观缺陷的分类，包括以下步骤：第一步：图像预处理1-1图像获取：通过彩色工业相机获取光伏电池图像；1-2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；1-3测试样本集制作：对步骤1-2的目标图像进行人工分选，并添加缺陷种类标签，从中随机抽取20％的目标图像作为测试样本集；1-4训练样本集、验证样本集制作：在步骤1-3的基础上，分别提取剩余目标图像的red、green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；第二步：残差神经网络设计：2-1第一层设计：包括一个卷积层，在这一层中，输入数据经过卷积后，再依次进行标准化运算和正则化运算，得到输出结果；2-2残差层设计：设计多个不同维度的残差层，上一层输出为下一层输入，层层叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个平均最大池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的残差层形成一个块，有多个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；2-3全连接层设计：步骤2-2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；第三步：图像特征提取及分类3-1参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入残差神经网络，设置网络的初始学习率；3-2开始训练：将训练样本集输入步骤3-1初始化参数后的残差神经网络，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；3-3验证分类效果：将验证样本集输入步骤3-2训练后的残差神经网络，根据步骤3-2提取到的输出特征值矩阵，将验证样本集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率error和损失函数loss到步骤3-2训练后的残差神经网络的残差层中；3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；3-5重复训练：重复训练步骤3-3和3-4，损失函数loss不大于0.01时，停止训练，得到最终的残差神经网络，保存到计算机中；3-5测试分类效果：将测试样本集数据输入最终的残差神经网络，得到预测的类别；3-6结束外观缺陷分类。所述步骤2-1的卷积层的维度为32，步长为1，卷积核为3*3；步骤1-4中的小尺寸为32*32。在步骤3-5中采用转换学习法，在一部分数据训练结束后，利用其瓶颈值训练下一部分数据。Softmax分类器的激活函数为sigmod函数：步骤2-1，2-3中正则化的激活函数为Relu函数。步骤3-1中初始学习率为0.008-0.08。与现有技术相比，本专利技术的有益效果是：本专利技术将原始图像尺寸量化为32*32维，并提取目标图像中的R,G,B三通道和灰度通道图片作为图片样本集，从而分别得到固定尺度维32*32*4的训练样本集和验证样本集，大大降低网络的训练时间，提高训练效率，能用于脏片、色差、划痕、断栅、漏浆，缺角、崩边7类外观缺陷及好片之间的分类；残差层的设计block1为32维，block2为64维，block3为128维，一个残差层是由一个卷积层和平均池化层组成，能有效控制参数数量，加快训练速度。本专利技术方法的模型中的初始学习率为0.001时，模型分类准确率达到91.9％；模型初始学习率为0.01时，模型分类准确率为82.75％。意味着训练的模型，面对脏片、色差、划痕、断栅、漏浆，缺角、崩边7类外观缺陷及好片的任何一张图片时，有91.9％的准确率识别出来。而宋玉琴(宋玉琴,刘凯凯.基于机器视觉的太阳能电池片外观缺陷检测[J].单片机与嵌入式系统应用,2015,15(02):71-74.)的方法对于裂纹，缺角，空洞的平均识别率为89％，本申请准确率高，速度快。本申请样本集选用小样本，再将其尺寸缩小为32*32的图片，能降低模型的训练时间，加快本文档来自技高网...

【技术保护点】
1.一种基于多通道残差神经网络的光伏电池外观缺陷分类方法，该方法用于光伏电池外观缺陷的分类，包括以下步骤：第一步：图像预处理1‑1图像获取：通过彩色工业相机获取光伏电池图像；1‑2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；1‑3测试样本集制作：对步骤1‑2的目标图像进行人工分选，并添加缺陷种类标签，从中随机抽取20％的目标图像作为测试样本集；1‑4训练样本集、验证样本集制作：在步骤1‑3的基础上，分别提取剩余目标图像的red、green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；第二步：残差神经网络设计：2‑1第一层设计：包括一个卷积层，在这一层中，输入数据经过卷积后，再依次进行标准化运算和正则化运算，得到输出结果；2‑2残差层设计：设计多个不同维度的残差层，上一层输出为下一层输入，层层叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个平均最大池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的残差层形成一个块，有多个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；2‑3全连接层设计：步骤2‑2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；第三步：图像特征提取及分类3‑1参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入残差神经网络，设置网络的初始学习率；3‑2开始训练：将训练样本集输入步骤3‑1初始化参数后的残差神经网络，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；3‑3验证分类效果：将验证样本集输入步骤3‑2训练后的残差神经网络，根据步骤3‑2提取到的输出特征值矩阵，将验证样本集图像特征载入softmax分类器中进行分类，将分类结果与标签进行对比，返回错误率error和损失函数loss到步骤3‑2训练后的残差神经网络的残差层中；3‑4更新参数：在步骤3‑3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；3‑5重复训练：重复训练步骤3‑3和3‑4，损失函数loss不大于0.01时，停止训练，得到最终的残差神经网络，保存到计算机中；3‑5测试分类效果：将测试样本集数据输入最终的残差神经网络，得到预测的类别；3‑6结束外观缺陷分类。...

【技术特征摘要】
1.一种基于多通道残差神经网络的光伏电池外观缺陷分类方法，该方法用于光伏电池外观缺陷的分类，包括以下步骤：第一步：图像预处理1-1图像获取：通过彩色工业相机获取光伏电池图像；1-2图像形态调整和边缘处理：采用区域形态学处理去除图像中的皮带轮部分，对图像中硅片的边缘进行最小二乘法边缘提取与拟合，将原本图像中曲线边界拟合成直线，从而获得具有有效边缘的目标图像；1-3测试样本集制作：对步骤1-2的目标图像进行人工分选，并添加缺陷种类标签，从中随机抽取20％的目标图像作为测试样本集；1-4训练样本集、验证样本集制作：在步骤1-3的基础上，分别提取剩余目标图像的red、green、blue和gray四个通道信息图片，并将所有图片尺寸量化为统一的小尺寸，从而分别得到统一尺度的训练样本集、验证样本集；第二步：残差神经网络设计：2-1第一层设计：包括一个卷积层，在这一层中，输入数据经过卷积后，再依次进行标准化运算和正则化运算，得到输出结果；2-2残差层设计：设计多个不同维度的残差层，上一层输出为下一层输入，层层叠加，得到输出结果，在每一个残差层中均包括一个卷积层和一个平均最大池化层，输入数据分别经过一个卷积层和一个平均最大池化层后将该卷积层和平均最大池化层输出叠加视为最终输出结果；相同维度的残差层形成一个块，有多个块，维度相同的残差层中卷积层和平均最大池化层完全相同，块的维度由残差神经网络输入至输出方向以2的整数倍呈增大趋势；2-3全连接层设计：步骤2-2的输出为本层的输入，经过标准化计算后，输入平均正则化层，得到输出结果；该输出结果通过Softmax分类器进行分类，至此完成残差神经网络的设计，该残差神经网络包括权重、偏置、批量归一化尺度因子；第三步：图像特征提取及分类3-1参数初始...

【专利技术属性】
技术研发人员：陈海永，刘佳丽，刘聪，韩江锐，文熙，庞悦，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津,12