光伏电池分拣的深度学习识别与控制方法及装置制造方法及图纸

本发明专利技术提供的光伏电池视觉分拣的深度学习识别与控制方法，将基于深度学习的缺陷分类和检测方法与工业制造过程一体化，具有较高的智能性。本装置用深度学习来代替传统学习方法，具有较强的特征提取能力，尤其对于当背景干扰严重，传统方法难以识别出缺陷时。此外深度学习识别与控制装置能自动进行缺陷特征提取，提高处理速度，降低人工依赖性。

Deep learning identification and control method and device of photovoltaic cell sorting

The deep learning identification and control method for visual sorting of photovoltaic cells provided by the invention integrates the defect classification and detection method based on the deep learning with the industrial manufacturing process, and has high intelligence. This device uses deep learning to replace the traditional learning method, which has strong feature extraction ability, especially when the background interference is serious and the traditional method is difficult to identify the defects. In addition, the deep learning recognition and control device can automatically extract the defect features, improve the processing speed and reduce the artificial dependence.

【技术实现步骤摘要】
光伏电池分拣的深度学习识别与控制方法及装置
本专利技术涉及本专利技术属于太阳能电池图像采集领域，具体涉及一种光伏电池分拣的深度学习识别与控制方法及装置
技术介绍
在工业制造过程中，工件的表面缺陷如光伏电池片表面的裂纹缺陷；一些光伏电池片表面外观缺陷如脏片、断栅、划痕；带钢表面缺陷等对工业生产效率有着很重要的影响。表面缺陷的分类与检测对改进工艺、提高组件质量、提高效率和稳定生产有重要的作用。现有光伏电池的分选装置，如装置CN108010864A(一种光伏电池片缺陷分选装置及其分选方法)存在着以下几点问题：(1)无法分析小尺度缺陷：在太阳能电池片图像中栅线和晶格的干扰下，小缺陷图像无法识别。(2)对于缺陷形态，图片质量有严格要求：如果缺陷部分与背景重叠，或者图像质量低，传统视觉都无法检测出这样的缺陷。(3)生产环境要求工程师手动操作:如果生产环境变化，或者针对对象发生变化，都需要工程师最优化设定或者手动操作。(4)处理程序复杂，处理速度慢：传统视觉检测方式依赖于手动特征提取，高准确率依赖高复杂度程序，导致处理速度降低。因此，亟需一种制造缺陷识别的系统方法，即使在背景复杂下也可以准确检测小尺度缺陷，在各类缺陷检测中，能提供较高的精度和自动化程度，对于高分辨率图片也可以实现快速批量检测。
技术实现思路
有鉴于此，本专利技术提供了光伏电池分拣的深度学习识别与控制方法及装置，解决现有技术中存在的缺陷，具体方案如下：一种光伏电池视觉分拣的深度学习识别与控制方法，该方法包括：以下步骤：r>S1：图像采集S1-1采集图像S1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到S1-1步骤中；S1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；S2：深度学校训练S2-1加载预训练模型；S2-2对FasterR-CNN模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；S2-3将所述步骤S1-3得到的训练集和验证集根据其标签内容输入到S2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；S3：深度学习执行S3-1实时采集测试图像；S3-2调用所述步骤S2-3得到的表面缺陷深度学习模型，对所述步骤S3-1的图片进行测试；S3-3得到实时检测结果：包括缺陷类别以及定位缺陷的精确位置及其置信度；S4：机器人分拣S4-1将所述步骤S3-3得到的实时检测结果反馈给机器人，由机器人执行分拣；具体的，所述步骤S1-3中，所述训练集与所述验证集的比例为4:1。具体的，所述步骤S3-1中采集图像的模式可以为连续采集或者单张采集。具体的，所述缺陷文件夹为EL缺陷文件夹或者外观缺陷文件夹。具体的，所述装置包括图像采集模块、深度学习训练模块、深度学习执行模块以及机器人通讯模块。本专利技术提供的光伏电池视觉分拣的深度学习识别与控制方法，将基于深度学习的缺陷分类和检测方法与工业制造过程一体化，具有较高的智能性。本装置用深度学习来代替传统学习方法，具有较强的特征提取能力，尤其对于当背景干扰严重，传统方法难以识别出缺陷时。此外深度学习识别与控制装置能自动进行缺陷特征提取，提高处理速度，降低人工依赖性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的方法流程图；图2为本专利技术装置的深度学习训练界面图；图3为本专利技术装置的深度学习实时监测界面图；图4为所用定位目标缺陷区域的方法FasterR-CNN的流程框图；图5为采集图像的逻辑框图；图6为实时测试的逻辑框图；图7为本专利技术的缺陷检测初始图像与检测结果图像对比图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1-7分别为本专利技术的方法流程图、本专利技术装置的深度学习训练界面图，本专利技术装置的深度学习实时监测界面图，所用定位目标缺陷区域的方法FasterR-CNN的流程框图，采集图像的逻辑框图，实时测试的逻辑框图以及本专利技术的缺陷检测初始图像与检测结果图像对比图，参照图1-7所示，本专利技术请求保护一种光伏电池视觉分拣的深度学习识别与控制方法，该方法包括：以下步骤：S1：图像采集S1-1采集图像S1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到S1-1步骤中；S1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；其中，标签的制作参照下表来执行所述图像采集对于EL缺陷和组件缺陷来说，触发灰度相机在近红外光照射下进行采集，采集得到图像大小为1024×1024；对于外观缺陷来说，触发彩色相机进行采集，得到的图像大小为1868×1868。所述标签制作是人工使用LabelImg将缺陷区域进行标注，所述人工分选需要人工将采集到的图像以训练样本集与验证样本集4:1的比例分开。S2：深度学校训练S2-1加载预训练模型；S2-2对FasterR-CNN模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；S2-3将所述步骤S1-3得到的训练集和验证集根据其标签内容输入到S2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；学习率设置为0.001，学习率的下降因子为0.1，最大迭代次数为30000，正则项的权值衰减为0.0005，批处理图像数的大小为256。所述FasterR-CNN提出了一种有效定位目标区域的方法：具体的，如图4所示，(1)首先使用一组基础的“卷积+激活+池化”层提取候选原图图像的特征图。该特征图被共享用于后续区域候选网络RPN(RegionProposalNetwork)层和全连接(fullyconnection)层。(2)区域候选网络RPN(RegionProposalNetwork)层通过softmax判断锚点(anchors)属于前景(foreground)还是背景(background)，再利用边界框回归修正锚点获得精确的proposals，最后生成区域候选图像块。(3)目标区池化(RoiPooling)层收集输入的特征图和候选的目标区域，综合这些信息后本文档来自技高网...

【技术保护点】
1.一种光伏电池视觉分拣的深度学习识别与控制方法，其特征在于，该方法包括：以下步骤：/nS1：图像采集/nS1-1采集图像/nS1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到S1-1步骤中；/nS1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；/nS2：深度学校训练/nS2-1加载预训练模型；/nS2-2对Faster R-CNN模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；/nS2-3将所述步骤S1-3得到的训练集和验证集根据其标签内容输入到S2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；/nS3：深度学习执行/nS3-1实时采集测试图像；/nS3-2调用所述步骤S2-3得到的表面缺陷深度学习模型，对所述步骤S3-1的图片进行测试；/nS3-3得到实时检测结果：包括缺陷类别以及定位缺陷的精确位置及其置信度；/nS4：机器人分拣/nS4-1将所述步骤S3-3得到的实时检测结果反馈给机器人，由机器人执行分拣。/n

【技术特征摘要】
1.一种光伏电池视觉分拣的深度学习识别与控制方法，其特征在于，该方法包括：以下步骤：
S1：图像采集
S1-1采集图像
S1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到S1-1步骤中；
S1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；
S2：深度学校训练
S2-1加载预训练模型；
S2-2对FasterR-CNN模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；
S2-3将所述步骤S1-3得到的训练集和验证集根据其标签内容输入到S2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；
S3：深度学习执行
S3-1实时采集测试图像；
S3-2调用所述步骤S2-3得到的表面缺陷深度学习模型，对所述步骤S3-1的图片进行测试；
...

【专利技术属性】
技术研发人员：陈海永，王霜，刘聪，
申请(专利权)人：河北工业大学，天津爱普杰科技有限公司，
类型：发明
国别省市：天津;12