一种铝型材表面缺陷检测与分类方法及系统技术方案

本发明专利技术公开了一种铝型材表面缺陷检测与分类方法及系统，方法包括：S1.分别采集铝型材表面正常和表面缺陷的图像；S2.标注缺陷图像的缺陷区域和缺陷类别获取数据集；S3.将数据集划分为训练数据集和测试数据集；S4.使用训练数据集训练神经网络模型；S5.使用测试数据集评估训练后的模型；S6.采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，输出铝型材表面缺陷检测与分类的结果；本发明专利技术方法快速且准确地实现了铝型材表面缺陷检测与分类。

A Method and System for Detecting and Classifying Surface Defects of Aluminum Profiles

【技术实现步骤摘要】
一种铝型材表面缺陷检测与分类方法及系统
本专利技术涉及图像处理领域，具体地，涉及一种铝型材表面缺陷检测与分类方法及系统。
技术介绍
缺陷检测是工业生产中不可或缺的一环，在铝型材生产过程中会因为多种原因形成缺陷，缺陷种类主要包括：“不导电”、“擦花”、“角位漏底”、“桔皮”、“漏底”、“喷流”、“漆泡”、“起坑”、“杂色”、“脏点”。不同的缺陷需要经过不同的处理流程进行再加工，防止出厂铝型材出现质量问题。目前国内铝型材生产工厂主要通过派遣质检员抽查检测生产的产品，但人工检测通常存在检测疏漏、不规范、标准不统一、不熟练等多种问题，并且人工作业只能部分抽检无法实现全量检测，导致工厂生产出的铝型材依然存在不少有缺陷的产品。基于人工智能算法的自动铝型材缺陷检测方法，凭借其高效、准确、低成本、全量检测等优势，是助力铝型材企业实现转型升级，提升行业竞争力的最优解决方案。要实现铝型材表面缺陷的检测识别，需先通过检测摄像头实时采集铝型材表面图像，再通过算法分析图像。其难点在于铝型材缺陷存在种类多样、尺寸变化大、金属颜色反光、缺陷样本分布不均等问题，因此采用传统的图像处理和特征工程方法，很难实现准确的缺陷检测，且鲁棒性较低。
技术实现思路
针对
技术介绍
中的问题，本专利技术提供了一种基于深度学习的无缺陷样本迁移和多尺度协同的模型训练方法及系统，快速且精准地实现铝型材表面缺陷检测与分类。为实现上述专利技术目的，本专利技术一方面提供了一种铝型材表面缺陷检测与分类方法，所述方法包括：S1.分别采集铝型材表面正常和表面缺陷图像；S2.标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常的图像和标注后的有缺陷的图像，获得数据集；S3.将数据集划分为训练数据集和测试数据集；S4.使用训练数据集训练神经网络模型；S5.使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；S6.采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，模型输出铝型材表面缺陷检测与分类的结果。优选的，步骤S5具体包括：使用测试数据集评估训练后的模型，首先将测试数据输入模型进行检测分类，再将检测分类结果与测试数据的标注信息进行比较，通过比较判断模型检验是否通过评估；其中，标注信息包括缺陷的位置信息和缺陷类别，缺陷位置的比较方法为计算模型给出的缺陷区域与标注缺陷区域的面积重合度是否符合预设要求；缺陷类别比较方法为对比模型的缺陷分类结果与标注的缺陷类型是否一致。优选的，步骤S2具体为使用打标工具标注铝型材表面缺陷图像的缺陷区域和缺陷类别。其中打标工具包括labelme、labelimg。优选的，调整模型训练参数包括调整模型迭代次数、模型学习率、模型损失函数。优选的，在神经网络模型训练中，使用无缺陷样本迁移训练方法训练模型，具体包括：step1，使用铝型材表面缺陷图像初次训练模型；step2，将铝型材表面正常图像输入初次训练后的模型中进行预测；step3，整理初次训练后的模型对铝型材表面正常图像的预测结果，将模型检测错误的铝型材表面正常图像加入setp1使用的训练集形成新的训练集；最后，使用新的训练集再次训练模型。优选的，在神经网络模型训练中，使用多尺度协同训练方法训练模型，具体包括：首先，在模型训练过程中，变换输入模型的图像的尺寸，使用最临近点插值算法和均值下采样算法等图像尺寸变换算法得到尺寸为416*416、720*720、1080*1080三个尺寸大小的图像，每个原图像均对应生成三个级别尺寸的图像，由小到大分别记为：第一图像、第二图像、第三图像；所有对应生成的图像都会用于训练模型；所述最临近点差值算法即在图像放大过程中使用离目标像素点最近的左上位置的像素值作为该点的像素值；所述均值下采样算法是把原始图像s*s窗口内的图像变成一个像素点，该像素点的值是窗口内所有像素值的均值；然后，使用新的训练数据训练模型，模型在训练的过程中生成若干检测候选框，筛选模型生成的检测候选框，第一图像的检测候选框保留尺寸在208*208～312*312之间的，其余直接丢弃；第二图像的检测候选框保留尺寸在240*240～480*480之间的，其余直接丢弃；第三图像的检测候选框保留尺寸在160*160～440*440之间的，其余直接丢弃；然后，针对每个原图，分别融合其对应生成的第一图像、第二图像、第三图像筛选出的检测候选框，融合方式为：根据检测候选框之间的相对位置信息，将三个尺寸级别筛选的检测候选框还原至原尺寸图像的对应位置，并融合还原后的检测候选框生成融合后的检测框，将融合后的检测框输出至原尺寸的图像；最后，比对融合后的检测框与训练集的标注信息，计算误差并反馈误差给网络进行逐层优化网络。本方法采用多尺寸级联网络是指使用训练数据集的多级尺度图片训练模型；在网络结构中添加多个级联检测器，即在网络的浅层、中层、深层都连接一个级联检测器，并以级联的方式连接每个级联检测器。所述检测候选框，是模型运算数据得出的目标可能出现的位置；在缺陷检测中可以理解为检测出的可能出现缺陷的位置，该检测候选框经过后续过滤融合操作才能给出缺陷的准确位置。优选的，在神经网络模型训练中，使用级联检测器训练方法训练模型，具体包括：划分网络层级，根据网络的总层数，将网络由浅及深划分为三层，分别为浅层网络、中层网络、深层网络；在模型网络结构中，分别在浅层网络、中层网络、深层网络后连接一个级联检测器，并使用级联方式连接这些级联检测器,级联检测器由多个检测器组成，检测器之间也通过级联方式传递结果；检测器用于输出模型的检测框及分类类别，浅层网络、中层网络、深层网络的检测器分别输出检测框和分类类别，通过级联汇总这些检测器的结果，利用非极大抑制方法融合检测框，分类类别则根据投票原则给出最终类别。最后将模型最终输出的检测框及分类类别与数据的标注进行比较，计算误差并反馈给网络进行逐层优化。为实现上述专利技术目的，本专利技术另一方面还提供了一种铝型材表面缺陷检测与分类系统，所述系统包括：图像采集单元，用于分别采集铝型材表面正常和表面缺陷图像；图像处理单元，用于标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常图像和标注后的缺陷图像，获得数据集；划分单元，用于将数据集划分为训练数据集和测试数据集；训练单元，用于使用训练数据集训练神经网络模型；评估单元，用于使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；输出单元，用于采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，输出铝型材表面缺陷检测与分类的结果。优选的，在利用训练单元对神经网络模型训练中，使用无缺陷样本迁移训练方法训练模型，具体包括：step1，使用铝型材表面缺陷图像初次训练模型；step2，将铝型材表面正常图像输入初次训练后的模型中进行预测；step3，整理初次训练后的模型对铝型材表面正常图像的预测结果，将模型检测错误的铝型材表面正常图像加入setp1使用的训练集形成新的训练集；最后，使用新的训练集再次训练模型。优选的，在利用训练单元对神经网络模型训练中，使用多尺度协同训练方法训练模型，具体包括：首先，在本文档来自技高网...

【技术保护点】
1.一种铝型材表面缺陷检测与分类方法，其特征在于，所述方法包括：S1.分别采集铝型材表面正常和表面缺陷的图像；S2.标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常图像和标注后的有缺陷的图像，获得数据集；S3.将数据集划分为训练数据集和测试数据集；S4.使用训练数据集训练神经网络模型；S5.使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；S6.采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，输出铝型材表面缺陷检测与分类的结果。

【技术特征摘要】
1.一种铝型材表面缺陷检测与分类方法，其特征在于，所述方法包括：S1.分别采集铝型材表面正常和表面缺陷的图像；S2.标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常图像和标注后的有缺陷的图像，获得数据集；S3.将数据集划分为训练数据集和测试数据集；S4.使用训练数据集训练神经网络模型；S5.使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；S6.采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，输出铝型材表面缺陷检测与分类的结果。2.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，其特征在于，步骤S5具体包括：使用测试数据集评估训练后的模型，首先将测试数据输入模型进行检测分类，再将检测分类结果与测试数据的标注信息进行比较，通过比较判断模型是否通过评估；其中，标注信息包括缺陷的位置信息和缺陷类别，缺陷位置的比较方法为计算模型给出的缺陷区域与标注的缺陷区域的面积重合度是否符合预设要求；缺陷类别的比较方法为对比模型的缺陷分类结果与标注的缺陷类别是否一致。3.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，其特征在于，步骤S2具体为使用打标工具标注铝型材表面缺陷图像的缺陷区域和缺陷类别。4.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，其特征在于，调整模型参数包括调整模型迭代次数、模型学习率、模型损失函数。5.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，其特征在于，在神经网络模型训练中，使用无缺陷样本迁移训练方法训练模型，具体包括：step1，使用铝型材表面缺陷图像初次训练模型；step2，将铝型材表面正常图像输入初次训练后的模型中进行预测；step3，整理初次训练后的模型对铝型材表面正常图像的预测结果，将模型检测错误的铝型材表面正常图像加入setp1使用的训练集形成新的训练集；最后，使用新的训练集再次训练模型。6.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，其特征在于，在神经网络模型训练中，使用多尺度协同训练方法训练模型，具体包括：首先，在模型训练过程中，变换输入模型的图像的尺寸，使用图像尺寸变换算法得到尺寸为416*416、720*720、1080*1080三个尺寸大小的图像，每个原图像均对应生成三个级别尺寸的图像，由小到大分别记为：第一图像、第二图像、第三图像；然后，使用新的训练数据训练模型，模型在训练的过程中生成若干检测候选框，筛选模型生成的检测候选框，第一图像的检测候选框保留尺寸在208*208～312*312之间的，其余丢弃；第二图像的检测候选框保留尺寸在240*240～480*480之间的，其余丢弃；第三图像的检测候选框保留尺寸在160*160～440*440之间的，其余丢弃；然后，针对每个原图，分别融合其对应生成的第一图像、第二图像、第三图像筛选出的检测候选框，融合方式为：根据检测候选框之间的相对位置信息，将三个尺寸级别筛选的检测候选框还原至原尺寸图像的对应位置，并融合还原后的检测候选框生成融合后的检测框，将融合后的检测框输出至原尺寸图像；最后，比对融合后的检测框与训练集的标注信息，计算误差并反馈给网络进行逐层优化。7.根据权利要求1所述的一种铝型材表面缺陷检测与分类方法，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川,51