一种基于深度学习的金属板缺陷检测和度量方法技术

本发明专利技术涉及一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。与现有技术相比，本发明专利技术具有提高缺陷检测的正确率和精确度、节省了大量的人力资源等优点。

【技术实现步骤摘要】
一种基于深度学习的金属板缺陷检测和度量方法
本专利技术涉及一种缺陷检测方法，尤其是涉及一种基于深度学习的金属板缺陷检测和度量方法。
技术介绍
金属板带是汽车、机械制造、化工、航空航天和造船等行业不可缺少的原材料。且随着我国工业化水平的不断发展，对金属板带表面质量的要求也越来越高，但是由于工艺或其它各种原因致使金属板表面产生各种缺陷。而这些的存在会很大程度影响机器、仪器的使用性能和寿命，因此及时检测金属板带表面缺陷，对缺陷进行严重程度评价具有很大的实际价值。传统的金属板缺陷检测方法，主要是通过人眼观察或者借助于一些辅助机器观察，但是产品的优良还是主要依赖于行业专家的经验判断，缺乏统一的标准，需要大量的相关专业的人力，且效率比较低。随着计算机技术、尤其是图像处理技术的发展，越来越多的领域中开始使用图像处理技术来帮助工作。目前，将深度学习目标检测技术应用于金属板缺陷检测，还处于初步计算，大多数应用也只是简单的将标准，单一的深度学习目标检测算法，如一种基于FasterR_CNN网络的金属板带表面缺陷检测方法及装置和一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置。这些方法存在一个公共的问题是，单一检测算法很难在所有的缺陷检测上面都表现的很好。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的金属板缺陷检测和度量方法。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。进一步地，所述多级联缺陷检测器由多个目标检测模型串联或并联而成。进一步地，所述目标检测模型包括fasterRCNN模型、yolov3模型和/或SSD模型。进一步地，所述多级联缺陷检测器的训练过程包括：步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注；步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；步骤S103，以所述训练样本集作为所述多级联缺陷检测器中各目标检测模型的输入，分别训练各目标检测模型；步骤S104，在满足训练结束条件后保存各目标检测模型的参数。进一步地，所述步骤2)中，多个目标检测模型串联时，仅在多个目标检测模型同时在同一个位置上检测到缺陷时，判定该位置存在缺陷；多个目标检测模型并联时，只要其中一个目标检测模型发现缺陷即判定存在缺陷。进一步地，所述步骤2)中，多个目标检测模型串联时，对多个目标检测模型的结果进行融合后，判定缺陷的种类和位置。进一步地，所述融合包括缺陷概率融合和缺陷位置融合。进一步地，所述步骤2)中，在检测到缺陷时，多级联缺陷检测器输出缺陷的种类和位置，所述位置以矩形框表示，表示方法为P(x,y,w,h)，其中x,y为矩形左上角坐标，w,h为矩形的宽和高。进一步地，所述步骤3)中，利用棋盘格标定法度量缺陷的物理大小具体为：将网格大小为dx的棋盘格放在与金属板相同的位置，使用特征点检测方法检测每个棋盘格的像素平均距离dw，从而计算得到每个像素的物理距离pix：pix＝dx*dw根据检测到的缺陷位置，计算缺陷对应的物理大小，具体计算公式如下：Pw＝w*pixPh＝h*pix其中，Pw、Ph分别为缺陷的宽和高。进一步地，该方法还包括步骤：4)根据缺陷的物理大小判断产品是否合格，若是，则输出结果，若否，则采集产品其他角度图像，返回步骤2)，直至产品所有角度照片均检测合格。本专利技术提出了一种基于多种深度学习目标检测级联的缺陷检测器，并且结合相应的度量方法，在检测出缺陷的同时，给出缺陷的物理尺寸。与现有技术相比，本专利技术具有以如下有益效果：第一，本专利技术采用了多种深度学习目标检测级联的结构，用户可以根据需要使用其中一种或者多种检测器级联对金属板图像进行检测。适应避免虚报，避免漏检等多种需求，且采用多个模型检测结果融合有利于提高缺陷检测的正确率和精确度，在一定程度上解决了单一算法无法对所有缺陷都适用的问题。第二，使用相机标定的方法，直接计算得到缺陷的物理尺寸大小，更有利于对缺陷的评价提供量化指标，避免人眼判断指标不统一的问题，同时节省了大量的人力资源。第三、本专利技术适用于焊渣、辊印、污渍、划痕、孔洞等各种缺陷检测问题，由于采用多种检测算法级联，适用范围更加广泛，同时检测的精度更高。附图说明图1为本专利技术目标检测模型训练过程的示意图；图2为对金属板产品进行缺陷检测和度量的过程示意图；图3为本专利技术在各种缺陷检测应用上的效果示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。本专利技术提供一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。本专利技术采用的是多种深度学习目标检测算法级联检测器，目标检测算法包括但不限于fasterRCNN、yolov3、SSD算法。下面以fasterRCNN算法为例介绍检测器训练过程，其他两种算法训练过程类似。如图1所示，单个目标检测模型的训练过程包括：步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注，标注方法为使用矩形框对缺陷位置进行标注并记录其种类；步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；步骤S103，以所述训练样本集作为FasterRCNN目标检测模型的输入进行训练，本实施例中，可使用的主干网路包括但不限于Resnet、VGG等；步骤S104，在满足训练结束条件后保存各目标检测模型的参数。基于上述训练过程，在各目标检测模型训练完成后，可以根据需要使用其中一种或者多种检测器级联对金属板图像进行检测。如为了避免检测器虚报，可采用串联结构，只有多个检测同时在同一个位置上，检测到缺陷时，才认定该区域存在缺陷，然后再对多个检测器的结果进行融合，确定缺陷的位置和类型，若为了避免存在漏检的情形，可以采用并联结构，只要其中一个检测器发现缺陷即认为存在缺陷。采用串联结构时，对多个检测器的结果进行融合的方式可以根据具体的需求进行设置，包括判断是否为瑕疵的概率融合和坐标位置的融合。概率融合的方式具体可选择：1)将几个检测的概率相乘，例如串联方式为第一检测器的认为是瑕疵的概率为0.2，第二个检测器的认为是瑕疵的概率为0.9，那么综合概率为0.2*0.9＝0.18，然后若最终概率大于0.5则为瑕疵，若小于0.5则为合格，这样做主要是防止误报；2)采用求平均的方法，这样最终概率为(0.2+0.9)＝0.55，为不合格，这个做法比较适中；3)求所有检测概率的最大值，只要最大值>0.5，则判为瑕疵，这样做的目标可以防止漏检。坐标位置的融合的方式具体可选择：1)取概率最大的位置坐标为最终瑕疵的位置坐标；2)对几个位置坐标取平均值。在检测到缺陷时，多级联缺陷检测器输出缺陷的种类和位置，所述位置以矩形框表示，表示方法为P本文档来自技高网...

【技术保护点】
1.一种基于深度学习的金属板缺陷检测和度量方法，其特征在于，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。

【技术特征摘要】
1.一种基于深度学习的金属板缺陷检测和度量方法，其特征在于，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。2.根据权利要求1所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述多级联缺陷检测器由多个目标检测模型串联或并联而成。3.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述目标检测模型包括fasterRCNN模型、yolov3模型和/或SSD模型。4.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述多级联缺陷检测器的训练过程包括：步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注；步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；步骤S103，以所述训练样本集作为所述多级联缺陷检测器中各目标检测模型的输入，分别训练各目标检测模型；步骤S104，在满足训练结束条件后保存各目标检测模型的参数。5.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述步骤2)中，多个目标检测模型串联时，仅在多个目标检测模型同时在同一个位置上检测到缺陷时，判定该位置存在缺陷；多个目标检测模型并联时，只要其中一个目标检测模型发现缺陷即判定存在缺陷。...

【专利技术属性】
技术研发人员：李俊，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海,31