一种基于深度学习的结构缺陷检测方法技术

本发明专利技术涉及一种基于深度学习的结构缺陷检测方法，包括：1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。本发明专利技术提出了无监督学习和小样本有监督学习相结合的方式，有效实现结构主要缺陷的准确检测，对于安全性要求很高的某些结构缺陷检测领域，本发明专利技术填补了技术空白，具有实际推广和应用价值。本发明专利技术基于前沿深度学习算法，在检测准确性和鲁棒性方面具有明显优势，且可以实现完全自动化。自动化。自动化。

【技术实现步骤摘要】
一种基于深度学习的结构缺陷检测方法


[0001]本专利技术涉及一种基于深度学习的结构缺陷检测方法。

技术介绍

[0002]提高生产制造流程的自动化程度是制造业的技术变革大趋势，研发先进设备或技术替代繁重人力工作具有重大的实际应用价值。以汽车制造业为例，对冲压件的缺陷检测、车体表面喷漆检测等工序仍需要大量人力资源投入，成为生产流水线的效率瓶颈。一些国内外制造企业已经对多种自动化技术进行了大量研究，特别对于结构件的缺陷检测方向，更是智能技术的核心突破口，例如奔驰在西班牙的公司采用了基于计算机视觉、专家规则的方式实现了汽车喷漆效果的自动化检测。但是通过考察现有已经尝试产业化应用的一系列案例，发现新技术主要集中在对缺陷检测效果要求不高的领域，而对安全性能要求非常高的领域，例如汽车冲压件的缺陷检测等，还没有一种同时满足高精度和高鲁棒性要求的新技术。
[0003]涉及的一大技术难点来自于难以收集足够量的带缺陷样本，这限制了当前基于有监督深度学习的一系列人工智能技术。为在数据样本有限的条件下实现缺陷检测的高性能要求，存在两个值得研究的技术方向，一是尝试采用半监督、无监督等不需要大量正样本的深度学习算法，二是结合实际工况，对位于结构非边缘区域内的开裂等具有简单几何形状的缺陷类型，应用基于少量数据样本的有监督学习检测技术。

技术实现思路

[0004]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于深度学习的结构缺陷检测方法，在只有少量标注正样本数据的条件下，实现结构件主要缺陷类型(例如开裂)的检测，以解决结构件开裂等主要缺陷类型的检测难题。
[0005]为达到以上目的，本专利技术采取的技术方案是：
[0006]一种基于深度学习的结构缺陷检测方法，包括以下步骤：
[0007]1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；
[0008]2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；
[0009]3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。
[0010]正常流模型的训练过程如下：将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到正常流模型。
[0011]具体的，正常流模型提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测图片存在缺陷时，该待检测图片在正常流空间上的位置与正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。
[0012]无缺陷图片样本数据集建立方式为：在实际工况下，收集不带缺陷的负样本，采集
足够数量的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
[0013]无缺陷图片的数量大于1000张。
[0014]目标检测模型的训练过程如下：将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到目标检测模型；带缺陷图片样本需要标注缺陷位置和类别。
[0015]具体的，目标检测算法的网络结构划分为特征提取网络和回归网络，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
[0016]带缺陷图片样本数据集建立方式如下：在实际工况下，收集带缺陷图片样本并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集；带缺陷图片样本数据集必须包含一定量的非边缘区域缺陷图片样本。
[0017]非边缘区域缺陷图片样本的数量不少于50。
[0018]本专利技术的有益效果：
[0019]针对带缺陷正样本难以收集的难题，本专利技术提出了无监督学习和小样本有监督学习相结合的方式，有效实现结构主要缺陷的准确检测，对于安全性要求很高的某些结构缺陷检测领域，本专利技术填补了技术空白，具有实际推广和应用价值。
[0020]正常流模型因其特点被用来检测结构边缘缺陷，目标检测模型被用来检测结构内部主要缺陷，两种模型的结合，能够实现结构所有区域的精准检测。
[0021]有别于当前人工目视或专家设计规则的检测方式，本专利技术基于前沿深度学习算法，在检测准确性和鲁棒性方面具有明显优势，且可以实现完全自动化。
附图说明
[0022]本专利技术有如下附图：
[0023]图1本专利技术的总体检测过程示意图。
[0024]图2正常流模型训练过程示意图。
[0025]图3无缺陷负样本示例，具体为4张无缺陷汽车冲压件图片示例。
[0026]图4目标检测模型训练过程示意图。
[0027]图5带缺陷正样本示例，具体为4张带有内部开裂缺陷的汽车冲压件图片示例。
[0028]图6待检测图片示例一。
[0029]图7正常流检测结果示意图。
[0030]图8待检测图片示例二。
[0031]图9目标检测算法检测结果示意图。
具体实施方式
[0032]以下结合附图对本专利技术作进一步详细说明。
[0033]采取两种方法对结构件的缺陷进行联合检测。一是采用基于正常流(Normalizingflow)模型的无监督深度学习方法，训练此类算法模型不需要带缺陷正样本，只需要无缺陷的负样本，该方法对结构件边缘缺陷比较敏感。二是采用YOLO(You only look once)等深度学习目标检测算法，在一般情形下训练此类算法模型需要大量的正样本，但因为有少数类型的结构缺陷几何形状变化不大，只需要少量的正样本即可训练得到较优的缺陷检测模型，结构件非边缘区域的开裂即为此类缺陷之一，且正好属于影响结构
件安全性能的主要缺陷类型。结合正常流和深度学习目标检测方法，两者优势互补，在不需要大量带缺陷标注数据的条件下，能够同时实现结构件边缘和内部缺陷的检测，适合在实际工况推广应用。
[0034]检测过程：
[0035]本专利技术的检测原理如图1所示，将同一张待检测图片分别输入到正常流模型和目标检测模型，得到两个模型对应的缺陷位置和类别等检测结果，最后将两个模型的检测结果进行汇总输出。
[0036]正常流模型训练过程：
[0037]正常流模型采用的是无监督学习，不需要带缺陷的正样本，仅需要不带缺陷的负样本，这是本算法的一大优点。如图2所示，将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到可以实际使用的正常流模型。
[0038]算法介绍：
[0039]正常流算法的核心思想是提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测的图片存在缺陷时，该待检测图片在正常流空间上的位置与前述正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。以 DifferNet为代表的正常流模型，只需要无缺陷的正常样本，即可训练得到用于结构缺陷检测的正常流模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的结构缺陷检测方法，其特征在于，包括如下步骤：1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。2.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，正常流模型的训练过程如下：将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到正常流模型。3.如权利要求2所述的基于深度学习的结构缺陷检测方法，其特征在于：正常流模型提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测图片存在缺陷时，该待检测图片在正常流空间上的位置与正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。4.如权利要求1所述的基于深度学习的结构缺陷检测方法，其特征在于，无缺陷图片样本数据集建立方式为：在实际工况下，...

【专利技术属性】
技术研发人员：高峰利，王怀喜，李绍，林锥，
申请(专利权)人：北京京仪仪器仪表研究总院有限公司，
类型：发明
国别省市：