一种基于深度学习的跨尺度缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的跨尺度缺陷检测方法，包括S1，搭建视觉数据采集系统，获取待处理装备部件表面图像，构建缺陷数据集；S2，构建跨尺度缺陷检测深度学习模型，将S1获取的数据集送入构建好的模型，进行模型训练；S3，根据S2得到的跨尺度缺陷检测深度学习模型和S1的视觉数据采集系统，搭建缺陷检测系统，批量检测待处理装备部件表面图像中的缺陷。本发明专利技术将深度学习技术应用于缺陷检测，可提高装备部件缺陷的检测精度和检测效率，用以判断装备部件的质量和便于维修，保证装备部件的安全性能。的安全性能。的安全性能。

【技术实现步骤摘要】
一种基于深度学习的跨尺度缺陷检测方法


[0001]本专利技术属于大型装备部件缺陷检测
，具体涉及一种基于深度学习的跨尺度缺陷检测方法。

技术介绍

[0002]航空、航天、航海（“三航”）大型高端装备是国防安全保障，是我国装备制造业的重要组成部分，高端装备的产品质量直接影响最终作战性能与国际竞争力。在大型装备部件的生产和使用过程中，因为生产工艺和使用疲劳等因素，部件表面难以避免地会出现缺陷。大型装备部件表面的缺陷往往具有尺度范围大、内部缺陷复杂多样、表面缺陷结构复杂等特点。如何高效准确的检测这些缺陷异常，是保障武器装备质量、缩短研制生产周期的关键因素。
[0003]目前缺陷检测的方法可以概括为以下两类：1）采用人工方法定性检测。但基于人眼的视觉检测不仅无法实现定量测量，而且存在人工检测费时费力、漏检率高、效率低、可靠性低等问题。且人工目检对于细微缺陷存在严重的漏检，难以满足实际的质量需求；2）采用传统机器学习的方法提取特征进行缺陷检测，其主要任务量集中于图像预处理、提取特征、特征分类器设计。此类方法过度依赖人为设计的特征提取与分类方法，并且需要通过大量的实验进行参数调节和阈值设定，准确率随外界环境波动较大，误差率较高。
[0004]随着深度学习技术的不断发展和成熟，基于深度学习的缺陷检测技术逐渐成为研究热点，并且取得了一定的成果。该技术以经典的卷积神经网络为基础进行图像处理，进而生成特征图，最后完成缺陷检测。但是工业品表面缺陷尺度范围大，目前提出的基于深度学习的技术在工业品表面检测领域的应用受到了限制。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的跨尺度缺陷检测方法，将深度学习技术应用于缺陷检测，可提高装备部件缺陷的检测精度和检测效率。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：一种基于深度学习的跨尺度缺陷检测方法，包括：S1，搭建视觉数据采集系统，获取待处理装备部件表面图像，构建缺陷数据集；S2，构建跨尺度缺陷检测深度学习模型，将S1获取的数据集送入构建好的模型，进行模型训练；S3，根据S2得到的跨尺度缺陷检测深度学习模型和S1的视觉数据采集系统，搭建缺陷检测系统，批量检测待处理装备部件表面图像中的缺陷。
[0007]为优化上述技术方案，采取的具体措施还包括：
上述的S1具体为：S11，采用深度传感器和视觉传感器采集装备部件表面图像不同缺陷的深度图像和可见光图像，将相应缺陷的可见光图像和深度图像作为一组缺陷数据；S12，对S11采集到的图像进行旋转、剪切、缩放和转换，增加训练用装备部件表面图像数据；S13，采用LabelImg对装备部件表面图像进行缺陷标注，得到缺陷数据集。
[0008]上述的缺陷分为以下几类：在部件表面产生的划痕、缝隙，以及安装紧固件产生的凸出、凹陷、粗糙度。
[0009]上述的S2构建的跨尺度缺陷检测深度学习模型具体为：1）将包括可见光图像和深度图像的一组缺陷数据作为输入；2）跨尺度缺陷检测深度学习模型的主干网络，采用双支路的特征提取网络分别对可见光图像和深度图像进行特征提取，最后将两个支路采用注意力机制进行加权融合；3）采用新的跨尺度特征融合策略，四个尺度的特征图和SE模块获取的，所有的通道维度从256降至64，使用卷积得到五个中间特征图；首先对特征图进行上采样和/或下采样，然后concatenate，以获得与对应尺度具有相同空间分辨率的 256
‑
D特征图；最后，将的特征图与前面得到的256
‑
D特征图相加，实现所有五个尺度的跨尺度融合，具体公式如下：，其中（x,y）为的像素点；sum表示求和操作；N表示特征图的个数，W、H分别代表图像的宽和高。
[0010]上述的2）中，双支路中每个支路的网络结构为：混合卷积利用不同的感受野，通过不同的卷积核大小和分组大小融合多尺度局部信息；挤压和激活分支区分特征层的显著性，残差跳跃连接加深语义提取和解码；其中，分组大小G决定单个输入张量使用多少不同类型的卷积核；在 G = 1 的情况下，混合卷积等效于普通深度卷积；上述的2）中，注意力机制的融合公式为：，其中，分别为深度图像特征和可见光图像特征的权重，N为特征图的层数，分别表示深度图像和可见光图像的第层特征图。
[0011]上述的S3具体为：根据S2得到的跨尺度缺陷检测深度学习模型和S1的视觉数据采集系统，搭建缺陷检测系统；视觉数据采集系统用于数据采集；跨尺度缺陷检测深度学习模型用于缺陷检测和结果输出；缺陷检测系统将缺陷检测结果实时输出并保存为以下形式：包含缺陷的图片和具体缺陷位置的表格。
[0012]本专利技术具有以下有益效果：本专利技术将深度学习技术应用于跨尺度缺陷检测，可提高缺陷的检测精度和检测效率；另外，本专利技术提出的特征提取模块能够提取多尺度特征，不局限于单一尺度，对包含不同尺度的缺陷适用性强。
附图说明
[0013]图 1为本专利技术一种基于深度学习的跨尺度缺陷检测方法流程图；图2是根据本专利技术实施例的跨尺度缺陷检测深度学习模型；图3是根据本专利技术实施例的跨尺度特征提取网络；图4是根据本专利技术实施例的跨尺度特征融合网络。
具体实施方式
[0014]以下结合附图对本专利技术的实施例作进一步详细描述。
[0015]本专利技术的一种基于深度学习的跨尺度缺陷检测方法，流程图如图1所示，包括如下步骤：S1，搭建视觉数据采集系统，获取待处理装备部件表面图像，构建缺陷数据集，具体为：S11，采用深度传感器和视觉传感器采集装备部件表面图像不同缺陷的深度图像和可见光图像，凸出、凹陷等结构性缺陷通过深度传感器可以很好的反映出来，划痕、掉漆等缺陷可以通过视觉传感器呈现。将相应缺陷的可见光图像和深度图像作为一组缺陷数据；S12，对S11采集到的图像进行旋转、剪切、缩放和转换，增加训练用装备部件表面图像数据；S13，采用LabelImg对装备部件表面图像进行缺陷标注，得到缺陷数据集。
[0016]实施例中，所述缺陷分为以下几类：在部件表面产生的划痕、缝隙，以及安装紧固件产生的凸出、凹陷、粗糙度等。
[0017]S2，构建跨尺度缺陷检测深度学习模型，将S1获取的数据集送入构建好的模型，进行模型训练；实施例中，如图2所示，S2构建的跨尺度缺陷检测深度学习模型具体为：1）将包括可见光图像和深度图像的一组缺陷数据作为输入；2）跨尺度缺陷检测深度学习模型的主干网络，采用双支路的特征提取网络分别对可见光图像和深度图像进行特征提取，最后将两个支路采用注意力机制进行加权融合；如图3所示，双支路中每个支路的网络结构为：混合卷积利用不同的感受野，通过不同的卷积核大小和分组大小融合多尺度局部信息；挤压和激活分支（SE）区分特征层的显著性，残差跳跃连接加深语义提取和解码；其中，分组大小G决定单个输入张量使用多少不同类型的卷积核；在 G = 1 的情况下，混合卷积等效于普通深度卷积；
注意力机制的融合公式为：，其中，分别为深度图像特征和可见光图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的跨尺度缺陷检测方法，其特征在于，包括：S1，搭建视觉数据采集系统，获取待处理装备部件表面图像不同缺陷的深度图像和可见光图像，构建缺陷数据集；S2，构建跨尺度缺陷检测深度学习模型，将S1获取的数据集送入构建好的模型，进行模型训练；S3，根据S2得到的跨尺度缺陷检测深度学习模型和S1的视觉数据采集系统，搭建缺陷检测系统，批量检测待处理装备部件表面图像中的缺陷。2.根据权利要求1所述的一种基于深度学习的跨尺度缺陷检测方法，其特征在于，所述S1具体为：S11，采用深度传感器和视觉传感器采集装备部件表面图像不同缺陷的深度图像和可见光图像，将相应缺陷的可见光图像和深度图像作为一组缺陷数据；S12，对S11采集到的图像进行旋转、剪切、缩放和转换，增加训练用装备部件表面图像数据；S13，采用LabelImg对装备部件表面图像进行缺陷标注，得到缺陷数据集。3.根据权利要求1所述的一种基于深度学习的跨尺度缺陷检测方法，其特征在于，所述缺陷分为以下几类：在部件表面产生的划痕、缝隙，以及安装紧固件产生的凸出、凹陷、粗糙度。4.根据权利要求1所述的一种基于深度学习的跨尺度缺陷检测方法，其特征在于，S2构建的跨尺度缺陷检测深度学习模型具体为：1）将包括可见光图像和深度图像的一组缺陷数据作为输入；2）跨尺度缺陷检测深度学习模型的主干网络，采用双支路的特征提取网络分别对可见光图像和深度图像进行特征提取，最后将两个支路采用注意力机制进行加权融合；3）对加权后的特征采用新的跨尺度特征融合策略，将提取的四个尺度的特征图和SE模块获取的，所有的通道维度从2...

【专利技术属性】
技术研发人员：汪俊，单忠德，戴黎，李大伟，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：