一种基于深度学习的裂纹缺陷检测系统技术方案

本发明专利技术涉及一种基于深度学习的裂纹缺陷检测系统，属于产品裂纹缺陷检测领域；包括图像标注模块、图像预处理模块、数据增强模块、深度神经网络模块和算法预测模块；本发明专利技术通过合理设计神经网络架构，实现目标区域矩形坐标、目标类别、目标像素区域多任务识别，依托像素级分割识别算法的优势，有效地提升目标检测算法对目标区域识别的准确度，给出了目标像素级的分类信息，降低了部分复杂外形目标区域识别错误率，高效可靠地实现目标精准定位，从而提高实际工程应用中对目标检测算法高准确度的需求，为高精度目标识别应用场景提供了有力的算法支撑。算法支撑。算法支撑。

【技术实现步骤摘要】
一种基于深度学习的裂纹缺陷检测系统


[0001]本专利技术属于产品裂纹缺陷检测领域，涉及一种基于深度学习的裂纹缺陷检测系统。

技术介绍

[0002]随着计算机视觉技术的发展，目标检测技术被越来越广泛地应用到生产生活中，伴随应用领域扩展，工程应用中对目标检测准确度要求越来越高，尤其是航空航天领域，传统的目标检测方法无法满足其高精度要求，为适应实际应用场景中目标检测任务挑战，亟需引入更为先进算法提升检测准确度。在工业检测领域目前主要的检测方式仍然需要依赖大量人力，检测效率低下且经济代价高，随着深度学习技术的发展，高精度目标识别检测方法使得自动化工业检测成为可能，极大程度地解放了人力资源，节省了经济成本。裂纹缺陷是典型工业产品中最为常见的一类缺陷，如高铁机车部件、航空产品部件、运载火箭重要器件等生产中均有一定的几率出现。裂纹缺陷将导致产品在使用过程中因结构断裂而导致严重的事故，对裂纹缺陷的高准确度检测将有效保证产品质量，如在高铁列车日常检测任务中机车出现裂纹缺陷将导致严重的安全隐患。传统的检测方法，仅给出了目标在图像中外接矩形边框，在目标较为稀疏的情况下，此类方法能准确地给出目标位置信息，然而在目标密集的情况下，检测定位框中出现区域重叠，目标外接框中会纳入其他目标像素，造成目标分类和定位两方面准确度显著降低。此外，区别于经典数据集中的对象，实际工程应用里待检测目标往往是复杂的。例如，航天器工件裂纹检测任务中，裂纹往往是狭长或者网状延伸的，目标占图像的比率极低，而裂纹外接矩形中大部分像素均为图像背景。若使用像素级分割识别技术，裂纹所在像素将会完整地从背景中分离，识别结果突破了矩形区域限制，最大限度地降低了背景区域或其他目标像素的干扰，从而提升了检测的准确度。
[0003]从文献中看，目前在工程中应用的目标检测方法，大部分均为面向矩形区域预测算法，少部分方法虽然使用了像素级分割方法，但未实现多尺度下训练，无法满足目标多尺度下识别。

技术实现思路

[0004]本专利技术解决的技术问题是：克服现有技术的不足，提出一种基于深度学习的裂纹缺陷检测系统，有效地提升目标检测算法对目标区域识别的准确度，给出了目标像素级的分类信息，降低了部分复杂外形目标区域识别错误率，高效可靠地实现目标精准定位。
[0005]本专利技术解决技术的方案是：
[0006]一种基于深度学习的裂纹缺陷检测系统，包括图像标注模块、图像预处理模块、数据增强模块、深度神经网络模块和算法预测模块；
[0007]图像标注模块：接收外部传来的图像，对每张图片依次进行目标位置标注、目标掩码标注处理，生成图像数据集；同时对每张图片进行目标注释处理，生成图像注释信息；并将图像数据集和图像注释信息发送至图像预处理模块；
[0008]图像预处理模块：接收图像标注模块传来的图像数据集，对图像数据集进行预处理，生成预处理后的图像，并将预处理后的图像发送至图像增强模块；接收图像标注模块传来的图像注释信息，将图像注释信息发送至图像增强模块；
[0009]图像增强模块：接收图像预处理模块传来的预处理后的图像和图像注释信息；根据图像注释信息对预处理后的图像进行旋转或裁剪处理；并在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理，生成新的图像和注释；并将新的图像和注释发送至深度神经网络模块；
[0010]深度神经网络模块：接收图像增强模块传来的新的图像和注释；将新的图像和注释作为神经网络模型的输入，进行神经网络训练，输出神经网络模型的权重；接收外部输入的待检测图像；加载神经网络模型的权重对待检测图像再次进行神经网络训练，获得训练后的图像，并将训练后的图像发送至算法预测模块；
[0011]算法预测模块：接收深度神经网络模块传来的训练后的图像；根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别；根据待检测图像的目标类别、目标位置和像素级类别实现后续裂纹周长、裂纹面积和裂纹长度的分析。
[0012]在上述的一种基于深度学习的裂纹缺陷检测系统，图像预处理模块对图像数据集进行预处理的具体内容为：
[0013]依次使用滤波算法去除图像数据集的随机噪声、使用频域处理技术去除图像数据集的频域内噪声、使用直方图均衡增加图像数据集的对比度。
[0014]在上述的一种基于深度学习的裂纹缺陷检测系统，所述图像增强模块通过在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理实现增加图像的数量及目标的多样性。
[0015]在上述的一种基于深度学习的裂纹缺陷检测系统，图像增强模块根据图像注释信息中的旋转字段或剪切字段对预处理后的图像进行旋转或裁剪处理。
[0016]在上述的一种基于深度学习的裂纹缺陷检测系统，所述深度神经网络模块对新的图像和注释进行神经网络训练前，对新的图像和注释依次进行候选特征提取，ROI区域生成、边框回归、掩码生成处理。
[0017]在上述的一种基于深度学习的裂纹缺陷检测系统，所述深度神经网络模块对新的图像和注释进行神经网络训练时，读取新的图像和注释的超参和尺度缩放参数，通过求解网络各单元隐层数据实现前向传播，通过误差反向传递更新权重，网络输出值和期望输出之间的误差在给定的误差区间内训练结束，输出神经网络模型的权重。
[0018]在上述的一种基于深度学习的裂纹缺陷检测系统，所述算法预测模块采用裂纹形态学分析法，根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别进行裂纹长度分析、裂纹面积分析和裂纹周长分析。
[0019]本专利技术与现有技术相比的有益效果是：
[0020](1)通过本专利技术提出的一种裂纹缺陷检测方法，为目标识别建立了多尺度多任务识别的处理流程，在传统目标识别算法预测目标矩形位置信息的基础上，增加了目标像素级位置信息，实现目标精准定位，提升了目标识别的准确度，通过目标像素区域外接矩形纠正了模型预测目标矩形位置；
[0021](2)本专利技术涉及的神经网络算法在训练过程中考虑到目标实际尺寸，实现了多尺
度网络训练，降低目标漏检率；
[0022](3)本专利技术涉及的神经网络算法使用生成对抗网络技术，通过多类型样本扩增解决了数据样本分布不平衡问题；
[0023](4)本专利技术涉及的神经网络算法集成了多个尺度样本的模型，大尺度模型适应小目标检测任务、中尺度模型适应中目标检测任务、小尺度模型适应小目标检测任务。
附图说明
[0024]图1为本专利技术裂纹缺陷检测系统示意图；
[0025]图2为本专利技术图像标注模块工作流程图；
[0026]图3为本专利技术图像增强模块工作流程图；
[0027]图4为本专利技术深度神经网络构建流程图；
[0028]图5为本专利技术深度神经网络模块工作流程图。
具体实施方式
[0029]下面结合实施例对本专利技术作进一步阐述。
[0030]本专利技术提出一种基于深度学习的裂纹缺陷检测系统，通过合理设计神经网络架构，实现目标区域矩形坐标、目标类别、目标像素区域多任务识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的裂纹缺陷检测系统，其特征在于：包括图像标注模块、图像预处理模块、数据增强模块、深度神经网络模块和算法预测模块；图像标注模块：接收外部传来的图像，对每张图片依次进行目标位置标注、目标掩码标注处理，生成图像数据集；同时对每张图片进行目标注释处理，生成图像注释信息；并将图像数据集和图像注释信息发送至图像预处理模块；图像预处理模块：接收图像标注模块传来的图像数据集，对图像数据集进行预处理，生成预处理后的图像，并将预处理后的图像发送至图像增强模块；接收图像标注模块传来的图像注释信息，将图像注释信息发送至图像增强模块；图像增强模块：接收图像预处理模块传来的预处理后的图像和图像注释信息；根据图像注释信息对预处理后的图像进行旋转或裁剪处理；并在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理，生成新的图像和注释；并将新的图像和注释发送至深度神经网络模块；深度神经网络模块：接收图像增强模块传来的新的图像和注释；将新的图像和注释作为神经网络模型的输入，进行神经网络训练，输出神经网络模型的权重；接收外部输入的待检测图像；加载神经网络模型的权重对待检测图像再次进行神经网络训练，获得训练后的图像，并将训练后的图像发送至算法预测模块；算法预测模块：接收深度神经网络模块传来的训练后的图像；根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别；根据待检测图像的目标类别、目标位置和像素级类别实现后续裂纹周长、裂纹面积和裂纹长度的分析。2.根据权利要求1所述的一种基于深度学习的裂纹缺...

【专利技术属性】
技术研发人员：薛晗庆，李昊星，潘红九，王保录，赵翔宇，底亚峰，彭晓，
申请(专利权)人：北京临近空间飞行器系统工程研究所，
类型：发明
国别省市：