基于深度学习的布匹缺陷检测方法技术

本发明专利技术提供了一种基于深度学习的布匹缺陷检测方法。该方法包括：建立不同类型缺陷的布匹检测图像库及其标签库；建立基于深度学习的目标检测模型，包括基础网络、区域提议网络和Fast R‑CNN检测网络；建立基于深度学习的图像分类模型；在准备好的各图库上训练已建立的目标检测模型或图像分类模型，训练过程中每次迭代的输入数据都执行数据增强操作，根据检测出的布匹中缺陷的相对位置，检测布匹有无缺陷，若有缺陷则利用图像分类模型确定布匹的缺陷类型。与传统的图像识别方法相比，本发明专利技术无需人工设计繁琐的图像特征提取器，可以帮助工作人员完成初步的布匹图像数据筛选，为后续的进一步检测奠定基础，减轻了工作强度并提升了纺织产业的智能化水平。

Fabric Defect Detection Method Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的布匹缺陷检测方法
本专利技术属于图像识别技术、机器学习
，具体涉及一种基于深度学习的布匹缺陷检测方法。
技术介绍
布匹的缺陷检测是其生产过程中质量控制的重要环节。目前，国内绝大多数纺织服装行业企业仍由人眼目测完成该项工作，然而该方法检测速度慢，劳动强度大，检测结果受检验人员的经验、熟练程度以及一些主观因素的影响，缺乏一致性和可靠性。同时，这种工作方式还会极大的损伤工人的视觉系统。由于人工检测效率低且不是一种客观一致的评判方法，检测结果容易使行业上下游之间产生贸易纠纷和矛盾。在纺织工业里，缺陷的产生有多种因素。比如：布匹生产的工序不对，纺线粗细不符合标准等等。根据布匹上出现缺陷的类型常常可以判断生产过程中存在的问题，进而对机器的运行作进一步调整。因此，对布匹缺陷进行正确高效的分类，有着重要的现实意义。目前，布匹缺陷检测的技术主要有统计法、频谱法、模型法、和学习方法。这些方法涉及复杂的特征统计和分析，计算量较大，很难满足工业要求。因此，如何自动检测出布匹缺陷并进行布匹缺陷的分类，减少工作量，是目前需要解决的技术问题。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的布匹缺陷检测方法，该布匹缺陷检测方法使用深度学习图像分类技术对布匹进行缺陷判定，并将有缺陷的布匹进行缺陷分类，从而帮助工作人员完成初步的布匹图像数据筛选，为后续的进一步检测奠定基础，减轻了工作强度并提升了纺织产业的智能化水平。为实现上述目的，本专利技术的技术方案是：一种基于深度学习的布匹缺陷检测方法，包括如下步骤：步骤1：建立不同类型缺陷的布匹检测图像库及其标签库；步骤2：建立基于深度学习的目标检测模型；步骤3：建立基于深度学习的图像分类模型；步骤4：利用数据增强技术扩充步骤1的布匹检测图像库，以增加布匹检测图像库的内容多样性；步骤5：训练布匹缺陷检测模型；步骤6：训练布匹缺陷分类模型；步骤7：将待检测的布匹图像输入布匹缺陷检测模型中，获得布匹图像区域，利用布匹缺陷检测模型判断布匹是否存在缺陷，若是，则利用布匹缺陷分类模型来判断布匹缺陷的具体类型，并将具体类型记录于服务器内。可选的，步骤1中标签库中的标签类别包括正常、扎洞、毛斑、擦洞、毛洞、织稀、吊经、缺经、跳花及油/污渍；所述布匹检测图像库中的图像为完整高清图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放形成。可选的，步骤2中的目标检测模型包括基础网络、区域提议网络和FastR-CNN检测网络，其中，所述基础网络用于对输入图片进行高纬度的深层特征提取，并生成一组特征图；所述区域提议网络用于在基础网络所生成的特征图上，使用卷积操作生成尺寸与深度皆一致的特征图，然后再通过卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，以生成提议区域；所述FastR-CNN检测网络用于根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，并通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。可选的，所述基础网络选用神经结构搜索网络ResNet。可选的，所述置信度的计算属于分类任务，训练时采用的损失函数是SoftmaxLoss；所述提议区域位置坐标的计算属于回归任务，训练时采用的损失函数是SmoothL1Loss。可选的，步骤3中的图像分类模型基于深度残差网络ResNet训练而成。可选的，步骤4具体为：将布匹检测图像库中的某一张原图随机通过包括旋转、填充式裁剪、灰度化的数据增强操作，以变换为一张新的图像。可选的，步骤5具体为：(1)对步骤1建立的布匹检测图像库及其标签库进行训练集与测试集的划分；(2)将步骤2建立的目标检测模型通过反向传播算法在训练集上进行训练；(3)利用步骤4的数据增强技术提升布匹缺陷检测模型的性能，以得到最终的布匹缺陷检测模型。可选的，步骤6具体为：(1)对步骤1建立的布匹检测图像库及其标签库进行训练集与测试集的划分；(2)将步骤3建立的图像分类模型通过反向传播算法在训练集上进行训练；(3)利用步骤4的数据增强技术提升布匹缺陷分类模型的性能，以得到最终的布匹缺陷分类模型。可选的，其特征在于，步骤6中，训练所用的初始化模型为在COCO数据集上训练所得的模型。本专利技术具有以下有益效果：本专利技术通过利用基于深度学习的目标检测技术与图像分类技术，训练出布匹缺陷检测模型和布匹缺陷分类模型，从而可采用递进式的判断策略，先进行布匹是否有缺陷的判断，然后进行布匹缺陷类型的判断；与传统的图像识别方法相比，本专利技术无需人工设计繁琐的图像特征提取器，可以帮助工作人员完成初步的布匹图像数据筛选，为后续的进一步检测奠定基础，减轻了工作强度并提升了纺织产业的智能化水平。附图说明图1是本专利技术基于深度学习的布匹缺陷检测方法的工作流程图。图2是图1中步骤2的具体工作流程图。图3是深度卷积神经网络的分类流程图。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术提供了一种基于深度学习的布匹缺陷检测方法，该布匹缺陷检测方法主要分为离线训练阶段和诊断阶段两个相对独立的阶段。在离线训练阶段中，每一批数据队列在投入训练模型之前均需先经过数据增强，再进行反向传播更新模型参数。在多次迭代训练后，择优保存模型作为诊断阶段的检测模型，模型一旦训练完成，即可移植到智能检测终端上使用，无需重复训练。如图1所示，基于深度学习的布匹缺陷检测方法主要包括以下步骤：步骤1：建立不同类型缺陷的布匹检测图像库及其标签库；步骤2：建立基于深度学习的目标检测模型；步骤3：建立基于深度学习的图像分类模型；步骤4：利用数据增强技术扩充步骤1的布匹检测图像库，以增加布匹检测图像库的内容多样性；步骤5：训练布匹缺陷检测模型；步骤6：训练布匹缺陷分类模型；步骤7：将待检测的布匹图像输入布匹缺陷检测模型中，获得图像区域，利用布匹缺陷检测模型判断布匹是否存在缺陷，若是，则利用布匹缺陷分类模型来判断布匹缺陷的具体类型，并将具体类型记录于服务器内；若否，则不需要进行布匹缺陷的分类判断。以下说明书部分将对步骤1～步骤7进行详细描述。步骤1中：布匹检测图像库中包含多种场景下的布匹，以标识布匹缺陷类型；布匹检测图像库中的图像为完整高清图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放形成，其中图片像素宽度规则的优先度更高，使用的图像缩放算法基于三次样条插值。标签库中的标签文件按照PASCALVOC格式建立，标签类别包括正常、扎洞、毛斑、擦洞、毛洞、织稀、吊经、缺经、跳花、油/污渍及其他。如图2所示，步骤2中，目标检测模型由基础网络、区域提议网络和FastR-CNN检测网络组成，其中，基础网络用于对输入图片进行高纬度的深层特征提取，并生成一组特征图。本实施例中，基础网络选用神经结构搜索网络ResNet，ResNet在训练过程中使用递归网络生成神经网络的模型，并且使用增强学习训练递归网络，以最终形成合适的神经网络结构。区域提议网络用于在基础网络所生成的特征图上，使用卷积操作(具体为3*3卷积)生成尺寸与深度皆一致的特征图，然后再通过卷积操作(具体为并行的两个1*1卷积)计算是否含有目标的置信度和相应提议区域位置坐标，以生成提议区域。其中，置信度的计算属于分类任务，训练时采用的损失本文档来自技高网...

【技术保护点】
1.一种基于深度学习的布匹缺陷检测方法，其特征在于，包括以下步骤：步骤1：建立不同类型缺陷的布匹检测图像库及其标签库；步骤2：建立基于深度学习的目标检测模型；步骤3：建立基于深度学习的图像分类模型；步骤4：利用数据增强技术扩充步骤1的布匹检测图像库，以增加布匹检测图像库的内容多样性；步骤5：训练布匹缺陷检测模型；步骤6：训练布匹缺陷分类模型；步骤7：将待检测的布匹图像输入布匹缺陷检测模型中，获得布匹图像区域，利用布匹缺陷检测模型判断布匹是否存在缺陷，若是，则利用布匹缺陷分类模型来判断布匹缺陷的具体类型，并将具体类型记录于服务器内。

【技术特征摘要】
1.一种基于深度学习的布匹缺陷检测方法，其特征在于，包括以下步骤：步骤1：建立不同类型缺陷的布匹检测图像库及其标签库；步骤2：建立基于深度学习的目标检测模型；步骤3：建立基于深度学习的图像分类模型；步骤4：利用数据增强技术扩充步骤1的布匹检测图像库，以增加布匹检测图像库的内容多样性；步骤5：训练布匹缺陷检测模型；步骤6：训练布匹缺陷分类模型；步骤7：将待检测的布匹图像输入布匹缺陷检测模型中，获得布匹图像区域，利用布匹缺陷检测模型判断布匹是否存在缺陷，若是，则利用布匹缺陷分类模型来判断布匹缺陷的具体类型，并将具体类型记录于服务器内。2.根据权利要求1所述的基于深度学习的布匹缺陷检测方法，其特征在于：步骤1中标签库中的标签类别包括正常、扎洞、毛斑、擦洞、毛洞、织稀、吊经、缺经、跳花及油/污渍；所述布匹检测图像库中的图像为完整高清图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放形成。3.根据权利要求1所述的基于深度学习的布匹缺陷检测方法，其特征在于：步骤2中的目标检测模型包括基础网络、区域提议网络和FastR-CNN检测网络，其中，所述基础网络用于对输入图片进行高纬度的深层特征提取，并生成一组特征图；所述区域提议网络用于在基础网络所生成的特征图上，使用卷积操作生成尺寸与深度皆一致的特征图，然后再通过卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，以生成提议区域；所述FastR-CNN检测网络用于根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，并通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。4.根据权利要求3...

【专利技术属性】
技术研发人员：马意彭，戴菲，林勇康，肖建，蔡志匡，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32