一种布匹瑕疵智能识别方法及系统技术方案

本发明专利技术公开了一种布匹瑕疵智能识别方法及系统，其包括以下步骤：将纺织车间现场采集的布匹图像进行标注；基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，模型参数包括梯度和权重；将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。本发明专利技术有效地提高了检测精度和减少了模型的检测时间。的检测时间。的检测时间。

【技术实现步骤摘要】
一种布匹瑕疵智能识别方法及系统


[0001]本专利技术涉及智能识别
，特别一种布匹瑕疵智能识别方法及系统。

技术介绍

[0002]工业产品质量是工业产品质量生产企业生存的关键，而质量检测又是保证工业产品质量的核心重要环节。传统的工业产品质量缺陷判决主要是通过人工观察来完成，但人工质检员的不足也很明显，如人工验布速度有限制，一般只能达到12m/min；质检员的最长只能专注验布20～30min；质检员注意力会随着工业产品上疵点数量变化而产生变化，其疵点检出率随着每小时工业产品疵点数量变化而变化，单位时间内工业产品疵点数量多少对质检员的效率影响是很大的，可知质检员的检验效率很不稳定。所以，发展计算机视觉技术实现工业产品的疵点判决很有必要。近些年以来，有很多学者探索将计算机视觉技术应用。
[0003]到工业产品疵点判决中来，通过计算机智能检测技术，来实现工业产品疵点的在线实时检测，从而替代传统人工离线监测。而这些基于计算机智能检测技术的工业产品疵点判决方法又可以分为两个大类：一种是空间域算法，例如徐园园等基于Hough变换和Gabor滤波的疵点判决技术，首先利用Hough变换确定工业产品的纹理方向，然后再通过Gabor滤波技术，该算法要求被检测工业产品有着鲜明的纹理信息才可以完成疵点判决；何峰等基于跳步形态学法的工业产品疵点判决，该方法有助于改善工业产品疵点自动检测生产线中由于速度过快造成的工业产品抖动以及难以匹配问题，但该算法要求被检测的工业产品噪声少，同时疵点与背景的区别要尽可能明显的情况下才能对疵点做出检测；邹超等的基于灰度共生矩阵的疵点判决方法，然而灰度矩阵计算速度一直是妨碍工业产品检测效率提升的一大问题。另一种是频率域算法，例如管声启等提出的通过频域滤波的工业产品疵点判决，首先通过傅里叶变换获得频谱图像，然后设计根据获得的纹理频谱信息设计出抑制正常纹理的频域滤波器，以获得疵点信息，该方法的主要缺点是要求被检测工业产品拥有周期性或者方向性纹理，其无法实现普适性疵点缺陷判决；吴哲提出的基于小波分析和支持向量机(SVM)的工业产品疵点判决，其通过对疵点图像进行Mallat分解后然后通过小波函数提取的高频分量，并选取能量、熵、方差作为特征，最后通过SVM算法对疵点进行分类，该方法如果想要提高疵点识别准确率，需要布匹中的疵点信息在整个图片中占比足够大，导致在应用到企业生产过程中需要增加更多的图像捕捉设备，从而提高了成本。
[0004]在工业领域，产品的瑕疵点是一个非常重要的课题，通过对先进的计算机视觉技术研究和开发，能够极大的提升工业产品疵点检验的准确度，降低对大量人工的依赖，提升质检的效果和效率。因此，针对基于计算机视觉技术的工业产品瑕疵点检测进行了深入的研究。
[0005]目前工业产品瑕疵点检测主要由人工完成，人工检测易受主观因素影响，缺乏一致性；并且检测人员在强光下长时间工作对视力影响极大。由于工业产品疵点种类繁多、形态变化多样、观察识别难道大，导致工业产品疵点智能检测成为困扰行业多年的技术瓶颈。

技术实现思路

[0006]鉴于此，本专利技术提供一种布匹瑕疵智能识别方法及系统，以解决上述技术问题。
[0007]本专利技术公开了一种布匹瑕疵智能识别方法，其包括以下步骤：
[0008]将纺织车间现场采集的布匹图像进行标注；
[0009]基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，所述模型参数包括梯度和权重；
[0010]将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
[0011]进一步地，所述将纺织车间现场采集的布匹图像进行标注，包括：
[0012]在工业生产现场安装及部署智能摄像机以实时拍摄生产线上的布匹图像；
[0013]通过在布匹图像上人工标注瑕疵框，得到标注数据；采用labelimg图像标注软件对布匹图像进行标注，标注布匹图像瑕疵的类型、瑕疵的位置。
[0014]进一步地，在所述将纺织车间现场采集的布匹图像进行标注之后，还包括：
[0015]对已标注图像进行图像增强；其中，所述图像增强包括布匹图像的裁剪、翻转、纹理颜色增强和杂质的形状轮廓锐化。
[0016]进一步地，所述基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型，包括：
[0017]选用ResNeXt作为骨干网络模型，输入已标注的训练图像，训练过程中不断更新模型参数，并选用多尺度的特征金字塔算法对图像特征进行提取，先对原始图像构造图像金字塔，然后在图像金字塔的每一层提出不同的特征，然后基于ResNeXt骨干网络模型和提取的特征进行相应的预测；其中，训练图像有标注信息，标注信息包括name字段，代表图像名称；defect_name代表缺陷的类型；
[0018]结合布匹瑕疵的特点，检测框算法选取候选框提取算法，并通过标注数据训练深度学习模型；
[0019]对训练得到的深度学习模型进行性能评估，保留最佳模型。
[0020]进一步地，所述性能评估包括布匹疵点检出率、布匹疵点在布匹图像中的位置检验的准确度、布匹疵点分类的准确度以及检测速度；
[0021]所述性能评估的计算公式为：
[0022]0.2ACC+0.8mAP
[0023]其中，ACC是有瑕疵或无瑕疵的分类指标，考察瑕疵检出能力，提交结果name字段中出现过的测试图像均认为有瑕疵，未出现的测试图像认为是无瑕疵；mAP为参照PASCALVOC的评估标准计算瑕疵的mAP值。
[0024]进一步地，模型的损失函数为focal loss函数，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
[0025]进一步地，所述将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别，包括：
[0026]对获取的待检测布匹图像进行标注，然后将标注后的待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。
[0027]进一步地，在所述将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别之后，还包括：
[0028]对瑕疵点检测结果进行统计分析；其中，所述瑕疵点检测结果包括瑕疵点个数、瑕疵点位置。
[0029]进一步地，所述深度学习模型的训练在线下完成；所述待检测布匹图像表面的瑕疵点检测为线上检测。
[0030]本专利技术还公开了一种布匹瑕疵智能识别系统，其包括：
[0031]标注模块，用于将纺织车间现场采集的布匹图像进行标注；
[0032]模型训练和特征提取模块，用于基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，所述模型参数包括梯度和权重；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种布匹瑕疵智能识别方法，其特征在于，包括以下步骤：将纺织车间现场采集的布匹图像进行标注；基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型；其中，所述模型参数包括梯度和权重；将待检测布匹图像输入训练好的深度学习模型中，得到待检测布匹瑕疵的位置和类别。2.根据权利要求1所述的方法，其特征在于，所述将纺织车间现场采集的布匹图像进行标注，包括：在工业生产现场安装及部署智能摄像机以实时拍摄生产线上的布匹图像；通过在布匹图像上人工标注瑕疵框，得到标注数据；采用labelimg图像标注软件对布匹图像进行标注，标注布匹图像瑕疵的类型、瑕疵的位置。3.根据权利要求1所述的方法，其特征在于，在所述将纺织车间现场采集的布匹图像进行标注之后，还包括：对已标注图像进行图像增强；其中，所述图像增强包括布匹图像的裁剪、翻转、纹理颜色增强和杂质的形状轮廓锐化。4.根据权利要求1所述的方法，其特征在于，所述基于已标注的图像构建ResNeXt骨干模型，训练深度学习模型，更新模型参数并基于多尺度特征金字塔算法提取特征，生成训练好的深度学习模型，包括：选用ResNeXt作为骨干网络模型，输入已标注的训练图像，训练过程中不断更新模型参数，并选用多尺度的特征金字塔算法对图像特征进行提取，先对原始图像构造图像金字塔，然后在图像金字塔的每一层提出不同的特征，然后基于ResNeXt骨干网络模型和提取的特征进行相应的预测；其中，训练图像有标注信息，标注信息包括name字段，代表图像名称；defect_name代表缺陷的类型；结合布匹瑕疵的特点，检测框算法选取候选框提取算法，并通过标注数据训练深度学习模型；对训练得到的深度学习模型进行性能评估，保留最佳模型。5.根据权利要求...

【专利技术属性】
技术研发人员：谭董，王开业，王晓荷，马晓航，谭启涛，范波，
申请(专利权)人：成都航天科工大数据研究院有限公司，
类型：发明
国别省市：