基于随机复制粘贴数据增强的织物缺陷检测方法技术

本发明专利技术公开一种基于随机复制粘贴数据增强的织物缺陷检测方法，该方法基于随机复制粘贴数据增强方式构建缺陷样本动态生成网络，将无缺陷样本与动态构建的缺陷样本合并作为模型的输入，同时，采用分类模型进行训练，完成训练后对织物裁片进行缺陷检测。相比目前的其它方法，本发明专利技术可以构造出与真实缺陷相似的特征，大大提升了织物缺陷检测模型的检测率，同时对类型不明确的异常有很好的推广作用。时对类型不明确的异常有很好的推广作用。时对类型不明确的异常有很好的推广作用。

【技术实现步骤摘要】
基于随机复制粘贴数据增强的织物缺陷检测方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种基于随机复制粘贴数据增强(Random CopyPaste Data Augmentation，RCDA)的织物缺陷检测方法。

技术介绍

[0002]织物原材料质量问题以及衬衫加工过程中的不确定因素会导致色织衬衫裁片上出现破洞、断经、污渍等缺陷，若未将这些带缺陷的衬衫裁片检测出来并予以剔除，则会导致成品衬衫的质量问题而引起经济损失，鉴于实际需求，织物检测是纺织流程中一个必不可少的步骤，是现代制造业质量控制的一个重要环节，同时也是检测缺陷和评估产品质量所必须的。鉴于检测效果需求，基于机器视觉的织物缺陷自动检测方法受到了研究人员的关注，通过织物自动视觉检测应用计算机视觉技术，可以实现降低原料损耗，节约成本的同时保证织物质量的稳定性，提高织物检测效率。
[0003]机器视觉的图像处理逐渐可替代人的重复性识别劳动，与人眼识别相比，机器视觉识别图像的能力与准确度更强，基于统计特征的方法需辨识的参数过多，结构性不强，早期仅适合于单变量或者过程变量间静态关系较弱的系统；基于频谱特征的方法针对于简单花型，当缺陷很小且与织物纹理对比度过低时，检测模型的灵敏度会受到较大的影响，而色织衬衫的花型通常比较复杂，缺陷较小且与背景的相似度较高；基于模型特征的方法中需要针对每种具体花型建立单独的模型，建模成本非常高；基于结构特征的方法同样难以适用于多种不同花型色织物表面存在多种类型缺陷场景。
[0004]随着计算机硬件水平以及运行速度的提升，使得计算机图像数据处理能力不断提高。深度学习是研究和解决在深度神经网络中表达数据特征的一种机器学习方法，其被广泛应用于图像分类和识别中，尤其在海量图像的高级抽象特征自动提取方面效果很好，分类的精度和准确度都有所提升。为了解决随着网络层数的加深而带来的梯度消失问题，采用深度残差网络ResNet18，而对于有监督的深度残差网络ResNet18来说，它需要大量的缺陷样本进行训练，从而学习到缺陷特征以进行检测。与典型的监督分类问题不同，异常检测面临着独特的挑战，首先，由于问题的性质，很难获得大量的异常数据，无论是标记的还是未标记的；其次，正常模式和异常模式之间的差异通常是细粒度的，因为缺陷区域可能是小而微妙的高分辨率图像。对于有监督的深度残差网络ResNet18来说，它需要大量的缺陷样本进行训练，从而学习到缺陷特征以进行检测，同时，在进行有监督的单分类训练时，不平衡的数据样本将会使测试结果有所偏差。
[0005]用图像的几何变换进行数据增强，如旋转或平移，改变了整体对象性。然而，大多数现有的工作集中于从以局部对象为中心的自然图像中检测语义异常值(例如，不同类别的视觉对象)，在织物缺陷检测中，异常通常包括破洞、断经、污渍等不规则情况，属于对象规则性的异常(例如连续性、重复性)，而几何变换在检测局部缺陷方面是次优的。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供一种基于随机复制粘贴数据增强的织物缺陷检测方法，具体技术方案如下：
[0007]一种基于随机复制粘贴数据增强的织物缺陷检测方法，包括以下步骤：
[0008](1)构建织物缺陷检测样本集；
[0009]收集包含有无缺陷织物裁片的织物图像，作为训练集X
mn
∈R，其中n＝1,...,N，N代表样本个数；
[0010](2)将步骤(1)的训练集{X
mn
}进行图像预处理，包括调整图片分辨率、将像素值转化为张量后进行归一化，并改变图像的属性；
[0011](3)基于深度学习平台搭建缺陷样本动态生成网络，所述缺陷样本动态生成网络包括随机复制矩形区域粘贴网络、随机复制丝状区域粘贴网络和用来决定数据增强方式的随机数R；并设定缺陷样本动态生成网络中的复制图片面积的范围因子area_ration，以及将复制图片面积转化为复制宽高的因子aspect_ration；所述丝状区域为模拟织物中类似于勾丝的缺陷所在的区域；
[0012](4)通过所述缺陷样本动态生成网络，动态获得复制区域V
mn
，并将其与原始无缺陷织物样本X
mn
合并为缺陷样本
[0013](5)将缺陷样本与原始输入的无缺陷样本X
mn
共同构成新的训练集，并将其标签化为
[0014](6)利用步骤(5)得到的新的训练集训练所述分类模型，得到优化后的分类模型；
[0015](7)将待检测的织物图像重复步骤(2)的图像预处理的操作，然后输入步骤(6)得到的优化后的分类模型，模型输出该待检测的织物图像的缺陷类别。
[0016]进一步地，所述步骤(2)具体为：
[0017]对训练集X＝{X
mn
},n＝1,
…
,N进行图像预处理；从训练集X中随机取出每张图片，调整图片分辨率大小为256*256，将原始图片采用RGB模式转化为对应的像素值，再将像素值转化为张量之后进行归一化，并改变图像的属性，使亮度、对比度、饱和度和色调都调整为原始输入的10％。
[0018]进一步地，所述步骤(3)具体为：
[0019]1)所述随机复制矩形区域粘贴网络的构建由以下四个步骤构成：
[0020](a)设定随机复制块状区域的范围因子area_ration，以及将块状区域转换为对应宽高的转换因子aspect_ration；
[0021](b)在范围因子区域area_ration内随机取一个值r，进而计算待复制矩形区域的面积：
[0022]S＝r*w
α
*h
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0023]其中，w
α
和h
α
分别为输入图像的宽和高；
[0024](c)利用转换因子aspect_ration将待复制矩形区域的面积转换为对应的宽w
β
和高h
β
：
[0025][0026][0027](d)进而随机选择待复制矩形区域的起始位置，并对选择的矩形区域进行随机旋转以及像素抖动：
[0028]x
α
＝random(0,w
α
‑
w
β
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0029]y
α
＝random(0,h
α
‑
h
β
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0030]S
*
＝Rotate&Jitter(S)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0031]其中，x
α
表示随机选择的待复制矩形区域的起始位置的横坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于随机复制粘贴数据增强的织物缺陷检测方法，其特征在于，包括以下步骤：(1)构建织物缺陷检测样本集；收集包含有无缺陷织物裁片的织物图像，作为训练集X
mn
∈R，其中n＝1，...，N，N代表样本个数；(2)将步骤(1)的训练集{x
mn
}进行图像预处理，包括调整图片分辨率、将像素值转化为张量后进行归一化，并改变图像的属性；(3)基于深度学习平台搭建缺陷样本动态生成网络，所述缺陷样本动态生成网络包括随机复制矩形区域粘贴网络、随机复制丝状区域粘贴网络和用来决定数据增强方式的随机数R；并设定缺陷样本动态生成网络中的复制图片面积的范围因子area_ration，以及将复制图片面积转化为复制宽高的因子aspect_ration；所述丝状区域为模拟织物中类似于勾丝的缺陷所在的区域；(4)通过所述缺陷样本动态生成网络，动态获得复制区域V
mn
，并将其与原始无缺陷织物样本X
mn
合并为缺陷样本(5)将缺陷样本与原始输入的无缺陷样本X
mn
共同构成新的训练集，并将其标签化为(6)利用步骤(5)得到的新的训练集训练所述分类模型，得到优化后的分类模型；(7)将待检测的织物图像重复步骤(2)的图像预处理的操作，然后输入步骤(6)得到的优化后的分类模型，模型输出该待检测的织物图像的缺陷类别。2.根据权利要求1所述的基于随机复制粘贴数据增强的织物缺陷检测方法，其特征在于，所述步骤(2)具体为：对训练集X＝{X
mn
}，n＝1，...，N进行图像预处理；从训练集X中随机取出每张图片，调整图片分辨率大小为256*256，将原始图片采用RGB模式转化为对应的像素值，再将像素值转化为张量之后进行归一化，并改变图像的属性，使亮度、对比度、饱和度和色调都调整为原始输入的10％。3.根据权利要求1所述的基于随机复制粘贴数据增强的织物缺陷检测方法，其特征在于，所述步骤(3)具体为：1)所述随机复制矩形区域粘贴网络的构建由以下四个步骤构成：(a)设定随机复制块状区域的范围因子area_ration，以及将块状区域转换为对应宽高的转换因子aspect_ration；(b)在范围因子区域area_ration内随机取一个值r，进而计算待复制矩形区域的面积：S＝r*w
α
*h
α
ꢀꢀꢀꢀ
(1)其中，w
α
和h
α
分别为输入图像的宽和高；(c)利用转换因子aspect_ration将待复制矩形区域的面积转换为对应的宽w
β
和高h
β
：：(d)进而随机选择待复制矩形区域的起始位置，并对选择的矩形区域进行随机旋转以及像素抖动：
x
α
＝random(0，w
α
‑
w
β
)
ꢀꢀꢀꢀ
(4)y
α
＝random(0，h
α
‑
h
β
)
ꢀꢀꢀꢀ
(5)S
*
＝Rotate&Jitter(S)
ꢀꢀꢀꢀ
(6)其中，x
α
表示随机选择的待复制矩形区域的起始位置的横坐标，y
α
表示随机选择的待复制矩形区域的起始位置的纵坐标，S
*
表示对选择的矩形区域进行随机旋转以及像素抖动后得到的矩形区域的面积；(e)随机选择待粘贴矩形区域的位置，将随机选择的矩形区域粘贴至随机选择的位置；x
β
＝random(0，w
α
‑
w
β
)
ꢀꢀꢀꢀ
(7)y
β
＝random(0，h
α
‑
h
β
)
ꢀꢀꢀꢀ
(8)其中，x
β
为粘贴矩形区域的位置的横坐标，y
β
...

【专利技术属性】
技术研发人员：欧阳静，姚乐，葛志强，
申请(专利权)人：浙江大学，
类型：发明
国别省市：