生产线质量监测方法及其系统技术方案

本申请涉及质量检测技术领域，其具体地公开了一种生产线质量监测方法及其系统，其通过摄像头获取待检测产品的图像，利用目标检测网络、对抗生成网络和卷积神经网络等图像处理技术，提取产品的外观特征，判断产品的外观质量是否存在缺陷。该方案基于图像处理技术进行自动化检测，可以有效地避免人工检测带来的不确定性和误判，提高产品质量和生产效率。提高产品质量和生产效率。提高产品质量和生产效率。

【技术实现步骤摘要】
生产线质量监测方法及其系统


[0001]本申请涉及质量检测
，且更为具体地，涉及一种生产线质量监测方法及其系统。

技术介绍

[0002]自动化生产是指按照规定的程序或指令自动进行操作或控制，采用自动化生产线不仅可以把人从繁重的体力劳动以及恶劣、危险的工作环境中解放出来，还可以大大地提高生产效率。但自动化生产并不是完全可靠的，生产的产品也难免会有缺陷，例如商品外包装字迹印刷不清晰，布匹上有污点，金属、塑料部件上有划痕、凹凸不平等。
[0003]目前，为了防止表面缺陷的质量控制操作很大程度上依靠人工检测员，不仅检测产品的速度慢、效率低下，而且在检测的过程中容易出错，导致的检测结果不精确。
[0004]因此，期待一种生产线质量监测方法及其系统。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种生产线质量监测方法及其系统，其通过摄像头获取待检测产品的图像，利用目标检测网络、对抗生成网络和卷积神经网络等图像处理技术，提取产品的外观特征，判断产品的外观质量是否存在缺陷。该方案基于图像处理技术进行自动化检测，可以有效地避免人工检测带来的不确定性和误判，提高产品质量和生产效率。
[0006]相应地，根据本申请的一个方面，提供了一种生产线质量监测方法，其包括：
[0007]通过摄像头获取待检测产品的图像；
[0008]对所述待检测产品的图像进行图像分块处理以得到多个图像块；
[0009]将所述多个图像块分别通过目标检测网络以得到至少一个外观感兴趣区域；
[0010]将所述外观感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到增强外观感兴趣区域；
[0011]将所述增强外观感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
[0012]将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示该产品的外观质量是否存在缺陷。
[0013]在上述生产线质量监测方法中，对所述待检测产品的图像进行图像分块处理以得到多个图像块，包括：对所述待检测产品的图像进行均匀图像分块处理以得到所述多个图像块，其中，所述多个图像块中各个图像块具有相同的尺寸。
[0014]在上述生产线质量监测方法中，所述目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。
[0015]在上述生产线质量监测方法中，将所述多个图像块分别通过目标检测网络以得到至少一个外观感兴趣区域，包括：将所述图像块通过所述目标检测网络的多层卷积层以得
到检测特征图；以及，使用所述目标检测网络的目标锚定层以如下检测公式对所述检测特征图进行处理以得到所述外观感兴趣区域；
[0016]其中，所述检测公式为：
[0017]Dets＝H(ψ
det
,B)＝(cls(ψ
det
,B)，Regr(ψ
det
,B))
[0018]其中，ψ
det
为检测特征图，B表示锚窗、cls(ψ
det
,B)表示分类函数、Regr(ψ
det
,B)表示回归函数。
[0019]在上述生产线质量监测方法中，所述对抗生成网络包括鉴别器和生成器，其中，将所述外观感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到增强外观感兴趣区域，包括：将所述外观感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述外观感兴趣区域进行反卷积处理以得到所述增强外观感兴趣区域。
[0020]在上述生产线质量监测方法中，将所述增强外观感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图，包括：从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及，融合所述浅层特征图和所述深层特征图以得到分类特征图。
[0021]在上述生产线质量监测方法中，融合所述浅层特征图和所述深层特征图以得到分类特征图，包括：对所述浅层特征图和所述深层特征图分别进行按行或者按列的展开以得到浅层特征向量和深层特征向量；对所述浅层特征向量和所述深层特征向量进行稀疏编码以得到第一稀疏特征向量和第二稀疏特征向量；计算所述第一稀疏特征向量相对于所述第二稀疏特征向量的第一JS散度；计算所述第二稀疏特征向量相对于所述第一稀疏特征向量的第二JS散度；对所述第一JS散度和所述第二JS散度进行归一化处理以得到归一化第一JS散度和归一化第二JS散度；以所述归一化第一JS散度和所述归一化第二JS散度作为权重，融合所述第一稀疏特征向量和所述第二稀疏特征向量以得到融合特征向量；以及，对所述融合特征向量进行重排以得到所述分类特征图。
[0022]在上述生产线质量监测方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示该产品的外观质量是否存在缺陷，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果；
[0023]其中，所述分类公式为：
[0024]softmax{(M
c
,B
c
)|Project(F)}
[0025]其中Project(F)表示将所述分类特征图投影为向量，M
c
为全连接层的权重矩阵，B
c
表示全连接层的偏置矩阵，softmax表示归一化指数函数。
[0026]根据本申请的另一个方面，提供了一种生产线质量监测系统，其包括：
[0027]监控模块，用于通过摄像头获取待检测产品的图像；
[0028]图像分块模块，用于对所述待检测产品的图像进行图像分块处理以得到多个图像块；
[0029]目标检测模块，用于将所述多个图像块分别通过目标检测网络以得到至少一个外观感兴趣区域；
[0030]图像增强模块，用于将所述外观感兴趣区域通过基于对抗生成网络的图像清晰度
增强器以得到增强外观感兴趣区域；
[0031]深浅特征提取模块，用于将所述增强外观感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
[0032]监测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示该产品的外观质量是否存在缺陷。
[0033]与现有技术相比，本申请提供的生产线质量监测方法及其系统，其通过摄像头获取待检测产品的图像，利用目标检测网络、对抗生成网络和卷积神经网络等图像处理技术，提取产品的外观特征，判断产品的外观质量是否存在缺陷。该方案基于图像处理技术进行自动化检测，可以有效地避免人工检测带来的不确定性和误判，提高产品质量和生产效率。
附图说明
[0034]通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生产线质量监测方法，其特征在于，包括：通过摄像头获取待检测产品的图像；对所述待检测产品的图像进行图像分块处理以得到多个图像块；将所述多个图像块分别通过目标检测网络以得到至少一个外观感兴趣区域；将所述外观感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到增强外观感兴趣区域；将所述增强外观感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示该产品的外观质量是否存在缺陷。2.根据权利要求1所述的生产线质量监测方法，其特征在于，对所述待检测产品的图像进行图像分块处理以得到多个图像块，包括：对所述待检测产品的图像进行均匀图像分块处理以得到所述多个图像块，其中，所述多个图像块中各个图像块具有相同的尺寸。3.根据权利要求2所述的生产线质量监测方法，其特征在于，所述目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。4.根据权利要求3所述的生产线质量监测方法，其特征在于，将所述多个图像块分别通过目标检测网络以得到至少一个外观感兴趣区域，包括：将所述图像块通过所述目标检测网络的多层卷积层以得到检测特征图；以及使用所述目标检测网络的目标锚定层以如下检测公式对所述检测特征图进行处理以得到所述外观感兴趣区域；其中，所述检测公式为：Dets＝H(ψ
det
,B)＝(cls(ψ
det
,B)，Regr(ψ
det
,B))其中，ψ
det
为检测特征图，B表示锚窗、cls(ψ
det
,B)表示分类函数、Regr(ψ
det
,B)表示回归函数。5.根据权利要求4所述的生产线质量监测方法，其特征在于，所述对抗生成网络包括鉴别器和生成器。6.根据权利要求5所述的生产线质量监测方法，其特征在于，将所述外观感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到增强外观感兴趣区域，包括：将所述外观感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述外观感兴趣区域进行反卷积处理以得到所述增强外观感兴趣区域。7.根据权利要去6所述的生产线质量监测方法，其特征在于，将所述增强外观感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得...

【专利技术属性】
技术研发人员：虞松，宗敏，齐加芝，
申请(专利权)人：滁州市诺尊工业装备制造有限公司，
类型：发明
国别省市：