一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质制造方法及图纸

本发明专利技术公开了一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质，本发明专利技术根据设计构建老师模型和学生模型，其结构上保持一致，但老师模型的网络层复杂度大于学生模型，然后通过在中间层添加特征信息嫁接模块加快学生模型的学习进度和检测精度，最后使用损失函数计算损失值优化模型参数。所述的特征信息嫁接模块通过计算出老师模型与学生模型之间特征信息差异值，选择是否将计算出的融合特征信息嫁接到学生模型中，从而提高学生模型对老师模型的模仿能力。本发明专利技术通过利用蒸馏学习机制搭建出老师模型和学生模型，然后在双支网络中间层中引入了特征信息嫁接模块，优化学生模型的表达能力，加速学生模型的学习过程，提高学生模型的检测精度。型的检测精度。型的检测精度。

【技术实现步骤摘要】
一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质


[0001]本专利技术属于异常检测的
，具体涉及一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质。

技术介绍

[0002]随着国家经济的繁荣发展，推动了制造业的快速发展，工业产品自动化生产技术已经成为了一种走向。工业产品在生产过程中或多或少会出现缺陷，如印刷电路板坏点、纺织品外观瑕疵、电子屏脏污等不可避免的表面瑕疵，及时检测出并清除这些不合格的产品，既可以保证工业产品的质量，也能大幅度提高生产效率。
[0003]工业产品瑕疵检测方法主要分为传统方法和人工智能方法。传统方法也分两种，一种完全由人眼检测，这种方法检测结果不稳定，检测人员的主观因素占比很大，而且随着产品产量的增加，检测人员会出现视觉疲劳，造成大量误检；另外一种是对工业产品提取手工特征进行分类，是一种应用传统图像处理衍生的技术，但是由于手工特征的缺陷，给瑕疵检测造成了较差的泛化性。人工智能方法是指使用基于深度学习的方法进行瑕疵检测，通过深度神经网络模型对采集的工业产品图像数据进行分析，定位出瑕疵的位置，在数据量较大且复杂的情况下，也能通过加深加宽网络模型，提高模型的特征表达能力，从而精准检测产品表面缺陷，得到了令人满意的检测效果。
[0004]目前，大多数基于深度学习的工业产品瑕疵检测都需要大量的产品图像数据，该数据需包含有瑕疵的数据和无瑕疵的数据，这样才能学习得到精度较高的模型，但是在实际场景中无瑕疵的工业产品图像数据获取较为容易，而有瑕疵的工业产品图像数据是随机出现的，采集较为困难，所以有监督的学习方式就不适合这种场景。因此，急需一种贴合实际场景、部署简单的工业产品瑕疵检测方案，能够只是用无瑕疵的工业产品进行学习，提高模型的泛化性和精确度。

技术实现思路

[0005]本专利技术的目的在于提供一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质，旨在解决上述问题。
[0006]本专利技术主要通过以下技术方案实现：
[0007]一种基于蒸馏学习机制的瑕疵检测装置，包括采集模块、训练模块、检测模块；所述采集模块用于采集无瑕疵的工业产品图像样本，并形成训练集；所述训练模块用于采用训练集训练网络模型，所述网络模型包括主干网络结构一致的老师模型、学生模型，采用老师模型指导学生模型，最终得到优化的网络模型；所述检测模块用于将待测图像输入优化的网络模型并输出检测结果；所述老师模型的网络层复杂度高于学生模型的网络层复杂度，所述老师模型与学生模型之间的中间层添加有特征信息嫁接模块，用于对老师模型和学生模型同级的残差组合块的特征信息进行差异值计算，判断学生模型特征信息的表达能力与老师模型的是否近似，如果差异较大，则将老师模型特征信息和学生模型特征信息进
行融合，并替换原始的学生模型特征信息。
[0008]为了更好地实现本专利技术，进一步地，所述特征信息嫁接模块包括特征信息差异值计算部分和嫁接特征信息计算部分，所述特征信息差异值计算部分用于将老师模型和学生模型同级的残差组合块的特征信息进行差异值计算，当差异值大于阈值时，则进入嫁接特征信息计算部分，将老师模型特征信息与学生模型特征信息融合在一起，然后替换掉原本的学生模型特征信息，当差异值小于或等于阈值时，就不替换学生模型特征信息。
[0009]为了更好地实现本专利技术，进一步地，在特征信息输入到特征信息差异值计算部分后，需先依次用拉平层和全连接层处理，以减少高维度带来的额外计算量，然后进行差异值计算；所述特征信息差异值计算部分的计算公式如下：
[0010][0011]其中：D为特征信息差异值，
[0012]M为特征信息的维度，虽然老师模型和学生模型使用的模块复杂度不同，但模块最后一个输出层的输出维度相同，
[0013]m为维度索引参数，
[0014]s为学生模型特征信息，
[0015]t为老师模型特征信息。
[0016]为了更好地实现本专利技术，进一步地，在嫁接特征信息计算部分，在通道方向对老师模型和学生模型特征信息进行柔性最大值计算，得到每个通道上特征信息的概率值，当概率值大于阈值时，不替换该通道学生模型特征信息，否则将老师模型特征信息与学生模型特征信息进行融合，并替换掉该通道学生模型特征信息。
[0017]为了更好地实现本专利技术，进一步地，嫁接特征信息计算部分的特征信息融合映射关系如下：
[0018]F＝F
s
+αF
t
[0019]其中：F表示处理后的特征信息，
[0020]F
s
表示学生模型特征信息，
[0021]F
t
表示老师模型特征信息，
[0022]α是一个可学习的调节参数。
[0023]所述的特征信息嫁接模块主要由特征信息差异值计算部分和嫁接特征信息计算部分组成，特征信息差异值计算部分是将老师模型和学生模型同级的残差组合块的特征信息进行差异值计算，当差异值大于阈值时，进入嫁接特征信息计算部分，将老师模型特征信息与学生模型特征信息融合在一起，然后替换掉原本的学生模型特征信息，若差异值小于阈值时，就不替换学生模型特征信息，最后这种特征信息嫁接方式随模型迭代训练进行计算。
[0024]为了更好地实现本专利技术，进一步地，所述老师模型和学生模型的主干网络分别包括从前至后依次设置的卷积层、批标准化层、激活函数层、若干残差模块。
[0025]为了更好地实现本专利技术，进一步地，所述老师模型采用ResNet101结构，学生模型采用ResNet20结构，所述老师模型和学生模型分别包含4个残差组合块，且老师模型的4个残差组合块中包含的残差模块数量依次为6、12、24、6，学生模型的4个残差组合块中包含的
残差模块数量依次为1、2、4、1。
[0026]本专利技术主要通过以下技术方案实现：
[0027]一种基于蒸馏学习机制的瑕疵检测方法，采用上述的瑕疵检测装置进行，包括以下步骤：
[0028]步骤S100：采集无瑕疵、有瑕疵的工业产品图像样本，并形成训练集、测试集，所述训练集由无瑕疵的工业产品图像样本组成，所述测试集由无瑕疵、无瑕疵的工业产品图像样本组成；
[0029]步骤S200：输入训练集，同时对老师模型和学生模型进行训练，在老师模型与学生模型之间添加特征信息嫁接模块，最后对老师模型、学生模型输出的特征信息进行损失计算，得到训练后的网络模型；
[0030]步骤S300：采用测试集测试训练后的网络模型的精度，得到优化的网络模型；
[0031]步骤S400：将待测图像输入优化的网络模型并输出检测结果。
[0032]为了更好地实现本专利技术，进一步地，所述步骤S200中，进行损失计算的损失函数是欧式距离度量损失函数和余弦相似度损失函数，所述欧式距离度量损失函数是计算学生模型和老师模型特征信息之间的距离相似度作为损失值；所述余弦相似度损失函数是在特征信息通道方向上计算老师模型和学生模型特征信息之间损失值；欧式距离度量损失函数的计算公式如下：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于蒸馏学习机制的瑕疵检测装置，其特征在于，包括采集模块、训练模块、检测模块；所述采集模块用于采集无瑕疵的工业产品图像样本，并形成训练集；所述训练模块用于采用训练集训练网络模型，所述网络模型包括主干网络结构一致的老师模型、学生模型，采用老师模型指导学生模型，最终得到优化的网络模型；所述检测模块用于将待测图像输入优化的网络模型并输出检测结果；所述老师模型的网络层复杂度高于学生模型的网络层复杂度，所述老师模型与学生模型之间的中间层添加有特征信息嫁接模块，用于对老师模型和学生模型同级的残差组合块的特征信息进行差异值计算，判断学生模型特征信息的表达能力与老师模型的是否近似，如果差异较大，则将老师模型特征信息和学生模型特征信息进行融合，并替换原始的学生模型特征信息。2.根据权利要求1所述的一种基于蒸馏学习机制的瑕疵检测装置，其特征在于，所述特征信息嫁接模块包括特征信息差异值计算部分和嫁接特征信息计算部分，所述特征信息差异值计算部分用于将老师模型和学生模型同级的残差组合块的特征信息进行差异值计算，当差异值大于阈值时，则进入嫁接特征信息计算部分，将老师模型特征信息与学生模型特征信息融合在一起，然后替换掉原本的学生模型特征信息，当差异值小于或等于阈值时，就不替换学生模型特征信息。3.根据权利要求2所述的一种基于蒸馏学习机制的瑕疵检测装置，其特征在于，在特征信息输入到特征信息差异值计算部分后，需先依次用拉平层和全连接层处理，以减少高维度带来的额外计算量，然后进行差异值计算；所述特征信息差异值计算部分的计算公式如下：其中：D为特征信息差异值，M为特征信息的维度，虽然老师模型和学生模型使用的模块复杂度不同，但模块最后一个输出层的输出维度相同，m为维度索引参数，s为学生模型特征信息，t为老师模型特征信息。4.根据权利要求2所述的一种基于蒸馏学习机制的瑕疵检测装置，其特征在于，在嫁接特征信息计算部分，在通道方向对老师模型和学生模型特征信息进行柔性最大值计算，得到每个通道上特征信息的概率值，当概率值大于阈值时，不替换该通道学生模型特征信息，否则将老师模型特征信息与学生模型特征信息进行融合，并替换掉该通道学生模型特征信息。5.根据权利要求4所述的一种基于蒸馏学习机制的瑕疵检测装置，其特征在于，嫁接特征信息计算部分的特征信息融合映射关系如下：F＝F
s
+αF
t
其中：F表示处理后的特征信息，F
s
表示学生模型特征信息，
F
t
表示老师模型特征信息，α是一个可学习的调节参数。6.根据权利要求1
‑
5任一项所述的一种基于蒸馏学...

【专利技术属性】
技术研发人员：张晓武，陈斌，
申请(专利权)人：浙江霖研精密科技有限公司，
类型：发明
国别省市：