基于知识蒸馏的无监督图像缺陷检测方法、装置及介质制造方法及图纸

本发明专利技术公开了一种基于知识蒸馏的无监督图像缺陷检测方法、装置及介质，方法包括：构建教师模型，利用与待检测缺陷领域无关的数据集进行训练，然后对学生模型提供有益于缺陷检测的知识指导；构建学生模型，用于提取图像的多尺度特征图；利用学生模型构建无缺陷图像的多尺度特征集合，得到学生特征图集合；利用学生特征图集合建立像素级缺陷检测模型集合；接收用户终端发送的图像、像素级缺陷阈值和图像级缺陷阈值；计算多尺度特征图与像素级缺陷检测模型集合的距离，得到距离矩阵，通过距离矩阵与像素级缺陷阈值和图像级缺陷阈值之间的关系，判断用户终端发送的图像是否存在缺陷。本发明专利技术只需要无缺陷的样本即可解决缺陷样本少和无缺陷样本的问题。和无缺陷样本的问题。和无缺陷样本的问题。

【技术实现步骤摘要】
基于知识蒸馏的无监督图像缺陷检测方法、装置及介质


[0001]本专利技术涉及图像处理、机器学习
，尤其涉及一种基于知识蒸馏的无监督图像缺陷检测方法、装置及介质。

技术介绍

[0002]工业互联网是新一代信息通信技术与工业经济深度融合的全新工业生态、关键基础设施和新型应用模式。它以网络为基础、平台为中枢、数据为要素、安全为保障，通过对人、机、物全面连接，变革传统制造模式、生产组织方式和产业形态，构建起全要素、全产业链、全价值链、全面连接的新型工业生产制造和服务体系，对支撑制造强国和网络强国建设，提升产业链现代化水平，推动经济高质量发展和构建新发展格局，都具有十分重要的意义。
[0003]在工业互联网中，产品的预防性检测是至关重要的一个环节，预防性检测能够及时发现产品产生的缺陷以及缺陷的变化趋势，并结合现场的实时工艺参数来优化生产工艺，从而降低次品率、降低生产成本和提高公司的利润。产品的预防性检测主要分为三个阶段：实时工艺参数采集、产品缺陷检测以及工艺的闭环优化。
[0004]其中，产品缺陷检测阶段，行业内的通常做法是采用专业人员目检或通过基于监督学习的缺陷检测模型检测的方式。
[0005]采用人工目检的方式存在的一下问题：(1)需要培训专业的目检人员；(2)同时人工目检有一定主观性，目检人员的判断能力会受到自身的情绪和身体状况等因素的影响；(3)人工目检是事后处理，对实时整个工艺流程优化没有正向影响。
[0006]目前基于监督学习的缺陷检测模型检测存在以下问题：(1)学习过程繁琐；(2)无法在缺陷样本少和无缺陷样本的情况下学习。

技术实现思路

[0007]本专利技术提供了一种基于知识蒸馏的无监督图像缺陷检测方法、装置及介质，以解决上述技术问题。
[0008]本专利技术采用的技术方案是：提供一种基于知识蒸馏的无监督图像缺陷检测方法，包括：
[0009]构建教师模型，所述教师模型是利用与待检测缺陷领域无关的数据集进行训练得到，然后对学生模型提供有益于缺陷检测的知识指导；
[0010]构建学生模型，所述学生模型用于提取图像的多尺度特征图；
[0011]利用学生模型构建无缺陷图像的多尺度特征集合，得到学生特征图集合；
[0012]利用所述学生特征图集合建立像素级缺陷检测模型集合；
[0013]接收用户终端发送的图像、像素级缺陷阈值和图像级缺陷阈值；
[0014]利用所述学生模型建立所述图像的多尺度特征图，计算所述多尺度特征图与所述像素级缺陷检测模型集合的距离，得到距离矩阵，通过距离矩阵与像素级缺陷阈值和图像
级缺陷阈值之间的关系，判断用户终端发送的图像是否存在缺陷。
[0015]进一步的，所述构建教师模型的方法包括：
[0016]构建一个神经网络模型作为初始教师模型和一个与待检测缺陷领域无关的数据集；之所以构建待检测领域无关的数据集是因为，一般收集本领域的缺陷样本需要大量的人力物力，而本实施例使用其他领域已有的大量带标签的样本作为训练样本，从而大大节省了人力物力。
[0017]设定损失函数为交叉熵；
[0018]在所述待检测缺陷领域无关的数据集上采用反向传播的方法训练所述初始教师模型，得到所述教师模型。
[0019]进一步的，所述构建学生模型的方法包括：
[0020]构建初始学生模型和一个待检测缺陷领域的无缺陷数据集；
[0021]设定损失函数为公式中L表示中间网络的层数，其中l∈[1，L]，w
l
为第l层网络的权重，表示教师网络和学生网络的第l层的局部误差，表示教师网络和学生网络的第l层的全局误差，α∈[0，1]为平衡全局误差和局部误差，loss
total
代表的是教师网络与学生网络之间的总的知识偏差，通过这一项学生网络和老师网络被连接起来，并且通过最小化目标函数把教师网络的知识传递到学生网络，所述的和通过如下方式得到，教师网络的特征图为教师网络的池化特征为学生网络的特征图为学生网络的池化特征为定义局部误差全局误差其中，Disy(.)表示距离度量至少包括欧式距离或者余弦距离；
[0022]在待检测缺陷领域的无缺陷数据集上采用反向传播的方法训练所述的初始学生模型，并且在训练过程中，教师模型的参数保持不变，只更新初始学生模型的参数，得到所述学生模型。
[0023]进一步的，所述构建学生特征图集合的方法包括：
[0024]将无缺陷图像输入学生模型，提取至少一个中间层的输出特征图；
[0025]将小分辨率特征图上采样到与输出特征图中最大分辨率的尺寸一致；
[0026]然后将所有的特征图沿通道方向按照像素位置拼接起来；
[0027]将拼接后的特征图沿特征通道方向将每个像素点对应的特征向量做二范数归一化处理。
[0028]进一步的，所述建立像素级缺陷检测模型集合的方法包括：
[0029]将学生特征图集合中所有特征图谱的相同像素点对应的特征向量作为当前像素点的特征集合；
[0030]分别对每个像素点的特征集合采用混合高斯模型建立特征分布模型；
[0031]将所有像素点的特征分布模型作为像素级缺陷检测模型集合。
[0032]进一步的，所述利用所述学生模型建立所述图像的多尺度特征图的方法包括：
[0033]利用学生模型提取用户终端发送的图像的多尺度特征图；
[0034]将所述多尺度特征图中的小分辨率特征图上采样到与最大分辨率的尺寸一致；
[0035]将所有的特征图沿特征通道方向按照像素位置拼接起来；
[0036]将拼接后的特征图沿特征通道方向将每个像素点对应的特征向量做二范数归一化处理，得到图像的多尺度特征图。
[0037]进一步的，所述得到距离矩阵的方法包括：
[0038]分别将用户终端发送的图像的多尺度特征图的每个像素点的特征向量与像素级缺陷检测模型集合中每个像素点对应的高斯分布模型计算相似度，得到每个像素点的距离，所有像素点的距离组合为一个距离矩阵；
[0039]将距离矩阵上采样到原始输入图像的尺寸，得到与输入图像尺寸一致的距离矩阵；
[0040]采用滤波对距离矩阵进行平滑处理，得到所述的距离矩阵。
[0041]进一步的，所述判断用户终端发送的图像是否存在缺陷的方法包括：
[0042]若距离矩阵中某一个位置的值大于所述像素级缺陷阈值，则图像对应的位置存在缺陷，反之无缺陷；
[0043]若距离矩阵中最大值大于所述的图像级缺陷阈值，则图像存在缺陷，反之无缺陷。
[0044]本专利技术还提供一种基于知识蒸馏的无监督图像缺陷检测装置，包括：
[0045]教师模型构建模块，用于获取教师模型，教师模型对学生模型提供有益于缺陷检测的知识指导；
[0046]学生模型构建模块，用于获取学生模型，学生模型提取图像的多尺度特征图；
[0047]特征图提取模块，用于通过学生模型构建无缺陷图像的多尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的无监督图像缺陷检测方法，其特征在于，包括：构建教师模型，所述教师模型是利用与待检测缺陷领域无关的数据集进行训练得到，然后对学生模型提供有益于缺陷检测的知识指导；构建学生模型，所述学生模型用于提取图像的多尺度特征图；利用学生模型构建无缺陷图像的多尺度特征集合，得到学生特征图集合；利用所述学生特征图集合建立像素级缺陷检测模型集合；接收用户终端发送的图像、像素级缺陷阈值和图像级缺陷阈值；利用所述学生模型建立所述图像的多尺度特征图，计算所述多尺度特征图与所述像素级缺陷检测模型集合的距离，得到距离矩阵，通过距离矩阵与像素级缺陷阈值和图像级缺陷阈值之间的关系，判断用户终端发送的图像是否存在缺陷。2.根据权利要求1所述的基于知识蒸馏的无监督图像缺陷检测方法，其特征在于，所述构建教师模型的方法包括：构建一个神经网络模型作为初始教师模型和一个与待检测缺陷领域无关的数据集；设定损失函数为交叉熵；在所述待检测缺陷领域无关的数据集上采用反向传播的方法训练所述初始教师模型，得到所述教师模型。3.根据权利要求2所述的基于知识蒸馏的无监督图像缺陷检测方法，其特征在于，所述构建学生模型的方法包括：构建初始学生模型和一个待检测缺陷领域的无缺陷数据集；设定损失函数为公式中L表示中间网络的层数，其中l∈[1，L]，w
l
为第l层网络的权重，表示教师网络和学生网络的第l层的局部误差，表示教师网络和学生网络的第l层的全局误差，α∈[0，1]为平衡全局误差和局部误差，loss
total
代表的是教师网络与学生网络之间的总的知识偏差，通过这一项学生网络和老师网络被连接起来，并且通过最小化目标函数把教师网络的知识传递到学生网络，所述的和通过如下方式得到，教师网络的特征图为教师网络的池化特征为学生网络的特征图为学生网络的池化特征为定义局部误差全局误差其中，Dist(.)表示距离度量至少包括欧式距离或者余弦距离；在待检测缺陷领域的无缺陷数据集上采用反向传播的方法训练所述的初始学生模型，并且在训练过程中，教师模型的参数保持不变，只更新初始学生模型的参数，得到所述学生模型。4.根据权利要求3所述的基于知识蒸馏的无监督图像缺陷检测方法，其特征在于，所述构建学生特征图集合的方法包括：将无缺陷图像输入学生模型，提取至少一个中间层的输出特征图；将小分辨率特征图上采样到与输出特征图中最大分辨率的尺寸一致；
然后将所有的特征图沿通道方向按照像素位置拼接起来；将拼接后的特征图沿特征通道方向将每个像素点对应的特征向量做二范数归一化处理。5.根据权利要求4所述的基于知识蒸馏的无监督图像...

【专利技术属性】
技术研发人员：伍强，展华益，刘明华，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：