【技术实现步骤摘要】
本专利技术涉及工业视觉，尤其涉及一种基于师生网络架构的多模态工业异常检测方法及系统。
技术介绍
1、对于目前的工业异常检测算法面临的主要问题包括标签不平衡，即正常样本远多于异常样本，泛化性能有待提升，只专注于单一类型的输入数据，模型无法及时适应概念漂移，标签会受到噪声影响，标签昂贵或者难以获取等，工业异常检测通常会采用师生网络模型，而对于目前应用于工业异常检测的师生网络模型而言，当输入的数据不属于训练分布时，往往会推断出和教师网络类似的输出从而给出低异常分数，也就是说，如果师生网络结构类似时，学生网络对这一类数据的检测容易出错，把异常数据预测为无缺陷的数据，从而导致异常检测出现严重误差，此外，单模态的神经网络只能处理单一类型的输入数据，因此在部分任务中可能会丢失其他模态包含的重要信息，并且在面对涉及多种信息源的任务中其表现可能受到限制。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于师生网络架构的多模态工业异常检测方法及系统，在各复杂的工业应用场景中，提高对工业异常检测的高效率和高质量。
2、为了解决上述技术问题，本专利技术提供了一种基于师生网络架构的多模态工业异常检测方法，所述方法包括：
3、获取工业多模态数据；
4、对所述工业多模态数据进行预处理，获得预处理后的工业多模态数据；
5、对预处理后的工业多模态数据进行特征提取处理，获得对应的特征信息；
6、将对应的特征信息输入至异常检测模
7、可选的，所述对所述工业多模态数据进行预处理，获得预处理后的工业多模态数据，包括：
8、对所述工业多模态数据进行去噪处理，获得去噪处理后的工业多模态数据；
9、对去噪处理后的工业多模态数据进行去冗处理，获得去冗处理后的工业多模态数据；
10、对去冗处理后的工业多模态数据进行归一化处理，获得预处理后的工业多模态数据。
11、可选的，所述将初始rgb图像和初始深度图像进行多模态信息融合处理，包括：
12、对所述初始rgb图像进行特征提取处理，获得图像特征信息；
13、对所述初始目标深度图像进行像素解排列处理，获得图像深度信息；
14、将所述图像特征信息和图像深度信息进行模态对齐处理，获得模态对齐处理后的图像特征信息和图像深度信息；
15、将模态对齐处理后的图像特征信息和图像深度信息进行信息融合，获得多模态数据集。
16、可选的，所述具有师生网络架构的深度神经网络模型的训练过程，包括：
17、构建深度卷积神经网络模型作为所述深度神经网络模型中的教师网络模型，将由多模态数据集划分的训练集、验证集和测试集导入所述深度卷积神经网络模型中；
18、所述深度卷积神经网络模型基于所述训练集利用对应的模态分支进行训练，在每轮训练后使用验证集验证模型的准确率，并根据验证结果调整模型参数，获得训练好的深度卷积神经网络模型；
19、使用测试集测试训练好的深度卷积神经网络模型，基于测试结果针对所划分的多模态数据集，在前向传播过程中，基于激活函数从输入层开始对每一层进行顺序计算及加权，得到第一初步输出结果；
20、深度神经网络模型中的学生网络模型采用由简化数据集划分的训练集进行训练，在每轮训练后采用由简化数据集划分的验证集验证模型的准确率，并基于验证结果调整模型参数，获得训练后的学生网络模型；
21、采用由简化数据集划分的测试集对训练后的学生网络模型进行测试，基于测试结果针对所划分的简化数据集，在前向传播过程中，基于激活函数从输入层开始对每一层进行顺序计算及加权，得到第二初步输出结果；
22、基于所述第一初步输出结果和第二初步输出结果利用余弦相似度方法计算损失函数，所述教师网络模型基于所述损失函数对所述学生网络模型进行知识蒸馏，获得优化学生网络模型，并对所述优化学生网络模型进行评估。
23、可选的，所述深度卷积神经网络模型包含若干个模态分支，每个模态分支用于处理多模态数据集中对应的一个模态数据，其中，每个模态分支基于权值共享机制使用卷积核对每个模态数据进行处理。
24、可选的，所述在教师网络模型和学生网络模型的训练过程中，教师网络模型与学生网络模型进行信息共享，其中，共享的信息包括位置编码和参数。
25、可选的，所述基于第一初步输出结果和第二初步输出结果利用余弦相似度方法计算损失函数，包括：
26、对教师网络模型在训练过程中生成的第一初步输出结果和学生网络模型在训练过程中生成的第二初步输出结果进行向量标准化处理，获得第一初步输出结果对应的第一向量和第二初步输出结果对应的第二向量；
27、基于所述第一向量和第二向量基于余弦相似度算法计算损失函数。
28、可选的，所述损失函数的计算表达式为：
29、
30、其中，a为第一初步输出结果对应的第一向量，b为第二初步输出结果对应的第二向量。
31、可选的，所述对所述优化学生网络模型进行评估，包括：
32、对所述优化学生网络模型进行定性分析，基于所述定性分析结果对所述优化学生网络模型进行评估，并将评估过程中对优化学生网络模型的评估权重进行记录。
33、另外，本专利技术还提供了一种基于师生网络架构的多模态工业异常检测系统，所述系统包括：
34、多模态数据获取模块，用于获取工业多模态数据；
35、数据预处理模块，用于对所述工业多模态数据进行预处理，获得预处理后的工业多模态数据；
36、特征提取模块，用于对预处理后的工业多模态数据进行特征提取处理，获得对应的特征信息；
37、异常检测模块，用于将对应的特征信息输入至异常检测模型中，基于所述异常检测模型进行工业产品的异常检测处理，所述异常检测模型为将多模态数据集和简化数据集输入至具有师生网络架构的深度神经网络模型中进行训练得到的收敛模型，所述多模态数据集为将初始rgb图像和初始深度图像进行多模态信息融合处理所生成的数据集。
38、在本专利技术实施例中，采用深度卷积神经网络作为教师网络模型，利用深度卷积神经网络的特征提取能力，空间不变性和预训练模型的优势加速模型在多模态任务上的训练，并提高模型性能，并且该深度卷积神经网络设置了若干个模态分支，能够更好地实现神经网络的多模态数据处理功能，多模态的卷积神经网络在工业异常检测中能够更全面地考虑数据信息，从而提高异常检测的准确性和鲁棒性，采用余弦相似度作为损失函数的计算，衡量师生网络模型输出的相似程度，并确保学生网络与教师网络产生相似的输出，本文档来自技高网...
【技术保护点】
1.一种基于师生网络架构的多模态工业异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述对所述工业多模态数据进行预处理，获得预处理后的工业多模态数据，包括：
3.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述将初始RGB图像和初始深度图像进行多模态信息融合处理，包括：
4.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述具有师生网络架构的深度神经网络模型的训练过程，包括：
5.根据权利要求4所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述深度卷积神经网络模型包含若干个模态分支，每个模态分支用于处理多模态数据集中对应的一个模态数据，其中，每个模态分支基于权值共享机制使用卷积核对每个模态数据进行处理。
6.根据权利要求4所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述在教师网络模型和学生网络模型的训练过程中，教师网络模型与学生网络模型进行信息共享，其中，共享的信
7.根据权利要求4所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述基于第一初步输出结果和第二初步输出结果利用余弦相似度方法计算损失函数，包括：
8.根据权利要求7所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述损失函数的计算表达式为：
9.根据权利要求4所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述对所述优化学生网络模型进行评估，包括：
10.一种基于师生网络架构的多模态工业异常检测系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种基于师生网络架构的多模态工业异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述对所述工业多模态数据进行预处理，获得预处理后的工业多模态数据，包括：
3.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述将初始rgb图像和初始深度图像进行多模态信息融合处理，包括：
4.根据权利要求1所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述具有师生网络架构的深度神经网络模型的训练过程，包括：
5.根据权利要求4所述的基于师生网络架构的多模态工业异常检测方法，其特征在于，所述深度卷积神经网络模型包含若干个模态分支，每个模态分支用于处理多模态数据集中对应的一个模态数据，其中，每个模态分支基于权值共享机制...
【专利技术属性】
技术研发人员：吴宗泽，周游，董嘉豪，周磊，于崇，
申请(专利权)人：人工智能与数字经济广东省实验室深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。