【技术实现步骤摘要】
本专利技术属于异常检测领域，具体涉及一种基于混合专家系统的统一异常检测模型及检测方法。
技术介绍
1、异常检测(anomaly detection)在工业制造业中有着广泛的应用，可以自动化检测产品的瑕疵，因此颇具经济价值。由于训练数据中都是正样本，传统的基于视觉的异常检测模型通过对正样本进行建模，通过寻找离群值寻找和识别异常样本，实现缺陷产品检测。由于当样本数变多，对正样本空间进行建模变得十分困难，这种方法只能针对一类工业产品进行缺陷检测，在使用上有颇多限制，因此，理想的异常检测模型应该是能够对各类缺陷产品进行检测，即统一模型(unified model)。
2、异常检测的统一模型的难点在于区分不同类别工业产品正常类的范式。由于不同类型的工业产品有着截然不同的差别，因此很难让训练参数对各种类型的工业产品都发挥准确度较高的异常检测，往往统一模型只能在个别异常检测产品类达到较高的异常状况检测和定位准确度。
3、总而言之，现有的异常检测模型泛用性不佳，不能对所有类型的工业产品进行高精度的异常检测，而且异常检测领域对模型运算的效率关注仍较少，现有异常检测模型在运算效率上没有优势。在实际工业应用场景中，异常检测的即时性越高越好，因此要尽可能提升异常检测模型的运算效率。
技术实现思路
1、为了弥补现有技术的不足，本专利技术提供一种基于混合专家系统的统一异常检测模型及检测方法的技术方案。
2、一种基于混合专家系统的统一异常检测模型，包括：
3、骨干
4、颈部网络：颈部网络采用mfcn多尺度特征融合网络，旨在特征图上多尺度提取局部和全局特征，将提取到的特征多尺度使用通道拼接加和，并实现特征图的规模转换，通过上采样将其尺度变为重建网络的输入范式；
5、重建网络：重建网络把输入的特征块重建为正常状态的特征块，之后将正常状态的特征块还原为理想产品的正常图，将正常图与原始输入图片做比较，如果差异较大，则说明输入图片是异常图片；重建网络依赖基于注意力机制的编码器-解码器架构计算输入特征块之间的注意力关系，以及其中穿插moe层区分参数空间实现其效果，并通过bpr算法提升计算速率。
6、进一步地，moe层包含一个门控网络、i个相同尺寸的并行的专家网络、一次层归一化操作。
7、进一步地，一次moe层的运算为：将输入的向量token x，先使用门控网络得到对每个专家网络的注意力权重g(x)i，再根据注意力权重大小选择出对应权重最大的k个专家网络，将输入的向量输入k个专家网络进行运算，得到运算结果ei(x)；之后将k个运算结果分别乘以对应专家的注意力权重后加和，得到的最终结果再进行层归一化操作，用以保持输入的样本序列在经过moe层前后尺寸和数值大小的一致性，归一化的结果即为moe层的输出。
8、进一步地，专家网络采用ffn。
9、进一步地，门控网络由一个可训练的全连接层和一个softmax层构成，对输入的token x，全连接层h(x)输出一个和专家数目相等的规模的张量，对应每个专家的权重系数，之后利用topk筛选，选择只激活权重数最高的k个专家网络；之后将整个张量经过softmax层，被topk筛选出的k个权重系数经过softmax层后，转化为输入样本对每个专家网络的注意力权重，而没有被筛选的权重系数，输入到softmax中的是负无穷，由于softmax层特性，负无穷输出结果为0；这使得这部分专家网络不参与后续的推理，在反向传播中也不会更新权重；门控网络输出的结果的实质是k个注意力权重，这k个注意力权重取值在(0，1)之间，且加和为1。
10、进一步地，针对输入的样本特征，重建网络基于注意力机制的编码器-解码器架构，重构输入样本的特征序列，并通过对输入和输出序列做差得到差异值，并根据差异情况识别缺陷和定位缺陷；在编码器中，采用自注意力机制来计算输入特征之间的相互关系，并引入一个moe层，在moe层中采用16个专家网络的top2路由；在最后一层编码器运算后，通过bpr算法进行数据筛选，只有70％的重要数据被保留并传递给解码器；在解码器中，采用自注意力机制和多头注意力机制来计算输入特征之间的相互关系，并同样引入一个moe层，该moe层同样采用16个专家网络的top2路由，通过解码器即可得到重建后的特征块；最后通过比较输入和重建的输出序列之间的差异来识别和定位缺陷。
11、本专利技术还提供一种基于混合专家系统的统一异常检测方法，包括：
12、获取待检测数据；
13、将所述待检测数据输入如上所述的一种基于混合专家系统的统一异常检测模型，得到检测结果。
14、与现有技术相比，本专利技术的有益效果是：
15、1)本专利技术提出了一种基于混合专家系统的统一异常检测模型，有效区分了不同类区别较大的产品在训练、推理过程中的参数空间，避免了梯度冲突，使各类异常检测产品都能较好地被识别；理想情况下，针对输入的不同工业产品样本，门控网络识别出了差别，并精准路由到对应的专家处，由不同的专家网络检测；此时样本之间的差异由专家网络参数的差异解决，因此提升了异常检测任务的准确性指标；
16、2)本专利技术还利用moe门控输出的分数在网络中间进行了bpr算法的筛选；由于图像块中存在冗余，因此利用moe门控输出的专家分数的最大值对应图像块的重要性程度，只使用重要性程度前70％的图像块进行推理，减少了模型的运算量，而不影响模型的准确度。
本文档来自技高网...【技术保护点】
1.一种基于混合专家系统的统一异常检测模型，其特征在于，包括：
2.根据权利要求1所述的一种基于混合专家系统的统一异常检测模型，其特征在于，MoE层包含一个门控网络、i个相同尺寸的并行的专家网络、一次层归一化操作。
3.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，一次MoE层的运算为：将输入的向量token x，先使用门控网络得到对每个专家网络的注意力权重G(x)i，再根据注意力权重大小选择出对应权重最大的k个专家网络，将输入的向量输入k个专家网络进行运算，得到运算结果Ei(x)；之后将k个运算结果分别乘以对应专家的注意力权重后加和，得到的最终结果再进行层归一化操作，用以保持输入的样本序列在经过MoE层前后尺寸和数值大小的一致性，归一化的结果即为MoE层的输出。
4.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，专家网络采用FFN。
5.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，门控网络由一个可训练的全连接层和一个Softmax层构成，对输入的tok
6.根据权利要求1所述的一种基于混合专家系统的统一异常检测模型，其特征在于，针对输入的样本特征，重建网络基于基于注意力机制的编码器-解码器架构，重构输入样本的特征序列，并通过对输入和输出序列做差得到差异值，并根据差异情况识别缺陷和定位缺陷；在编码器中，采用自注意力机制来计算输入特征之间的相互关系，并引入一个MoE层，在MoE层中采用16个专家网络的Top2路由；在最后一层编码器运算后，通过BPR算法进行数据筛选，只有70％的重要数据被保留并传递给解码器；在解码器中，采用自注意力机制和多头注意力机制来计算输入特征之间的相互关系，并同样引入一个MoE层，该MoE层同样采用16个专家网络的Top2路由，通过解码器即可得到重建后的特征块；最后通过比较输入和重建的输出序列之间的差异来识别和定位缺陷。
7.一种基于混合专家系统的统一异常检测方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于混合专家系统的统一异常检测模型，其特征在于，包括：
2.根据权利要求1所述的一种基于混合专家系统的统一异常检测模型，其特征在于，moe层包含一个门控网络、i个相同尺寸的并行的专家网络、一次层归一化操作。
3.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，一次moe层的运算为：将输入的向量token x，先使用门控网络得到对每个专家网络的注意力权重g(x)i，再根据注意力权重大小选择出对应权重最大的k个专家网络，将输入的向量输入k个专家网络进行运算，得到运算结果ei(x)；之后将k个运算结果分别乘以对应专家的注意力权重后加和，得到的最终结果再进行层归一化操作，用以保持输入的样本序列在经过moe层前后尺寸和数值大小的一致性，归一化的结果即为moe层的输出。
4.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，专家网络采用ffn。
5.根据权利要求2所述的一种基于混合专家系统的统一异常检测模型，其特征在于，门控网络由一个可训练的全连接层和一个softmax层构成，对输入的tokenx，全连接层h(x)输出一个和专家数目相等的规模的张量，对应每个专家的权重系数，之后利用topk筛选，选择只激活权重数最高的k个专家网络；之后将整个张量经过sof...
【专利技术属性】
技术研发人员：孟文超，孟世元，李世忠，贺诗波，杨秦敏，顾超杰，龙常青，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。