基于多感知提示学习与专家混合适配的零样本异常检测方法技术

本发明专利技术属于人工智能领域，公开了一种基于多感知提示学习与专家混合适配的零样本异常检测方法，包括：设计多感知提示学习，多感知提示学习同时捕获不同大小和结构的异常，多感知提示学习包括多尺度文本提示模板和全局与局部提示解耦；自适应混合专家，利用动态路由机制和多感知上下文优化构建混合专家模型；进行双阶段模型训练与模型推理，模型训练时，第一阶段冻结视觉编码器，第二阶段冻结文本编码器。本发明专利技术通过构建多尺度文本提示模板和广义局部聚合算子，能够实现对此微小局部缺陷和宏观结构异常的同时检测，能够解决单尺度感知模型漏检多尺寸异常的技术难题。

【技术实现步骤摘要】

本专利技术涉及人工智能领域，具体为一种基于多感知提示学习与专家混合适配的零样本异常检测方法。

技术介绍

1、现有的零样本异常检测方法通常采用单尺度文本提示(single-scale textprompts)同时对齐局部和全局视觉特征，导致以下问题：1、单尺度感知限制：无法有效捕捉不同尺度的异常(如微小缺陷与大面积裂纹)；2、全局与局部提示耦合：共享提示模板导致分类与分割任务的语义冲突；3、视觉表示能力有限：单一视觉专家难以建模复杂的异常模式。

技术实现思路

1、本专利技术的目的在于提供一种基于多感知提示学习与专家混合适配的零样本异常检测方法，以解决上述
技术介绍
中提出的问题。

2、为实现上述目的，本专利技术提供如下技术方案：

3、一种基于多感知提示学习与专家混合适配的零样本异常检测方法，包括：

4、步骤1：设计多感知提示学习，多感知提示学习同时捕获不同大小和结构的异常，多感知提示学习包括多尺度文本提示模板和全局与局部提示解耦；

5、步骤2：自适应混合专家，利用动态本文档来自技高网...

【技术保护点】

1.一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤1包括：定义一组不同感知级别的可学习的多尺度局部文本提示模板L，表达式为：

3.根据权利要求2所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤1还包括：使用广义局部聚合算子计算文本嵌入与每个空间位置(i,j)上的聚合视觉特征的相似度。

4.根据权利要求3所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤...

【技术特征摘要】

1.一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤1包括：定义一组不同感知级别的可学习的多尺度局部文本提示模板l，表达式为：

3.根据权利要求2所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤1还包括：使用广义局部聚合算子计算文本嵌入与每个空间位置(i,j)上的聚合视觉特征的相似度。

4.根据权利要求3所述的一种基于多感知提示学习与专家混合适配的零样本异常检测方法，其特征在于，所述步骤1中广义局部聚合定义为一个以(i,j)为中心的p*p邻域上的广义局部聚集算子ap[·]，给定邻域np(i,j)内的局部视觉嵌入fm(u,v)∈rd，rd为d维的特征空间，其中m(u,v)代表视觉特征在空间位置(u,v)的索引，在p*...

【专利技术属性】
技术研发人员：周启航，沈凌霄，贺诗波，陈积明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：