一种基于低秩自适应的零样本异常图像检测方法技术

本发明专利技术公开了一种基于低秩自适应的零样本异常图像检测方法。本发明专利技术构建了低秩自适应模块并将其嵌入视觉语言大模型的视觉编码网络中，将待检图片输入至视觉编码网络获得图像的视觉编码特征，同时构建文本状态嵌入模块，将设计的通用状态文本输入文本状态嵌入模块获得图像对应的文本特征，接着将视觉编码特征和文本特征输入图像异常区域计算模块，获得待检图像的异常区域。本发明专利技术提出的低秩自适应模块具有规模较小的可学习参数，能有效降低预训练大模型迁移任务的微调难度，并且本发明专利技术构建的文本状态嵌入模块仅使用了通用的状态文本，极大降低了提示工程的设计难度，并显著提高了异常检测的准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和异常图像检测领域，特别涉及一种基于低秩自适应的零样本异常图像检测方法。

技术介绍

1、异常检测的主要任务是识别与常规模式不同的情形，广泛应用于视频监控、产品质量控制、医学诊断等领域。传统的基于正常样本特征分布的图像异常检测方法将所学特征分布之外的样本视为异常样本，虽然不需要收集异常图像样本，但依赖大量的正常样本数据训练网络。当前比较流行的零样本异常检测方法采用了任务迁移的策略，避免了在目标任务上的数据收集。这些方法一般将预训练的大模型迁移到下游的异常检测任务，但是受限于模型规模，不能在下游任务中有效优化模型参数，限制了异常检测精度的提升。另外，对于基于文本监督的异常检测模型过多的依赖人工提示文本的设计，并且需要领域专家设计多个类似文本。不但增加了提示工程的设计难度，而且不能保证文本选取的合理性和有效性，不利用异常检测精度的提升。

技术实现思路

1、为了解决现有技术的不足，本专利技术提出了一种基于低秩自适应的零样本异常图像检测方法，通过构建低秩自适应模块降低模型的可学习参数规模，将低秩本文档来自技高网...

【技术保护点】

1.一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述零样本异常检测网络具体按照以下方式设置：

3.根据权利要求2所述的一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述的视觉编码网络包括依次进行的四个阶段：第一阶段、第二阶段、第三阶段和第四阶段；第一阶段的输入为待检图像，其余三个阶段的输入均为前一阶段输出的视觉编码特征；将待检图像输入视觉编码网络后，每个阶段分别输出一个视觉编码特征，再将四个视觉编码特征输入到各自对应的一个多层感知机操作mlp中获得...

【技术特征摘要】

1.一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述零样本异常检测网络具体按照以下方式设置：

3.根据权利要求2所述的一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述的视觉编码网络包括依次进行的四个阶段：第一阶段、第二阶段、第三阶段和第四阶段；第一阶段的输入为待检图像，其余三个阶段的输入均为前一阶段输出的视觉编码特征；将待检图像输入视觉编码网络后，每个阶段分别输出一个视觉编码特征，再将四个视觉编码特征输入到各自对应的一个多层感知机操作mlp中获得对应的编码特征后，将得到的四个编码特征分别与文本特征共同输入至异常区域计算模块。

4.根据权利要求3所述的一种基于低秩自适应的零样本异常图像检测方法，其特征在于：所述视觉编码网络的每个阶段包括依次进行的六个低秩自适应残差注意模块，每个低秩自适应残差注意模块主要是通过将残差注意模块中的线性模块采用低秩自适应模块替换后构成；所述低秩自适应模块包括预训练权值部分和秩分解部分；低秩自适应模块的输入先分别经过预训练权...

【专利技术属性】
技术研发人员：宋亚楠，鲁鹏，沈卫明，
申请(专利权)人：浙江大学计算机创新技术研究院，
类型：发明
国别省市：