一种基于文本反转的类别不感知零样本异常图像检测方法技术

本发明专利技术公开了一种基于文本反转的类别不感知零样本异常图像检测方法。设计了将类别不感知状态文本反转为类别不感知状态嵌入空间的学习模块。构建了基于文本反转的异常检测网络。利用视觉语言大模型的视觉编码网络从多个层级阶段提取图像的视觉特征。将多个层级视觉编码特征与设计的同一个类别不感知状态嵌入做余弦相似度比对，并构建图像异常区域计算模块，获取待检图像异常区域。本发明专利技术提出的文本反转类别不感知模块避免了常规异常检测过程中对物体类别的过度依赖，只需要状态嵌入即可计算图像异常区域。另外，类别不感知状态嵌入学习完成后即可舍弃文本编码网络，极大降低了异常检测网络的复杂度，同时提高了图像异常检测的准确率。

【技术实现步骤摘要】

本专利技术涉及了计算机视觉和异常图像检测领域，尤其涉及一种基于文本反转的类别不感知零样本异常图像检测方法。

技术介绍

1、异常检测的主要任务是识别与常规模式不同的情形，广泛应用于视频监控、产品质量控制、医学诊断等领域。常见的异常检测方法通常需要无异常图像训练网络，进而学习无异常图像特征分布，并将该特征分布之外的图像视为异常。然而这些方法依赖大量的正常样本图像，带来了沉重的数据收集负担。尽管新兴的零样本异常检测方法大大缓解了对数据的依赖，但是这些方法通常需要依赖专家经验设计提示工程，增加了网络设计的难度，降低了网络设计效率。另外，当前的异常检测方法通常需要为每个特定物体类别构建相应的异常检测模型，或者将特定物体类别融合到特征提示工程中，限制了异常检测网络的零样本泛化性能。

技术实现思路

1、为了解决
技术介绍
存在的问题，本专利技术提供了一种基于文本反转的类别不感知零样本异常图像检测方法，通过构建类别不感知状态嵌入缓解了提示工程中对专家领域知识的过度依赖；另外，构建类别不感知状态嵌入不包含任何物体类别相关的信息，避本文档来自技高网...

【技术保护点】

1.一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述方法步骤包括：

2.根据权利要求1所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述的零样本异常检测网络包括视觉编码网络、多层感知机mlp、类别不感知状态嵌入模块和异常区域计算模块；视觉编码网络的输出经多个多层感知机mlp后输入到异常区域计算模块，同时类别不感知状态嵌入模块的输出输入到异常区域计算模块，异常区域计算模块的输出依次经改变特征维度操作和元素相乘操作后获得异常区域热图的结果。

3.根据权利要求2所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在...

【技术特征摘要】

1.一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述方法步骤包括：

2.根据权利要求1所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述的零样本异常检测网络包括视觉编码网络、多层感知机mlp、类别不感知状态嵌入模块和异常区域计算模块；视觉编码网络的输出经多个多层感知机mlp后输入到异常区域计算模块，同时类别不感知状态嵌入模块的输出输入到异常区域计算模块，异常区域计算模块的输出依次经改变特征维度操作和元素相乘操作后获得异常区域热图的结果。

3.根据权利要求2所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述的视觉编码网络包括依次进行的四个阶段，每个阶段均包含多层残差注意模块，每个阶段均输出视觉编码特征，四个阶段分别输出第一视觉编码特征t1、第二视觉编码特征t2、第三视觉编码特征t3和第四视觉编码特征t4作为视觉编码网络的输出。

4.根据权利要求2所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述的视觉编码网络输出的四个视觉特征均经各自的多层感知机mlp处理后获得四个视觉编码特征，四个视觉编码特征共同输入到异常区域计算模块中。

5.根据权利要求2所述的一种基于文本反转的类别不感知零样本异常图像检测方法，其特征在于：所述的类别不感知状态嵌入模块包括初始化状态文本、编码操作...

【专利技术属性】
技术研发人员：宋亚楠，沈卫明，
申请(专利权)人：浙江大学计算机创新技术研究院，
类型：发明
国别省市：