【技术实现步骤摘要】
本专利技术公开了一种基于小样本提示学习的异常检测技术，涉及小样本学习、提示学习、预训练的视觉语言模型领域。具体讲，涉及基于小样本提示学习的异常检测方法。
技术介绍
1、近年来，异常检测已成为在开放世界中安全部署机器学习模型的核心挑战，在开放世界，模型可能会遇到在训练过程中看不到的分布外样本。模型可能会因为这些样本出现错误的决策，从而造成严重的安全问题，尤其是在自动驾驶和医疗诊断等安全关键应用中。因此，模型不仅应该在分布内样本上表现良好，而且能够识别出分布外样本。
2、在异常检测任务中，常见的算法探索了如何使用大量辅助的异常数据进行训练，来正则化模型，使模型在分布外的数据上产生更低的置信度，和更高的能量。最近的一些先进的算法，例如msp和energy模型，基于上述技术实现了先进的性能。
3、小样本学习是近年来新兴的技术，目的是从少量有监督信息的样本中学习。通常情况下，模型的训练需要大量数据进行训练，但由于获取大量的被标记的数据成本非常高昂，为了应对这种情况，小样本学习被提出。小样本学习通常围绕着数据增强，或者如何约束模型展开。小样本学习的困难之处在于样本数量很少，会导致经验风险最小化不可靠，那么相应的最简单的办法是，数据增强，顾名思义，数据增强目的是如何增加数据。基于数据增强的方法有很多包括手工规则对图像进行反转、旋转、变形等预处理操作，或者利用生成对抗网络生成和真实数据相似的数据。对于约束模型而言，常见方法之一是利用在大规模的预训练的模型，将其参数作为先验假设，在其基础上进行参数微调，即可获得较好的泛化性
4、提示学习源于自然语言处理，其被总结为类似于填空的任务，其基本思想是诱导预先训练的语言模型在完形填空风格的提示下生成答案，这有利于许多下游任务，如情绪分析。尽管提示学习在自然语言处理中得到了广泛的应用，但它在视觉领域的探索仍然不足。最近，coop实现了基于预训练的视觉语言模型的提示学习，该方法利用视觉语言预训练模型在文本编码器的输入中构造可学习张量，并通过图像和提示之间的损失来更新来相应的提示，实现视觉领域的提示学习。
技术实现思路
1、为克服现有技术的不足，在只有少量训练样本的情况下，针对模型难以识别困难的异常样本,本专利技术旨在提出一种基于小样本提示学习的异常检测技术。为此，本专利技术采取的技术方案是，基于小样本提示学习的异常检测方法，通过对样本进行随机裁剪以及划分，构造出分布内数据和分布外数据，将分布外数据作为异常数据，并利用预训练的视觉语言模型，学习异常数据的提示，进而帮助视觉语言模型识别出困难的分布外样本。
2、具体步骤如下：
3、101：对用于训练的数据进行处理，其中x表示为一组图像数据，y表示为每个图像对应的类别名称，将图像进行多次裁剪，并划分为分布内数据和分布外数据in表示in-distribution即分布内，out表示out-of-distribution即分布外，xin和xout分别是从x中构造的一部分子集，同为图像的集合，yin和yout分别是对应的标签名称，具体地步骤如下：
4、1011：将一个样本x进行多次随机裁剪获得一组图像{x1,x2,…xm}；
5、1012：使用图像编码器将裁剪出来的样本进行编码得到一组图像的特征img表示图像的特征；
6、1013：将该样本对应的类名转换成相应的文本描述“a photo of[class name]”；
7、1014：将文本描述输入到文本编码器获得相应的文本特征ztxt，txt表示文本的特征；
8、1015：计算ztxt与之间的余弦相似度，公式为<zimg,ztxt>＝zimg·ztxt/‖zimg‖‖ztxt‖，获得一组相似度得分{s1,s2,…sm}；
9、1016：根据相似度得分，将得分最高的min个作为分布内样本，得分最低的mout个作为分布外样本，m为超参数，表示选取的个数；
10、1017：对每个样本执行上述操作，获得分布内数据和分布外数据
11、102：分别设置不同数量的分布内提示和分布外提示，并利用101步骤构造的分布内和分布外的数据计算损失λ为超参数，损失函数的权重；
12、其中102中计算损失的过程如下：
13、1021：将分布内和分布外的提示输入到文本编码器中获得两组文本特征txt,in表示分布内提示的文本特征，txt,out表示分布外提示的文本特征，c表示分布内类别个数，k表示分布外提示的个数；
14、1022：将构造的分布内和分布外图像输入到图像编码器中获得两组图像特征img,in表示分布内数据的图像特征，img,out表示分布外数据的图像特征；
15、1023：获得文本特征与图像特征之间的余弦相似度，记录每个图像与所有文本之间的相似度，得到一组相似度值如下：
16、1024：对于属于的数据，执行损失
17、
18、exp表示指数运算，log表示对数运算；
19、1025：对于属于的样本，执行损失
20、
21、1026：对于执行损失：
22、
23、103：利用梯度下降对模型参数进行更新；
24、104：在测试时按照102中1021到1023的操作，获得测试图像的相似度得分
25、105：对于分类任务使用中最大值对应的标签作为分类预测，预测概率为
26、106：对于异常检测任务，使用得分之和中分布外提示的占比作为得分，s＝∑exp(sin)/(∑exp(sin)+∑exp(sout))，得分越高，属于分布内类别的概率越大，反之则属于分布外数据，通过得分判断样本是否是异常数据。
27、具体地为乳腺x射线照片数据集，相应的x表示为一组乳腺的x射线图像数据，其中包含正常的病例和已知的乳腺癌病例，y表示为每个图像对应的类别名称，比如正常或异常，通过前述步骤获得测试影像相对于不同提示的相似度得分其中表示的是测试影响与已知的不同类型的乳腺影像的相似度得分，用来分类；表示的是测试影像可能是异常影像的得分，通过确定测试样本是否是未见过的病例。
28、对于自动驾驶系统的训练数据相应的x表示为一组路况的图像数据，y表示为每个图像对应的类别名称，包括城市、高速公路和乡村道路的各种驾驶情境，以及各种天气条件，通过前文所提到的训练方法训练模型，在测试时获得一个测试场景相对于不同提示的相似度得分，其中表示的是测试样本与已知的道路情况相似度得分，通过相似度得分进行分类。表示的是测试样本是未知道路情况的得分。
29、本专利技术的特点及有益效果是：
30、1.本专利技术是一种基于小样本提示学习的异常检测技术，它仅需要少量的分布内数据即可实现强大的异常检测能力。
31、2.本专利技术利用预训练的视觉语言模型，从少量的分布内样本构造出大量的难以识别的异常数据，帮助模本文档来自技高网...
【技术保护点】
1.一种基于小样本提示学习的异常检测方法，其特征是，通过对样本进行随机裁剪以及划分，构造出分布内数据和分布外数据，将分布外数据作为异常数据，并利用预训练的视觉语言模型，学习异常数据的提示，进而帮助视觉语言模型识别出困难的分布外样本。
2.如权利要求1所述的基于小样本提示学习的异常检测方法，其特征是，具体步骤如下：
3.如权利要求2所述的基于小样本提示学习的异常检测方法，其特征是，具体地为乳腺X射线照片数据集，相应的x表示为一组乳腺的X射线图像数据，其中包含正常的病例和已知的乳腺癌病例，y表示为每个图像对应的类别名称，比如正常或异常，通过前述步骤获得测试影像相对于不同提示的相似度得分其中表示的是测试影响与已知的不同类型的乳腺影像的相似度得分，用来分类；
4.如权利要求2所述的基于小样本提示学习的异常检测方法，其特征是，对于自动驾驶系统的训练数据相应的x表示为一组路况的图像数据，y表示为每个图像对应的类别名称，包括城市、高速公路和乡村道路的各种驾驶情境，以及各种天气条件，通过前文所提到的训练方法训练模型，在测试时获得一个测试场景相对于不同提示的相似
...【技术特征摘要】
1.一种基于小样本提示学习的异常检测方法，其特征是，通过对样本进行随机裁剪以及划分，构造出分布内数据和分布外数据，将分布外数据作为异常数据，并利用预训练的视觉语言模型，学习异常数据的提示，进而帮助视觉语言模型识别出困难的分布外样本。
2.如权利要求1所述的基于小样本提示学习的异常检测方法，其特征是，具体步骤如下：
3.如权利要求2所述的基于小样本提示学习的异常检测方法，其特征是，具体地为乳腺x射线照片数据集，相应的x表示为一组乳腺的x射线图像数据，其中包含正常的病例和已知的乳腺癌病例，y表示为每个图像对应的类别名称，比如正常或...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。