【技术实现步骤摘要】
本专利技术属于点云异常检测领域，更具体地，涉及一种考虑提示学习的零样本点云异常检测方法及系统。
技术介绍
1、在当今工业生产中，保障产品质量至关重要，在这一背景下，工业视觉检测技术的应用变得尤为重要。工业视觉检测技术通过自动化的视觉系统对产品进行检查，以识别缺陷、瑕疵或不符合规格的产品，从而确保产品质量符合标准。近年来异常检测技术已被广泛应用于工业产品的表面缺陷质量检测中。在工业视觉检测中，通过对产品表面图像的分析，异常检测能够识别出划痕、凹陷、杂质等多种缺陷，从而在生产早期即可排除不合格品。然而，尽管图像异常检测技术在许多方面表现出色，但它处理某些复杂场景时存在局限性。例如，对于表明纹理不明显的物体，图像难以准确捕捉其表面细节，图像异常检测会失效。与此相比，点云数据能够提供物体的三维几何信息，使得检测更加全面和准确。
2、尽管点云异常检测具有明显的优势，但在实际应用中仍面临着一系列挑战。其中最为显著的就是所谓的“冷启动”问题，以及点云数据采集的高成本。冷启动问题指的是在新的或者未知的环境中，无法采集到足够的标注数据来有效训练深度学习模型。而点云数据的采集通常需要昂贵的设备和大量的时间，这进一步限制了大规模数据收集的可行性，尤其是在变化多样的现实工业环境中。
3、鉴于这些限制，零样本点云异常检测的方法亟需展开，即开发能够在不收集待测对象数据的情况下完成异常检测的方法。目前零样本图像异常检测借助视觉语言模型，取得了一定的进展，但是由于缺乏专门针对点云设计的视觉语言模型，无法应对工业点云异常检测“冷启动”问题
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种考虑提示学习的零样本点云异常检测方法及系统，其目的在于，在零样本情况下，实现点云异常的准确检测。
2、为实现上述目的，按照本专利技术的第一方面，提出了一种考虑提示学习的零样本点云异常检测方法，包括如下步骤：
3、获取待检测物体的三维点云，通过多视图投影将三维点云投影到二维平面上，得到多个深度图像；
4、通过图像编码器提取深度图像的特征，并根据投影关系将深度图像的特征聚合到点云的点中，得到点云中各点的特征；
5、设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数；根据文本提示，通过文本编码器提取得到文本特征；
6、根据点云中点的特征与文本特征的余弦相似度，得到点云中点的异常分数，根据异常分数判断点云中各点的异常情况。
7、作为进一步优选的，所述图像编码器包括nl个transformer层，从中选出m个关键层{f1,f2,…,fm}；
8、在transformer层中加入可学习参数，各transformer层的输出为：
9、
10、其中，lj表示第j个transformer层，bj表示加在第j个transformer层中的可学习参数，wj表示第j个transformer层的输出。
11、作为进一步优选的，根据投影关系将深度图像的特征聚合到点云的点中，包括：
12、对于第k张深度图像，其输入图像编码器后，第l个关键层的输出为将的通道展开成图像得到特征图；进而基于特征图，根据投影关系得到点云中第i个点在第k张深度图像上第l个关键层的点特征
13、将所有深度图像上的点特征进行聚合，得到点云中每个点的特征，其中第i个点的特征为：
14、
15、其中，n为深度图像总数。
16、作为进一步优选的，所述关键层的选取方法为固定间隔选取，即每隔一定层数，选取一个transformer层作为关键层。
17、作为进一步优选的，设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数，具体为：文本提示包括状态描述词state和类别描述词cls，然后在其中加入可学习参数。
18、作为进一步优选的，文本提示中的可学习参数包括u和s，其中，u为两个文本提示中共用的可学习参数；s是专用的可学习参数，其包括用在正常状态文本提示的可学习参数sn，以及用在异常状态文本提示的可学习参数sa。
19、作为进一步优选的，计算点云中点的异常分数前，先计算点云整体的异常分数，若点云整体的异常分数超过预设阈值，则进一步计算点云中点的异常分数；否则，认为该三维点云无异常。
20、作为进一步优选的，点云整体的异常分数ξ的计算方法为：
21、
22、其中，n为深度图像总数，softmax表示激活函数；为对于第k张深度图像，图像编码器最后一个transformer层的class token；g为文本编码器提取得到的文本特征。
23、按照本专利技术的第二方面，提供了一种考虑提示学习的零样本点云异常检测系统，包括处理器，所述处理器用于执行上述考虑提示学习的零样本点云异常检测方法。
24、按照本专利技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述考虑提示学习的零样本点云异常检测方法。
25、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
26、1.本专利技术基于多视图投影和图像编码器，获取聚合的点特征，进而利用聚合的点特征与文本编码器提取的文本特征的余弦相似度计算级别异常分数，从而确定点云的异常情况。可填补点云视觉语言模型的空缺，将图像视觉语言模型拓展到了零样本点云异常检测任务中，实现点云异常的准确检测。
27、2.在预训练图像编码器中获得的特征通常与预训练数据集的分布强相关，这会导致域间隙问题，具体来说，对于图像编码器，由于其预训练数据集的工业场景很少，与缺陷相关的输入图像比例很小，这导致图像特征与缺陷信息不匹配；因此，本专利技术提出了关键层视觉提示，加入可学习的参数来微调图像编码器，以弥合域间隙。
28、3.考虑到文本提示不仅可以是离散的、明确的人类语言表达，还可以是连续的抽象向量；因此，本专利技术使用自适应的文本提示，即加入可学习的参数来动态生成文本提示，并采用了共用、专用两类可学习参数，可以更好地描述全局图像内容和局部缺陷。
本文档来自技高网...【技术保护点】
1.一种考虑提示学习的零样本点云异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的考虑提示学习的零样本点云异常检测方法，其特征在于，所述图像编码器包括Nl个transformer层，从中选出m个关键层{f1,f2,…,fm}；
3.如权利要求2所述的考虑提示学习的零样本点云异常检测方法，其特征在于，根据投影关系将深度图像的特征聚合到点云的点中，包括：
4.如权利要求2所述的考虑提示学习的零样本点云异常检测方法，其特征在于，所述关键层的选取方法为固定间隔选取，即每隔一定层数，选取一个transformer层作为关键层。
5.如权利要求1所述的考虑提示学习的零样本点云异常检测方法，其特征在于，设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数，具体为：文本提示包括状态描述词State和类别描述词CLS，然后在其中加入可学习参数。
6.如权利要求5所述的考虑提示学习的零样本点云异常检测方法，其特征在于，文本提示中的可学习参数包括U和S，其中，U为两个文本提示中共用的可学习参数；S是专用的可学习参
7.如权利要求1-6任一项所述的考虑提示学习的零样本点云异常检测方法，其特征在于，计算点云中点的异常分数前，先计算点云整体的异常分数，若点云整体的异常分数超过预设阈值，则进一步计算点云中点的异常分数；否则，认为该三维点云无异常。
8.如权利要求7所述的考虑提示学习的零样本点云异常检测方法，其特征在于，点云整体的异常分数ξ的计算方法为：
9.一种考虑提示学习的零样本点云异常检测系统，其特征在于，包括处理器，所述处理器用于执行如权利要求1-8任一项所述的考虑提示学习的零样本点云异常检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的考虑提示学习的零样本点云异常检测方法。
...【技术特征摘要】
1.一种考虑提示学习的零样本点云异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的考虑提示学习的零样本点云异常检测方法，其特征在于，所述图像编码器包括nl个transformer层，从中选出m个关键层{f1,f2,…,fm}；
3.如权利要求2所述的考虑提示学习的零样本点云异常检测方法，其特征在于，根据投影关系将深度图像的特征聚合到点云的点中，包括：
4.如权利要求2所述的考虑提示学习的零样本点云异常检测方法，其特征在于，所述关键层的选取方法为固定间隔选取，即每隔一定层数，选取一个transformer层作为关键层。
5.如权利要求1所述的考虑提示学习的零样本点云异常检测方法，其特征在于，设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数，具体为：文本提示包括状态描述词state和类别描述词cls，然后在其中加入可学习参数。
6.如权利要求5所述的考虑提示学习的零样本点云异常检测方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。