【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其是一种基于多模态向量记忆库的自监督缺陷检测方法。
技术介绍
1、异常检测即anomaly detection(ad)。异常检测主要任务是假设给定一个图像集合，并将其定义为“正常集”，使用分类模型通过使用“正常集”训练，使之能在测试过程中将“正常”图像与“异常”图像进行准确分类。在目前异常检测(ad)问题的主流解法大致分为两种，一种是使用“正常集”训练模型，直接输出分类概率，而另一种解法是使用特征记忆库“记”下“正常集”的特征，在测试时与输入图像的特征进行比对得到异常概率。
2、而3d异常检测仍是一个值得关注的领域，加入空间信息参与检测，使得模型不仅能在2d图像信息检测到3d深度信息中不存在的色彩异常，还在3d深度信息中发现2d图像信息中不明显的凹陷或者凸起异常。多模态信息的加入，使得检测的信息量得到了提高。由此，本专利技术提出了利用一种基于多模态向量记忆库的自监督异常检测方法，可以输入3d机器视觉工业相机拍摄的样本2d与3d信息，并提供相比单模态更佳的精度。同时，本专利技术提出的方法在训练时无需真实的异常数据，仅需要无异常数据即可，大大降低了数据采集的成本。
技术实现思路
1、本专利技术提出一种基于多模态向量记忆库的自监督缺陷检测方法，能够融合2d图像数据及3d点云数据的多模态数据，提供比单模态数据更精确的检测效果。
2、本专利技术采用以下技术方案。
3、一种基于多模态向量记忆库的自监督缺陷检测方法，用于融合2d图像
4、所述方法包括以下步骤；
5、步骤s1：通过3d机器视觉工业相机配合固定漫射光源扫描无异常样品，并将拍摄出的2d图像与3d点云数据整理成数据集后进行预处理；
6、步骤s2：将样本的2d图像输入经过大型公开图像数据集预训练的2d图像模型，将样本的3d点云数据输入经过大型公开点云数据集预训练的3d点云模型，分别得到样本的2d图像特征及3d点云特征；
7、步骤s3：初始化两组多模态编码模块，其中每一组包含了一个多模态交互融合模块以及一个重映射模块。生成自监督信息，即随机对样本的2d图像特征或3d点云特征进行人为干扰；将未扰动及扰动后的特征图输入至两组多模态交互融合模块中，最后将输出的两组融合特征输入至两组重映射模块中，输出编码后的特征向量；
8、步骤s4：计算损失，两组重映射模块通过自监督学习进行训练，在反向梯度传播时仅对其中一组多模态编码模块进行梯度更新。另一组多模态编码模块的参数通过指数平均移动原理进行更新；
9、步骤s5：训练完成后，仅保留2d图像模型、3d点云模型及接受梯度更新的多模态编码模块中的多模态交互融合模块，移除其他模块；将输出的非异常样本的融合特征向量集合进行最大核心集距离采样，建立非异常特征记忆库；将需要检测的样本的融合特征与非异常特征记忆库进行最近邻居算法比对，检测当前样本是否是异常样本。
10、所述步骤s1具体为：
11、步骤s11：安装3d机器视觉工业相机和固定的漫射光源；
12、步骤s12：扫描经人工预先筛选的正常样本，收集生成的2d图像数据与3d点云数据并集合成当前样本类别的数据集；
13、步骤s13：将数据集的所有数据进行数据预处理，对于点云数据，利用背景的固定性特点对背景点云进行移除。
14、所述步骤s2具体为：
15、步骤s21：将预处理后的2d图像数据输入已经使用其他大型公开图像数据库进行预训练的图像编码模型backbonergb出的浅层图像特征图，称为featurergb；
16、步骤s22：将预处理后的3d点云数据输入已经使用其他大型公开点云数据库进行预训练的点云编码模型backbonepc，并提取模型输出的浅层点云特征，称为featurepcrow；
17、步骤s23：将点云特征进行点云插值上采样操作，将无序点云特征上采样为有序点云特征图，称为featurepc。
18、所述点云插值上采样操作具体方法为：
19、对于长度为m的原点云数据pc、长度为m下采样点云数据pcs以及长度为m的featurepcrow，具体计算如下：
20、
21、distancemin＝mink(distance) 公式二；
22、indicesmin＝argmink(distance) 公式三；
23、
24、其中，distance表示pc和pcs的欧式距离矩阵，mink表示列出矩阵中每一行最小值的k个值，并将结果输出为distancemin，mink表示列出矩阵中每一行最小值的k个值的对应索引值，并将结果输出为indicesmin，getvector(featurepcrow，index)表示从featurepcrow中取出索引值为index的向量。
25、所述步骤s3具体为：
26、步骤s31：初始化两组多模态编码模块，记为modulea和moduleb；其中modulea包含了一个多模态交互融合模块以及一个重映射模块，记为modulea1与modulea2，moduleb同样包含以上两个模块，记为moduleb1与moduleb2；
27、步骤s32：进行自监督信息生成，生成一个伪掩码标签mask，通过mask和随机数选则扰动目标；如果对featurergb进行人为扰动，则记为anomalyfeaturergb，如果对featurepc进行人为扰动，则记为anomalyfeaturepc；将正常特征组(featurergb，featurepc)记为normalset，将扰动后的特征组(featurergb，anomalyfeaturepc，mask)或(anomalyfeaturergb，featurepc，mask)记为anomalyset；
28、步骤s33：将normalset输入至modulea1，将anomalyset输入至moduleb1，输出的多模态融合特征分别记为fusionfeaturea和fusionfeatureb。最后将融合特征分别输入至modulea2与moduleb2，将输出的特征记为outputa和out本文档来自技高网...
【技术保护点】
1.一种基于多模态向量记忆库的自监督缺陷检测方法，用于融合2D图像数据及3D点云数据的多模态数据以提供比单模态数据更精确的检测效果，其特征在于：所述方法首先通过3D机器视觉工业相机配合固定漫射光源扫描无异常样品；其次将样本的图像和点云数据输入预训练模型，分别得到样本的2D图像特征及3D点云特征；之后生成自监督信息，即随机对样本特征进行人为干扰，并将未扰动及扰动后的特征图分别输入至两组多模态交互融合模块与重映射模块中，输出编码后的特征向量；然后进行自监督学习，仅对其中一组多模态编码模块进行梯度更新。通过指数平均移动原理更新另一组模块的参数；最后在训练完成后，移除多余模块，利用非异常样本的特征向量建立非异常特征记忆库，将测试融合特征与特征记忆库进行比对，检测当前样本是否是异常样本。
2.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述方法包括以下步骤；
3.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述步骤S1具体为：
4.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷
5.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述点云插值上采样操作具体方法为：
6.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述步骤S3具体为：
7.根据权利要求6所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述自监督信息生成过程具体为：生成伪标签mask伪标签对Feature不同的扰动方式，打乱、偏移及反转，具体公式如下：
8.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述步骤S4具体为：
9.根据权利要求8所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述的指数平均移动技术具体为：
10.根据权利要求8所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述步骤S5具体为：
...【技术特征摘要】
1.一种基于多模态向量记忆库的自监督缺陷检测方法，用于融合2d图像数据及3d点云数据的多模态数据以提供比单模态数据更精确的检测效果，其特征在于：所述方法首先通过3d机器视觉工业相机配合固定漫射光源扫描无异常样品；其次将样本的图像和点云数据输入预训练模型，分别得到样本的2d图像特征及3d点云特征；之后生成自监督信息，即随机对样本特征进行人为干扰，并将未扰动及扰动后的特征图分别输入至两组多模态交互融合模块与重映射模块中，输出编码后的特征向量；然后进行自监督学习，仅对其中一组多模态编码模块进行梯度更新。通过指数平均移动原理更新另一组模块的参数；最后在训练完成后，移除多余模块，利用非异常样本的特征向量建立非异常特征记忆库，将测试融合特征与特征记忆库进行比对，检测当前样本是否是异常样本。
2.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述方法包括以下步骤；
3.根据权利要求1所述的一种基于多模态向量记忆库的自监督缺陷检测方法，其特征在于：所述步骤s1具体为：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。