【技术实现步骤摘要】
一种基于先验引导多语义融合的图像异常检测和定位方法
[0001]本专利技术涉及计算机视觉处理
，具体提供一种基于先验引导多语义融合的图像异常检测和定位方法。
技术介绍
[0002]无监督异常检测是指在没有任何异常先验的情况下检测并定位异常，近几年无监督异常检测受到越来越多的关注，并被广泛应用于许多领域的计算机视觉，如医学疾病诊断，工业缺陷检测，道路安全监测。由于工业产品表面缺陷对产品安全性和使用性带来不良影响，因此在工业领域特别需要异常检测技术。此外，在医学领域，异常检测可以帮助医生更好地诊断医学影像中存在的异常。
[0003]无监督异常检测方法通常能够通过检测异常的外观和行为偏差来成功发现异常。这些偏差主要分为两类：结构异常和逻辑异常。结构异常是指全新的局部结构与正常情况的差异，而逻辑异常则是违反正常样本的基本逻辑或几何约束的内容。预训练模型嵌入到异常检测模型中，并将网络提取的特征进行分类的方法被广泛采用，可以取得良好的效果。然而，对于逻辑异常而言，这种方法并不十分有效。
[0004]编码器
...
【技术保护点】
【技术特征摘要】
1.一种基于先验引导多语义融合的图像异常检测和定位方法，其特征在于，所述方法的实现包括内容如下：通过预训练的视觉
‑
语言网络提取正常图像的抽象全局语义特征；通过外部数据集训练的教师编码器网络提取正常图像的特征；将教师网络每层提取的特征通过向量离散化并构建可学习的语义编码库对提取特征进行替换；将上述多语义特征进行融合后，作为学生解码器网络的输入，引导异常图像重建为正常，以此来检测和定位异常。2.根据权利要求1所述的一种基于先验引导多语义融合的图像异常检测和定位方法，其特征在于，所述方法实现步骤如下：步骤1、获取待检测图像数据，并对图像进行预处理操作；步骤2、将预处理后的图像输入到经过预训练的教师编码器网络中来获得全局的图像特征；步骤3、将图像的文本标签输入到预训练的视觉
‑
语言网络提取正常图像的抽象全局语义特征；步骤4、将教师编码器网络中每一层的特征进行离散化，并构建可学习的语义编码库对提取的特征进行替换；步骤5、将上述特征进行融合送入学生解码器中，进行蒸馏训练；步骤6、将测试数据输入所述预训练网络和到预训练的视觉
‑
语言网络进行测试；步骤7、计算所述测试数据得到的重建误差，进而对异常进行检测和定位。3.根据权利要求2所述的一种基于先验引导多语义融合的图像异常检测和定位方法，其特征在于，所述步骤1包括以下步骤：步骤11，采集图像数据，定义原始图像为X∈R
C
×
H
×
W
；其中C代表图像维度，H表示图像的高，W表示图像的宽；步骤12，对图像数据进行尺寸缩放处理，公式如下：步骤12，对图像数据进行尺寸缩放处理，公式如下：其中，S(x,y)表示缩放后的图像中对应的像素点，(x,y)为像素点坐标，X表示原始图像，X
w
和X
h
表示原始图像的宽和高，S
w
和S
h
表示缩放后图像的宽和高；步骤13，对图像数据进行归一化，公式如下：其中，S
max
，S
min
分别表示图像中全部像素具体数值的最大值和最小值；步骤14，对图像数据进行标准化，公式如下：
其中mean(
·
)代表各个通道的均值，std(
·
)代表各个通道的标准差。4.根据权利要求2所述的一种基于先验引导多语义融合的图像异常检测和定位方法，其特征在于，所述步骤2包括以下步骤：步骤21，获得图像的全局特征，具体表示为：其中，x
i
代表数据集中的数据，代表预训练的教师编码器网络。步骤22，对全局特征f
ig
进一步下采样获得全局特征F
ig
∈R
C
×
H
×
W
。5.根据权利要求2所述的一种基于先验引导多语义融合的图像异常检测和定位方法，其特征在于，所述步骤3包括以下步骤：步骤31，获得图像的全局语义特征，具体表示为：其中，t
i
代表数据集中的图像的标签类别，代表预训练的视觉
‑...
【专利技术属性】
技术研发人员：徐睦浩，周雪莹，史欣妤，张凤航，张梦娇，
申请(专利权)人：济南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。