基于图像配准的少样本图像异常检测方法及系统技术方案

本发明专利技术提供了一种基于图像配准的少样本图像异常检测方法及系统，包括：对支撑图像和待检测图像提取图像的高维特征；对图像的高维特征进行特征的空间变换得到变换的图像特征；对变换的图像特征实现特征编码；对编码特征实现特征配准；对变换的图像特征拟合支撑图像的特征分布得到特征分布模型；对变换的图像特征和特征分布模型实现图像异常评定。本发明专利技术针对目前异常检测方法存在的问题，提出一种基于图像配准的少样本异常检测方法，本发明专利技术利用已知类别物体数据训练可推广的通用模型，不需要对新类别物体数据重新训练模型，而是仅利用少样本的新类别数据，即可应用于新类别物体的异常检测任务。检测任务。检测任务。

【技术实现步骤摘要】
基于图像配准的少样本图像异常检测方法及系统


[0001]本专利技术涉及计算机视觉和图像处理领域，具体地，涉及一种基于图像配准的少样本图像异常检测方法及系统。

技术介绍

[0002]当前，基于深度学习的技术在物体分类任务中取得了显著的成就，然而对于异常检测任务，收集足够的异常数据用于模型训练成本过高。在标准的异常检测流程中，通常仅提供正常数据用于模型训练，要求异常检测方法能在未经过异常数据训练的条件下具有数据异常检测能力。少样本异常检测任务主要应用于多类别数据的异常检测场景中，训练时仅为每个类别的异常检测任务提供数量有限的正常图像。少样本异常检测的推广可以帮助减轻大规模收集训练数据的负担，减少数据密集型应用任务的数据收集工作。
[0003]现有的少样本异常检测方法都遵循的是标准的单模型单类别学习范式，即针对不同物体类别的数据分别训练不同的模型，每个模型只能用来执行单一物体类别的异常检测任务。现有方法在执行未知种类物体的异常检测任务前，需要重新训练模型，耗费大量的时间与计算资源。事实上，通过设计一种通用的少样本异常检测算法，可以将模型的异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像配准的少样本图像异常检测方法，其特征在于，包括：步骤S1：对支撑图像和待检测图像提取图像的高维特征；步骤S2：对图像的高维特征进行特征的空间变换得到变换的图像特征；步骤S3：对变换的图像特征实现特征编码；步骤S4：对编码特征实现特征配准；步骤S5：对变换的图像特征拟合支撑图像的特征分布得到特征分布模型；步骤S6：对变换的图像特征和特征分布模型实现图像异常评定。2.根据权利要求1所述的基于图像配准的少样本图像异常检测方法，其特征在于：在所述步骤S1中：以支撑图像和待检测图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由三个级连的基于残差的卷积神经网络模块构成，分别记为C1,C2和C3，分别得到三个多尺度的高维特征，分别记为和在所述步骤S2中：对图像特征提取得到的图像的高维特征和使用空间变换神经网络进行特征的空间变换；其中，以高维特征为输入，i＝1,2,3，空间变换神经网络利用如下公式进行空间坐标转换：其中，是变换前的输入特征的原始坐标，是变换后的输出特征的目标坐标，S
i
是第i个空间变换神经网络，A
i
是坐标变换矩阵，θ
ij
是坐标仿射变换矩阵的具体参数，空间变换神经网络通过卷积神经网络，根据误差反向传播算法不断修正该仿射变换矩阵的参数，得到变换的图像特征和其中，为待测试图像的特征，为支撑图像的特征。3.根据权利要求1所述的基于图像配准的少样本图像异常检测方法，其特征在于：在所述步骤S3中：对所述特征空间变换步骤得到的变换的图像特征和使用深度卷积神经网络实现特征编码；其中，对于待测试图像的特征使用编码器和预测器获取编码特征：p
a
＝P(z
a
)其中，E是由三层卷积操作构成的编码器，P是由两层卷积操作构成的预测器，z
a
是待测试图像经编码器编码后的高维特征，p
a
是待检测图像经预测器得到的编码后的高维特征；对于支撑图像的特征使用编码器和预测器获取编码特征：p
b
＝P(z
b
)
其中，编码器E和预测器P与上述作用于待测试图像特征的编码器和预测器共享权重，z
b
是支撑图像经编码器编码后的高维特征，p
b
是待检测图像经预测器得到的编码后的高维特征；在所述步骤S4中：对得到的编码特征p
a
和z
b
使用图像特征配准损失函数实现特征配准：其中，||
·
||2是L
‑
2正则化操作；对称的图像特征配准损失函数L定义为：4.根据权利要求1所述的基于图像配准的少样本图像异常检测方法，其特征在于，在所述步骤S5中：根据所述特征空间变换步骤得到的变换的图像特征，使用分布估计模型拟合支撑图像的特征分布，得到特征分布模型；对特征空间变换得到的变换的特征和使用基于统计的估计器来估计特征的正态分布，使用多元高斯分布来获得正常图像对应特征的概率表示，假设图像被划分成网格(i,j)∈[1,W]
×
[1,H]，其中，W
×
H是用于估计正态分布的特征的分辨率；在每个网格的位置(i,j)，记为来自N个支撑图像的变换后的特征的集合，F
ij
由多元高斯分布N(μ
ij
,Σ
ij
)生成，其样本均值记为μ
ij
,样本协方差Σ
ij
为：其中，(
·
)
T
为矩阵转置操作，正则化项∈I使样本协方差矩阵满秩且可逆；每个可能的位置的多元高斯分布共同构成了特征分布模型。5.根据权利要求1所述的基于图像配准的少样本图像异常检测方法，其特征在于，在所述步骤S6中：根据特征空间变换得到的变换的图像特征和特征分布估计得到的特征分布模型，使用异常评定函数实现图像异常评定；对于待测试的图像，将特征空间变换得到的待测试图像的特征和特征分布估计得到的特征分布模型进行对比，计算如下异常评定函数：其中，为样本协方差Σ
ij
的逆矩阵，马氏距离矩阵M＝(M(f
ij
))
1≤i≤W,1≤j≤H
组成了异常分数矩阵；其中，矩阵中数值大于预设值的位置表示异常区域，整个图像的异常分数是异常矩阵的最大值。

【专利技术属性】
技术研发人员：王延峰，黄潮钦，管浩言，蒋傲凡，张娅，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：