一种基于记存机制的异常检测方法、装置和介质制造方法及图纸

本发明专利技术公开了一种基于记存机制的异常检测方法、装置及介质，所述方法包括：构建基于记存机制的异常检测网络，所述检测网络包括特征提取网络和记存模块，其中，所述记存模块中包含写入操作和读出操作，所述特征提取网络输出的多尺度特征图作为记存模块的输入；在训练阶段，利用所述记存模块的写入操作更新其中的原型特征；在测试阶段，利用所述记存模块的读出操作生成匹配特征，进而计算异常得分值。本发明专利技术通过引入记存机制实现了用尽可能少的原型特征高效地表征正常背景特征，有效减少了基于特征对比的异常检测的运算开销，可以达到实时检测的要求，更加适合于工业视觉及公共安防等场景中的应用。场景中的应用。场景中的应用。

【技术实现步骤摘要】
一种基于记存机制的异常检测方法、装置和介质


[0001]本专利技术涉及的是一种图像处理
的异常检测方法，具体地说，是一种基于记存(Memory)机制的异常检测方法。

技术介绍

[0002]异常检测在过去几十年中一直是计算机视觉领域中相当活跃的研究方向，这项技术有着较高的商业价值以及工业应用价值，它在公共安防、风险管理、金融监管、AI安全性、工业产品缺陷检测、医疗看护和健康风险管理等领域有着直接的应用。现有的异常检测算法，仍然存在着很多的难点和挑战：不确定性，异常和很多的不确定性相关联，例如不确定的数据结构和分布，有一些异常在没有实际发生之前都是不确定的，这使得异常检测难以基于异常的视觉特征建模；稀缺性，异常样本通常是相当稀缺的，想要收集一个带有大量标注的异常数据集是相当困难也是几乎不太可能的，这导致在大多数任务中无法使用大规模有标注的数据集；异构性，异常是不规则的，因此一类异常可能和另一类异常表现出完全不同的异常特征，甚至同一类异常也会存在特征上的变化。
[0003]目前，基于对异常模式的认识的不同，异常检测可以分为两种不同的方向：(1)基于异常特征建模。该类方法主要使用目标检测模型学习图像中异常区域的特征：即将有标注的异常样本输入网络训练，网络输出检测框预测异常区域的位置和类别，这类方法更关注于有标记的异常本身的特征，其目的在于检测出具有特定视觉特征的异常，对于所有异常完全已知并且拥有足量标记数据的情况下，这种方法可以实现较好的检测效果。(2)基于正常特征建模。该类方法通常只需要正常样本用于网络的训练，该类方法更关注于正常样本特征，在检测过程中通过特征对比将特征远离正常特征的样本视作异常样本，这类方法最大的优点在于不需要有标注的异常样本作为训练样本，这可以极大程度上减少数据收集中的人力和钱力开销，在异常并不是完全已知并且数据收集代价较高时更具有吸引力，但是这类方法的问题在于，可能将特征不同于正常特征的样本都归类于异常。
[0004]由于异常的不确定性和稀缺性，基于正常特征建模的异常检测算法更值得关注，基于正常特征建模的异常检测算法中有通过建立特定的学习任务来学习正常特征的方法，如自编码器网络和生成对抗网络，也可以使用预训练的网络提取正常特征，然后进行特征对比以检测异常。
[0005]在自编码器网络、生成对抗网络和特征对比这些方法中，当前检测效果最好的是使用深层卷积网络提取特征然后进行特征对比的方法。基于特征对比的异常检测在训练阶段需要存储大量的正常特征，测试阶段每个测试样本的特征需要和所有正常特征对比以得到异常得分，复杂度随着测试样本和训练样本数量呈二次方增加，当训练阶段储存的正常特征量较大时，远远不能达到实时检测的需求。比如，中国专利申请CN202011441942.5，公开一种基于生成对抗网络和记忆模块的异常检测方法，但仍旧无法解决上述的问题，不能达到实时检测的需求。

技术实现思路

[0006]针对现有技术中基于特征对比的异常检测方法存在的上述不足，本专利技术的目的是提出一种基于记存机制的异常检测方法、装置和介质。
[0007]本专利技术的第一方面，提供一种基于记存机制的异常检测方法，包括：
[0008]构建基于记存机制的异常检测网络，所述检测网络包括特征提取网络和记存模块，其中，所述记存模块中包含写入操作和读出操作，所述特征提取网络输出的多尺度特征图作为记存模块的输入；
[0009]在训练阶段，利用所述记存模块的写入操作更新其中的原型特征，其中，所述特征提取网络提取正常样本图像集的多尺度特征图，在每个尺度的特征图上构建一个记存模块，每个所述记存模块中使用M个原型特征高效地表征该尺度的特征图上所有的特征；
[0010]在测试阶段，利用所述记存模块的读出操作生成匹配特征，进而计算异常得分值。
[0011]可选地，所述利用所述记存模块的写入操作更新其中的原型特征，其中：所述记存模块中的原型特征都是随机初始化的，这些原型特征由记存模块的写入操作更新。
[0012]可选地，所述写入操作，包括：
[0013]正常样本的特征图上每个位置处的特征向量作为正常特征，将每个特征图中的所有正常特征输入对应的所述记存模块中；
[0014]对于每个所述原型特征，从这些正常特征中搜索一个子特征集以及对应的权重，该子特征集中每个特征距离最近的原型特征是该所述原型特征，对该子特征集中的特征加权求和后，再和所述原型特征相加，最后进行归一化后完成对原型特征的更新。
[0015]可选地，所述记存模块的写入操作对所述原型特征的更新是迭代进行的，其中：每一次输入新的特征图就对所述原型特征更新一次，迭代更新完成后，所述记存模块中的M个原型特征能高效地表征特征图上所有的特征，有效去除正常特征间大量的冗余信息。
[0016]可选地，所述利用所述记存模块的读出操作生成匹配特征，包括：
[0017]测试样本送入特征提取网络提取出多尺度特征图，对于特征图上的任一特征向量，称之为查询特征；
[0018]利用所述记存模块的读出操作给所述查询特征生成匹配特征；
[0019]计算所述查询特征和所述匹配特征之间的欧式距离，将该欧氏距离作为该位置处的异常得分值。
[0020]可选地，利用所述记存模块的读出操作给所述查询特征生成匹配特征，包括：
[0021]使用K近邻算法从记存模块中得到和所述查询特征最相近的K个原型特征以及对应的权重；
[0022]对所述K个原型特征加权并求和后得到所述查询特征的匹配特征。
[0023]可选地，在所述训练阶段、所述测试阶段，还包括对样本的预处理，其中：
[0024]所述预处理包括将图像统一缩放并裁剪到ho
×
wo分辨率，然后对图像的RGB三通道分别使用均值[0.485,0.456,0.406]和标准差[0.229,0.224,0.225]归一化到[0,1]之间。
[0025]可选地，不同尺度下的所述记存模块中原型特征数量M是不同的，在大尺度下原型特征数量更少，在小尺度下原型特征数量更多。
[0026]本专利技术第二方面，提供一种基于记存机制的异常检测装置，包括至少一个处理器、
以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于记存机制的异常检测方法。
[0027]本专利技术的第三方面，提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所述的基于记存机制的异常检测方法。
[0028]与现有技术相比，本专利技术实施例具有如下至少一种有益效果：
[0029]本专利技术上述提供的基于记存机制的异常检测方法、装置及介质，可以只利用正常样本建模，就可以实现异常检测及定位，避免了对大规模有标注的异常样本数据集的需求，通过使用记存模块中的原型特征高效表征正常特征的方式，有效去除了正常特征间的冗余信息，因为原型特征数量是固定的，因此复杂度不随训练样本数量增加而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于记存机制的异常检测方法，其特征在于，包括：构建基于记存机制的异常检测网络，所述检测网络包括特征提取网络和记存模块，其中，所述记存模块中包含写入操作和读出操作，所述特征提取网络输出的多尺度特征图作为记存模块的输入；在训练阶段，利用所述记存模块的写入操作更新其中的原型特征，其中，所述特征提取网络提取正常样本图像集的多尺度特征图，在每个尺度的特征图上构建一个记存模块，每个所述记存模块中使用M个原型特征高效地表征该尺度的特征图上所有的特征；在测试阶段，利用所述记存模块的读出操作生成匹配特征，进而计算异常得分值。2.根据权利要求1所述的基于记存机制的异常检测方法，其特征在于，所述利用所述记存模块的写入操作更新其中的原型特征，其中：所述记存模块中的原型特征都是随机初始化的，这些原型特征由记存模块的写入操作更新。3.根据权利要求2所述的基于记存机制的异常检测方法，其特征在于，所述写入操作，包括：正常样本的特征图上每个位置处的特征向量作为正常特征，将每个特征图中的所有正常特征输入对应的所述记存模块中；对于每个所述原型特征，从这些正常特征中搜索一个子特征集以及对应的权重，该子特征集中每个特征距离最近的原型特征是该所述原型特征，对该子特征集中的特征加权求和后，再和所述原型特征相加，最后进行归一化后完成对原型特征的更新。4.根据权利要求3所述的基于记存机制的异常检测方法，其特征在于，所述记存模块的写入操作对所述原型特征的更新是迭代进行的，其中：每一次输入新的特征图就对所述原型特征更新一次，迭代更新完成后，所述记存模块中的M个原型特征能高效地表征特征图上所有的特征，有效去除正常特征间大量的冗余信息。5.根据权利要求1所述的基于记存机制的异常检测方法，其特征在于，所述利用所述记存模块的读出操作生成匹配特征，包括：测试样本送入特征提取网络...

【专利技术属性】
技术研发人员：张重阳，姚欣成，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：