使用多个机器学习程序检测图像中的异常的方法和系统技术方案

本发明专利技术总体上涉及机器视觉系统，并且更具体地涉及对由成像传感器观察到的场景中的异常的检测。常的检测。常的检测。

【技术实现步骤摘要】
使用多个机器学习程序检测图像中的异常的方法和系统


[0001]本专利技术总体上涉及机器视觉系统，并且更具体地涉及对由成像传感器观察到的场景中的异常的检测。

技术介绍

[0002]图像数据中的异常的检测和定位在许多机器视觉应用中是重要的任务。常用方法是使用机器学习，通过用人监督在图像上训练机器学习来创建称为模型的预测程序，该预测程序以图像中的异常的标签或注释的形式提供。然而，异常图像在模型创建期间通常不可用，并且难以确定在实践中可能发生的所有可能类型的异常。因此，期望不需要在训练图像中注释或呈现异常的异常检测方法。例如，在制造行业中，光学检查任务经常缺乏可以用于训练异常检测模型的缺陷样本的详尽集合。这是由于现代制造机器的低错误率以及在生产过程中可能出现的缺陷的高多样性。本文描述了用于检测图像中的异常的方法。所述方法不需要在用于模型创建的训练图像中注释或呈现异常。
[0003]用于检测图像中的异常的方法的场景是多样的并且已经引入许多方法来解决该问题。埃雷特(Ehret)等人(EHRET，T.等人，图像异常：检测方法的综述和合成(A Review and Synthesis of Detection Methods)。数学成像与视觉杂志(Journal of Mathematical Imaging and Vision)，2019年第61卷，第5期，第710
–
743页)给出了现有工作的全面综述。许多方法由于神经网络的学习描述图像中的复杂模式的辨别性表示(称为特征)的能力而使用神经网络。以下段落描述了基于神经网络的许多方法落入的类别。
[0004]基于自动编码器的方法试图通过低维度瓶颈来重构输入图像。其示例是Venkataramanan等人(VENKATARAMANAN，S.等人，图像中的注意力引导异常定位(Attention Guided Anomaly Localization in Images)。在：计算机视觉
–
ECCV 2020，斯普林格国际出版社，卡姆，2020年，第485
–
503页)和刘等人(LIU，W.等，走向视觉解释变化的自动编码器(Towards Visually Explaining Variational Autoencoders)。在：IEEE/CVF计算机视觉与模式识别(CVPR)会议论文集，2020年，第8642
‑
8651页)提出的方法。基于自动编码器的方法通常依赖于以下假设：异常图像的重构不如无异常图像的重构准确。对于要搜索异常的新图像，因此可以通过将所述输入图像与其重构进行比较来导出异常图。不幸的是，自动编码器往往产生模糊和不准确的重构。伯格曼等人(BERGMANN，P等人，通过对自动编码器应用结构相似度来改进无监督的缺陷分割(Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders)。在：第十四届计算机视觉、成像与计算机图形理论与应用国际联合会议，第5卷：VISAPP，Scitepress，Set
ú
bal，2019年，第372
‑
380页)观察到，这导致误肯定的增加，即，由于重构误差而获得高异常分数的无异常像素。自动编码器还可以学习简单地复制输入数据的部分，这将允许它们重构异常区域以及无异常区域。如果异常像素由于准确的重构而获得低异常分数，则这导致误否定的增加。为了阻止这种行为，帕克等人(PARK，H.等人，学习用于异常检测的存储器引导的正态性(Learning Memory
‑
Guided Normality for Anomaly Detection)。在：计算机视觉与模式
识别(CVPR)会议论文集，2020年，第14372
‑
14381页)介绍了MNAD方法，该方法使用具有集成存储器模块的自动编码器。其在训练期间选择许多潜在特征，所述潜在特征需要在推理期间被重新用于重构。虽然这有帮助，但是它们的方法仍然遭受模糊重构。
[0005]类似于自动编码器，基于生成对抗网络(GAN)的方法尝试通过找到合适的潜在表示作为用于生成器网络的输入来重构图像。苏黎世等人(SCHLEGL，T.等人，F
‑
AnoGAN：用生成的对抗网络快速无监督的异常检测(Fast Unsupervised Anomaly Detection with Generative Adversarial Networks)。在：医学图像分析(Medical Image Analysis)，第54卷，2019年，第30
‑
44页)提出了f
‑
AnoGAN，针对该f
‑
AnoGAN，编码器网络被训练为输出最佳地重构训练数据的潜在向量。输入图像与重构的每像素位置比较产生异常图。Gulrajani等人(GULRAJANI，I.等人，沃瑟斯坦(Wasserstein)GAN的改进训练(Improved Training of Wasserstein GANs)。在：神经信息处理系统研究进展(Advances in Neural Information Processing Systems)，第30卷，柯伦联合有限公司，2017年中)观察到基于GAN的方法难以在高分辨率图像上进行训练。所以，f
‑
AnoGAN以64x64像素的分辨率处理图像，这导致非常粗糙的异常图。
[0006]若干现有的现有技术异常检测方法对从预训练网络提取的块特征(patch feature)的分布进行建模。其示例是由伯格曼等人(BERGMANN，P等人，不知情学生：用判别潜伏嵌入学生
‑
教师异常检测(Uninformed Students:Student
‑
Teacher Anomaly Detection With Discriminative Latent Embeddings)。在：IEEE/CVF计算机视觉与模式识别(CVPR)会议论文集，2020年，第4183
‑
4192页)，布利纳等人(BURLINA，P.等人，沃利现在在哪儿？用于新检测的深刻生成和辨别嵌入(Where
’
s Wally Now？Deep Generative and Discriminative Embeddings for Novelty Detection)。在：IEEE/CVF计算机视觉与模式识别(CVPR)会议论文集，2019年，第11507
‑
11516页)以及科恩和Hoshen(COHEN，N和HOSHEN，Y，具有深金字塔对应关系的子图像异常检测(Sub
‑
Image Anomaly Detection with Deep Pyramid Correspondences).arXiv预打印a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，用于使用至少一个机器学习程序检测数字图像中的异常，所述方法包括以下步骤：(a)获取一个或更多个训练图像；(b)通过执行至少一次训练迭代来在所述训练图像上训练所述方法，每次训练迭代包括以下步骤：(b1)从所述训练图像中选择一个或更多个图像；(b2)计算每个选择的训练图像的多个性能分数，包括以下步骤：(b21)获得所述选择的训练图像的目标表示；(b22)指示编码器程序，以通过将所述编码器程序应用于所述选择的训练图像来计算比所述选择的训练图像低维度的中间训练表示；(b23)指示解码器程序，以通过将所述解码器程序应用于所述中间训练表示来计算比所述中间训练表示高维度的训练解码输出；(b24)基于所述训练解码输出和所述选择的训练图像的所述目标表示来计算一个或更多个解码性能分数；(b25)指示回归程序，以通过将所述回归程序应用于所述选择的训练图像来计算训练回归输出；(b26)基于所述选择的训练图像的所述训练回归输出和所述训练解码输出来计算一个或更多个回归性能分数；(b3)调整所述机器学习程序的参数以提高所述选择的训练图像的所述性能分数；(c)获取一个或更多个搜索图像；(d)检测所述搜索图像中的异常，对于每个搜索图像包括以下步骤：(d1)指示所述编码器程序，以通过将所述编码器程序应用于所述搜索图像来计算比所述搜索图像低维度的中间搜索表示；(d2)指示所述解码器程序，以通过将所述解码器程序应用于所述中间搜索表示来计算比所述中间搜索表示高维度的搜索解码输出；(d3)指示所述回归程序，以通过将所述回归程序应用于所述搜索图像来计算搜索回归输出；(d4)对所述搜索图像的所述搜索回归输出和所述搜索解码输出应用搜索相似度度量以计算一个或更多个搜索相似度值；(d5)基于所述搜索相似度值计算所述搜索图像的一个或更多个异常分数。2.根据权利要求1所述的方法，其中将在步骤(d5)中计算的所述异常分数与由至少一个第二异常检测程序计算的一个或更多个第二异常分数组合，并且基于在步骤(d5)中计算的所述异常分数的值中的一些或全部和所述第二异常分数的值中的一些或全部来确定异常的存在。3.根据权利要求1或2所述的方法，其中由第一异常检测程序单独地计算或与由至少一个第二异常检测程序计算的一个或更多个第二异常分数组合的所述计算的异常分数中的一些或全部被空间地布置，从而形成用于所述搜索图像中的一些或全部的一个或更多个异常图。4.根据权利要求2和3所述的方法，其中所述异常图中的一些或全部与由至少一个第二
异常检测程序计算的一个或更多个异常图组合，所述方法包括以下步骤：(e1)在步骤(d5)中获...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：MV科技软件有限责任公司，
类型：发明
国别省市：