缺陷检测方法和设备技术

实施方式包括一种处理物理样本的图像以识别成像的物理样本上的缺陷的设备、方法以及计算机可读介质。该方法包括：执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；获取产品或材料的目标物理样本的实时图像；将实时图像输入至经训练的生成器神经网络以生成实时图像的无缺陷重建；将所生成的实时图像的无缺陷重建与所获取的实时图像进行比较以确定差异；在所确定的差异的位置处识别目标物理样本上的缺陷。其中，由叠加的缺陷图像数据引起的每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。值。值。

【技术实现步骤摘要】
缺陷检测方法和设备


[0001]本专利技术属于缺陷识别领域。具体地，本专利技术涉及使用机器学习算法以使缺陷检测和识别自动化。

技术介绍

[0002]材料制造公司处于非常严格的标准的约束中。为了提供可能的最高质量的材料，同时生产总是更复杂的部件，制造商必须高效地控制他们自己的产品。为此，已经使用了无损检测(NDT)。NDT涵盖了科学与技术行业中用于评估材料、部件或系统的特性而不会造成损坏的广泛的分析技术。然而，在自动化生产线中，检查处理是瓶颈，因此增加了生产成本。
[0003]制造商通过对产品进行成像来捕获大量数据，但是由于产品未被标记，因此在检查过程中需要人工输入。
[0004]用于使材料表面检查自动化的现有技术可以分类成以下两种方式：
[0005]·
第一，创建带有人工标签的图像的大型数据集，这非常费力，并且受到注释者的专业知识的限制。
[0006]·
第二，创建手工制作的算法。该技术对未标记的数据集应用计算机视觉方法，并且针对标记的小型数据集评估算法。这样的技术具有使有效算法工程化的困难。

技术实现思路

[0007]本专利技术在现在应当对其进行参考的独立权利要求中被定义。另外的特征在从属权利要求中陈述。
[0008]实施方式包括一种计算设备，该计算设备被配置用于通过在处理硬件和存储器硬件上执行以下处理来对物理样本的图像进行处理以识别成像的物理样本上的缺陷，所述处理包括：执行对生成器神经网络的无监督训练，以生成对输入图像的无缺陷重建；获取产品或材料的目标物理样本的实时图像(live image)；将实时图像输入至经训练的生成器神经网络以生成实时图像的无缺陷重建；将所生成的实时图像的无缺陷重建与所获取的实时图像进行比较以确定差异；在所确定的差异的位置处识别目标物理样本上的缺陷。其中，无监督训练包括：获取产品或材料的无缺陷物理样本的图像集；第一训练阶段，包括多个时期，在多个时期中：通过将缺陷图像数据叠加在作为父图像的无缺陷物理样本的图像集的每个成员上来针对每个时期合成训练数据图像；在每个时期处，由生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对生成器神经网络进行迭代地训练，以使对经合成的训练数据图像的重建中的每个重建与无缺陷物理样本的相应父图像之间的损失函数最小化；其中，由叠加的缺陷图像数据引起的每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。
[0009]实施方式提供了一种自动缺陷检查机制。实施方式自动地训练生成器神经网络以产生物理样本的图像的无缺陷或减少缺陷的版本，物理样本的图像的无缺陷或减少缺陷的版本在与实际图像进行比较时揭示缺陷的位置。以这种方式，可以在没有标记的训练数据
的情况下执行基于AI的缺陷识别。
[0010]实施方式使用无监督的人工智能，这意指模型(即，生成器神经网络和损失函数)自学以检测缺陷。实施方式利用无缺陷或近乎无缺陷的样本图像来训练神经网络以从图像中去除缺陷，例如，划痕、凹痕等，使得可以通过与原始图像进行比较来检测缺陷，在其中缺陷可见。由于训练是自动化的，因此与现有技术相比，训练系统的成本大大降低。此外，所检测到的缺陷不受人类训练员的知识的限制。
[0011]异常(例如，随机异常、真实缺陷或经修改的真实缺陷)在缺陷图像数据中示出，并且被叠加在无缺陷数据(父图像)上以获得训练数据图像。然后，对输入了训练数据图像的生成器神经网络(自动编码器)进行训练，以便去除异常。在该训练阶段中，生成器神经网络的输入是无缺陷图像(即，父图像)，其附加(叠加)如人工异常的缺陷图像数据，并且输出是没有异常的训练数据图像的重建。可以经由该训练过程来训练可以去除异常(例如，划痕等)的生成器神经网络。
[0012]例如，比较是用于创建残差(两个版本之间的差异的位图或某些其他表示)并且查找缺陷的视觉比较。例如，可以逐像素、逐块、使用一些局部度量、或者基于预训练的神经激活、或者根据那些技术的某种组合来完成比较。
[0013]实施方式适于在制造领域中(尤其是在生产线中)实现，其中，产品或材料的物理样本是正在制造的材料或部件。实施方式也适于在医学领域中实现，其中，物理样本是人类或非人类(包括尤其是爬行动物、鸟类、兽)组织(例如，组织表面)的成像部分，包括电活动或组织的扫描的内部器官的图像。实施方式还适于在基础设施检查领域中实现，以用于识别结构中的缺陷，例如，(从无人机成像的)风力涡轮机的叶片、(从无人机成像的)桥梁或(利用车载摄像机成像的)道路表面。
[0014]缺陷可以是从背景中突出的任何事物(包括表示的背景是规则纹理或一系列结构的那些实例)，缺陷还可以包括凸起/凹陷(可能指示厚度不一致)、脱色。缺陷可以被配置成不包括特定形状，例如，动物状。
[0015]实施方式管理通过将缺陷图像数据叠加到父图像上引起的变化量。可以直接管理变化量，并且可以通过变化的像素的数量，或者通过变化的像素的数量以及每个像素的像素值的变化的量(例如，对所有变化的像素的这样的量的总和)来量化变化量。因此，例如，叠加包括确定要叠加的缺陷图像数据，并且可选地还包括叠加条件，例如，不透明度(opacity)，以引起所需的变化量。可替选地，可以间接地管理变化量，例如，因为变化量与要叠加到父图像上的缺陷图像数据的大小或量直接相关。例如，缺陷图像数据可以被存储为多个图像，每个图像具有基本上相等(即，正负约10％)的大小，使得通过管理叠加的这样的缺陷图像的数量，即使不测量变化量也可以管理变化量。可以进行管理以提供所需的变化量的缺陷图像数据的其他方面是大小、形状、颜色、透明度(transparency)和异常量。
[0016]实施方式提供了一种特定的训练技术，该训练技术相对于训练时期的数量快速地减少了损失。实施方式仅需要物理样本的无缺陷图像，缺陷图像数据可以被随机生成。因此，实际缺陷图像数据的可用性不是限制。
[0017]根据训练条件而增长意指增长取决于是否满足条件，该条件是表示训练过程的进展的变量(例如，完成的训练时期、时期内的累计损失函数值、可配置权重(和偏差)的稳定性)是否满足阈值。其中，满足阈值引起父图像与相应训练数据图像之间的差异的增长，并
且引起对来自一系列阈值中的新阈值的设定。
[0018]可选地，无监督训练还包括：初始训练阶段，该初始训练阶段包括一个或更多个时期并且在第一训练阶段之前，其中，用于初始训练阶段的训练数据图像包括无缺陷物理样本的图像集的每个成员。
[0019]可选地，初始训练阶段包括：生成器神经网络重建用于初始训练阶段的训练数据图像，并且对生成器神经网络进行迭代地训练，以使用于初始训练阶段的训练数据图像中的每一个与相应重建之间的损失函数最小化。
[0020]有利地，初始训练阶段使生成器神经网络能够学习与物理样本的正常条件或正常状态相对应的潜在特征。
[0021]可选地，对于多个训练时期，每个训练数据图像与相应父图像之间的差异量处于最大值。
[0022]可选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算设备，包括处理器硬件和存储器硬件，所述存储器硬件存储处理指令，所述处理指令在由所述处理器硬件执行时使所述处理器硬件通过执行以下处理来处理物理样本的图像以识别成像的物理样本上的缺陷，所述处理包括：执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；获取产品或材料的目标物理样本的实时图像；将所述实时图像输入至经训练的生成器神经网络，以生成所述实时图像的无缺陷重建；将所生成的所述实时图像的无缺陷重建与所获取的实时图像进行比较，以确定差异；在所确定的差异的位置处识别所述目标物理样本上的缺陷；其中，所述无监督训练包括：获取产品或材料的无缺陷物理样本的图像集；第一训练阶段，其包括多个时期，在所述多个时期中：通过将缺陷图像数据叠加在作为父图像的所述无缺陷物理样本的图像集的每个成员上，针对每个时期合成训练数据图像；在每个时期，由所述生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使经合成的训练数据图像的重建中的每个重建与相应的无缺陷物理样本的父图像之间的损失函数最小化；其中，由叠加的缺陷图像数据引起的、每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。2.根据权利要求1所述的计算设备，其中，所述无监督训练还包括：初始训练阶段，所述初始训练阶段包括一个或更多个时期并且在所述第一训练阶段之前，其中，用于所述初始训练阶段的训练数据图像包括所述无缺陷物理样本的图像集中的每个成员。3.根据权利要求1所述的计算设备，其中，所述初始训练阶段包括：所述生成器神经网络重建用于初始训练阶段的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使用于所述初始训练阶段的训练数据图像中的每一个与相应重建之间的损失函数最小化。4.根据权利要求1所述的计算设备，其中，对于多个训练时期，每个训练数据图像与相应父图像之间的差异量处于最大值。5.根据权利要求1所述的计算设备，其中，所述函数是反曲增加函数或线性增加函数。6.根据前述权利要求中任一项所述的计算设备，其中，每个训练数据图像与相应父图像之间的差异量是通过在每个时期的通过在作为父图像的所述无缺陷物理样本的图像集的每个成员上进行叠加而进行的合成中进行以下操作而引起的：提高以下中的至少一者：缺陷图像的数量、缺陷图像的大小、缺陷图像数据的量、缺陷图像像素的数量、父图像与缺陷图像之间的平均像素值差、以及叠加的缺陷图像数据的不透明度。7.根据前述权利要求中任一项所述的计算设备，其中，所述缺陷图像数据包括以下中的至少一者：除了所述无缺陷物理样本的图像集中的产品或材料以外的产品或材料的图像；
计算机生成的纹理或图案的图像；以及所述无缺陷物理样本的图像集中的产品或材料的表面上的缺陷的图像。8.根据权利要求1所述的计算设备，其中，所述缺陷图像数据在被叠加到相应父图像上时是部分透明的。9.根据权利要求1所述的计算设备，其中，所述生成器神经网络是卷积自动编码器。10.根据权利要求1所述的计算设备，其中，在每个训练时期中：根据作为父图像的所述无缺陷物理样本的图像集的每个成员合成两个训练数据图像，不同的缺陷图像数据被叠加在所述两个训练数据图像中的每一个上；对所述生成器神经网络的迭代训练包括：对于每个父图像，将父图像和两个相应的训练数据图像输入至所述生成器神经网络，从而用于重建，所述损失函数是包括第一因子、第二因子和第三因子的多个因子的累计，所述第一因子与父图像和重建的父图像之间的第一损...

【专利技术属性】
技术研发人员：樋田祐辅，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：