【技术实现步骤摘要】
用于自动化缺陷检测的方法和装置
[0001]相关申请本申请要求下述各项的权益：
· 2022年3月28日提交且名称为“Ultrasonic Defect Classification of Isolated Defects using Machine Learning”的具有序列号63/324,342的临时申请，
· 2022年1月7日提交且名称为“Simulated Dynamic Pretraining for Automated Defect Classification”的具有序列号63/297,601的临时申请，以及
· 2021年11月17日提交且名称为“Operator
‑
in
‑
the
‑
loop Training of a Machine Learning Model”的具有序列号63/280,511的临时申请。
[0002]这些申请的整个内容通过引用并入本文。
技术介绍
[0003]在制造之后，可以对设备进行检查以检测缺陷。这防止有缺陷的产品到达市场。作为对检查的辅助，可以获取设备的图像。例如，可以使用光学显微术图像或扫描超声显微术图像以辅助小型设备中的表面缺陷的检测，而可以使用扫描超声显微术图像或x射线图像以检测设备内的缺陷。
[0004]通常，对操作者进行训练，以检查这些图像，以识别设备中的缺陷。然而，这要求广泛训练，并且另外，由于低对比度缺陷、操作者间的变动、疲劳、以及要分析的设备的庞大数目，该过程易于出错。>[0005]存在这些图像的自动化分析的各种方法以检测缺陷。然而，可分析的不同设备的数目、设备自身的复杂性以及缺陷范例的有限数目可能导致在具有足够数据以训练自动化分类器时的大困难。
附图说明
[0006]附图提供了视觉表示，该视觉表示将用于更充分地描述各种代表性实施例，且可以被本领域技术人员使用以更好地理解所公开的代表性实施例及其内在优势。在这些附图中，相似附图标记标识对应或相似元素。
[0007]图1是根据各种代表性实施例的自动化缺陷分类器的框图。
[0008]图2是根据各种代表性实施例的生成用于与所获取的图像比较的一个或多个参考图像的方法的流程图。
[0009]图3是根据各种代表性实施例的对设备中的缺陷进行检测和分类的方法的流程图。
[0010]图4是根据各种代表性实施例的用于训练用于检查系统中的缺陷分类的机器学习（ML）模型的装置的框图。
[0011]图5是根据各种代表性实施例的更新基于ML的自动化缺陷分类器的方法的流程图。
[0012]图6是根据各种代表性实施例的用于训练自动化缺陷分类器的装置的框图。
[0013]图7是根据各种代表性实施例的生成针对自动化缺陷分类器的训练材料的方法的流程图。
[0014]图8示出了根据各种代表性实施例的示例图像。
具体实施方式
[0015]本文描述的各种装置和设备提供了用于基于设备的所获取的图像对设备中的缺陷进行自动化检测和分类的机制。
[0016]尽管本公开易受以许多不同形式存在的实施例的影响，但在附图中示出且本文将详细描述具体实施例，其中要理解，本文示出和描述的实施例应当被视为提供本公开的原理的示例，且不意在将本公开限于所示出和描述的具体实施例。在以下描述中，相似附图标记用于描述附图的若干视图中的相同、类似或对应部分。为了图示的简明和清楚，可以在附图之间重复附图标记以指示对应或相似的元素。
[0017]设备中的缺陷的自动化检测和分类可以基于设备的所获取的图像。可以例如通过下述操作来获得图像：使用相机或检测器以捕获电磁辐射，诸如可见光、红外光或X射线。可替换地，可以根据对象上的扫描（诸如，使用扫描声学显微镜的超声扫描或磁共振成像（MRI）扫描）生成图像。
[0018]例如，在用于半导体设备的非破坏性测试的扫描超声显微术的环境中，机械扫描装置可以跨测试中设备而在正交（X和Y）方向上移动超声换能器，从而在期望区域上从多个所反射或发射的脉冲构造图像。一个或多个这种设备的图像是对自动化缺陷分类器的输入。超声成像在识别分层、空白、意外融合或桥、裂缝以及对半导体分析来说共有的其他这种缺陷时特别好。这些扫描可以是在晶片、个体设备、半导体封装（诸如，集成电路）和其他这种样本上完成的。
[0019]通常，对操作者进行训练，以检查这些图像，以识别设备中的缺陷。这要求广泛训练，并且由于低对比度缺陷、操作者间的变动、疲劳、以及可分析的设备的庞大数目，该过程易于出错。
[0020]存在这些图像的自动化分析的各种方法以找到缺陷并对缺陷进行分类。然而，可分析的不同设备的数目、设备自身的复杂性以及缺陷范例的有限数目可能导致在具有足够数据以训练自动化分类器时的大困难。
[0021]在在先自动化系统中，使用原始缺陷图像或从其导出的特性。原始图像包括测试中设备的结构，因此，自动化分类器必须学习如何将缺陷与设备结构分离。根据本公开，在分类中使用所获取的图像与参考图像之间的差别，而不是原始图像。这将缺陷与特定设备类型隔离，并简化了训练过程。可以利用分类器基于诸如大小、形状、纹理、对比度水平等之类的经典图像测量结果来有用地分析差别图像中的所隔离的缺陷，该分类器将这些识别为诸如裂缝、划痕、空白、意外融合和其他这种类别之类的缺陷。可替换地，可以使用基于ML的分类器来分析图像。如下所讨论，可以以多种方式获得差别，该多种方式包括参考图像的简单扣减。
[0022]所识别的缺陷类型可以可选地与用于更详细分类的缺陷位置（诸如，设备的特定部分上的空白）相关联。
[0023]该途径的一个特定优点是：可以在许多不同设备中看到所隔离的缺陷类型，从而
允许经训练的分类器被应用于多个设备，而无需从所生产的每个设备获取缺陷范例以及每次训练或重新训练分类器。
[0024]图1是根据各种代表性实施例的用于自动化缺陷分类的装置100的框图。装置100包括例如图像捕获设备102，诸如扫描超声显微镜或相机。图像捕获设备102产生在储存装置106中的图像储存器104中存储的数字图像。储存装置106还存储用于与所捕获的图像比较的一个或多个参考图像108。装置100还包括一个或多个处理器110。这些可以包括可编程处理器、专用硬件或其组合。相应地，储存装置106还可以存储处理器可执行指令的程序。该一个或多个处理器实现下述各项：缩放和对准块112，其对所获取的图像进行调整、缩放和归一化以更好地与参考图像对准；以及差别化器114，其确定差别图像。在一个实施例中，差别图像是通过下述操作来产生的：从所获取的图像的像素值扣减参考图像的像素值（或者反之亦然）。下面描述其他实施例。可选地，当多个参考图像可用时，可以测量并使用图像之间的变化的统计数据，以对差别图像进行缩放。检测器116根据差别图像识别是否任何区示出显著差距或异常。特别地，检测器识别差别图像中的所隔离的异常。当检测到异常时，将关联信息传递到分类器118。关本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动化检查的方法，包括：获取检查中对象的图像；生成与所述检查中对象相同类型的对象的所获取的图像和参考图像之间的差别图像；以及将所述差别图像的特性传递到自动化缺陷分类器，以对所述检查中对象中的缺陷进行分类，其中所述差别图像的特性包括所述差别图像的像素或根据其而确定的特征。2.如权利要求1所述的方法，进一步包括：在所述差别图像中检测包含异常的隔离区，其中被传递到所述自动化缺陷分类器的所述差别图像的特性包括所述隔离区中的所述差别图像的像素或根据其而确定的特征。3.如权利要求1所述的方法，其中生成差别图像包括：计算所获取的图像的像素与所述参考图像的像素之间的逐像素差别。4.如权利要求1所述的方法，进一步包括：在生成差别图像之前调整所获取的图像，其中所述调整包括旋转、平移、缩放、强度归一化和对比度归一化中的一个或多个。5.如权利要求4所述的方法，其中所述调整基于对所获取的图像与所述参考图像之间的差别的度量进行最小化。6.如权利要求1所述的方法，进一步包括：将所述参考图像生成为与所述检查中对象相同类型的一个或多个无缺陷对象的多个图像的均值。7.如权利要求1所述的方法，进一步包括：确定与所述检查中对象相同类型的一个或多个对象的多个图像的标准差；以及至少部分地基于所计算的标准差来识别所述对象中的一个或多个缺陷。8.如权利要求7所述的方法，进一步包括：基于所确定的标准差来缩放所述差别图像的值。9.如权利要求1所述的方法，进一步包括：将所述对象的差别图像显示给人类操作者；从所述人类操作者接收在所述差别图像中可见的缺陷的分类标签；以及基于所述分类标签来更新所述自动化缺陷分类器。10.如权利要求9所述的方法，其中所述分类标签是现有分类标签或新分类标签。11.如权利要求9所述的方法，进一步包括：将从所述人类操作者接收的分类标签与由所述自动化缺陷分类器生成的分类标签进行比较；以及基于比较的结果来更新所述自动化缺陷分类器的准确度的度量。12.如权利要求11所述的方法，进一步包括：将准确度的度量与阈值进行比较；以及当准确度的度量超过阈值时，启用全自动化缺陷分类。13.如权利要求1所述的方法，进一步包括：基于所述差别图像来识别测试中对象的图像的包含所述测试中对象中的缺陷的区；将所述图像的区显示给人类操作者；从所述人类操作者接收在所述图像的区中可见的缺陷的分类标签；以及生成包含加标签的缺陷的多个仿真图像，所述仿真图像至少部分地基于所述检查中对
象...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。