用于检测缺陷的方法、设备和计算机可读存储介质技术

根据本公开的示例实施例，提供了用于检测缺陷的方法、设备和计算机可读存储介质。在接收到将要用于训练缺陷检测模型的候选图像集后，从已用于训练缺陷检测模型的历史图像集中选择一组历史图像。候选图像集和历史图像集中的图像包括与图像中的对象有关的缺陷。从候选图像集中确定一组代表性图像。代表性图像能够反映候选图像集中的多个不同图像的图像特征。然后，至少基于所选择的一组历史图像和一组代表性图像，训练缺陷检测模型。经训练的缺陷检测模型用于检测与待检测图像中的对象有关的缺陷。本公开的实施例能够加速缺陷检测模型的增量训练。

【技术实现步骤摘要】
用于检测缺陷的方法、设备和计算机可读存储介质
本公开的实施例主要涉及计算机领域，并且更具体地，涉及用于检测缺陷的方法、设备和计算机可读存储介质。
技术介绍
自动的缺陷检测(也称为缺陷检查)已广泛应用于各个领域，例如半导体制造、平板显示器制造和其他制造行业。在这种缺陷检测中，通常从待检测对象的图像中检测潜在缺陷。例如，可以从半导体芯片的图像中检测潜在缺陷。为了使缺陷检测过程自动化，通常采用机器学习方法(例如，深度学习方法)来检测缺陷、对检测到的缺陷进行分类和/或标记缺陷位置等。机器学习方法显著减少了人工检查的工作量，并避免了由于疲劳引起的人工错误。
技术实现思路
根据本公开的示例实施例，提供了一种用于检测缺陷的方案。在本公开的第一方面，提供一种训练缺陷检测模型的方法。该方法包括：响应于接收到将要用于训练缺陷检测模型的候选图像集，从已用于训练缺陷检测模型的历史图像集中选择一组历史图像，候选图像集和历史图像集中的图像包括与图像中的对象有关的缺陷；从候选图像集中确定一组代表性图像，一组代表性图像中的每个图像反映候选图像集中的多个不同图像的图像特征；以及至少基于一组历史图像和一组代表性图像，训练缺陷检测模型，以用于检测与待检测图像中的对象有关的缺陷。在本公开的第二方面，提供一种检测缺陷的方法。该方法包括：获得待检测图像，待检测图像中的对象具有缺陷；以及利用根据第一方面的方法训练的缺陷检测模型，确定与该缺陷有关的信息。在本公开的第三方面中，提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括：响应于接收到将要用于训练缺陷检测模型的候选图像集，从已用于训练缺陷检测模型的历史图像集中选择一组历史图像，候选图像集和历史图像集中的图像包括与图像中的对象有关的缺陷；从候选图像集中确定一组代表性图像，一组代表性图像中的每个图像反映候选图像集中的多个不同图像的图像特征；以及至少基于一组历史图像和一组代表性图像，训练缺陷检测模型，以用于检测与待检测图像中的对象有关的缺陷。在一些实施例中，从候选图像集中确定一组代表性图像包括：基于候选图像集中的每个候选图像的图像特征，将候选图像集划分成候选图像的多个分组；以及从多个分组中的每个分组中选择至少一个候选图像以组合成一组代表性图像，其中在每个分组中所选择的至少一个候选图像反映相应分组中的候选图像的图像特征。在一些实施例中，将候选图像集划分成多个分组包括：对候选图像集中的每个候选图像的图像特征进行数据降维操作，以获得经降维的图像特征；基于经降维的图像特征，对候选图像集中的候选图像进行聚类；以及基于聚类的结果，确定与多个分组对应的多个簇。在一些实施例中，从多个分组中的每个分组中选择至少一个候选图像以组合成一组代表性图像包括：针对多个分组中的第一分组，确定与第一分组相对应的第一簇的中心和边缘；以及选择以下至少一项以组合成一组代表性图像：在第一簇中与中心的距离在第一阈值范围内的候选图像，或在第一簇中与边缘的距离在第二阈值范围内的候选图像。在一些实施例中，动作还包括：将一组代表性图像添加至历史图像集，以用于缺陷检测模型的后续训练。在本公开的第四方面中，提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括：获得待检测图像，待检测图像中的对象具有缺陷；以及利用根据第一方面的方法训练的缺陷检测模型，确定与缺陷有关的信息。在本公开的第五方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。在本公开的第六方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第二方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了用于训练缺陷检测模型的一种常规方案的示意图；图2示出了用于训练缺陷检测模型的另一种常规方案的示意图；图3示出了根据本公开的一些实施例的模型训练系统的示意性框图；图4示出了根据本公开的一些实施例的对候选图像集的聚类结果的示意图；图5示出了根据本公开的一些实施例的缺陷检测系统的示意性框图；图6示出了根据本公开的实施例的训练缺陷检测模型的示例方法的流程图；图7示出了根据本公开的实施例的检测缺陷的示例方法的流程图；以及图8示出了能够实施本公开的多个实施例的计算设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。在本公开的实施例中，术语“模型”能够处理输入并且提供相应输出。以神经网络模型为例，其通常包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的模型(也称为“深度学习模型”)通常包括许多隐藏层，从而延长网络的深度。神经网络模型的各个层按顺序相连以使得前一层的输出被用作后一层的输入，其中输入层接收神经网络模型的输入，而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。如上文所简要提及的，机器学习方法已用于缺陷检测。机器学习方法需要对机器学习模型进行训练。在训练基于机器学习的缺陷检测模型时，需要使用训练数据集，这种训练数据集通常包括一组图像和缺陷标签。经训练的模型取决于：训练数据集，例如图像和缺陷标签)；训练过程，例如批处理大小、迭代次数等；以及模型类型，例如神经网络结构。当训练过程和模型类型相同时，经训练的模型仅由训练数据集确定。参考图1，其示出了用于训练缺陷检测模型的一种常规方案的示意图。在图1中，模型训练装置120分别使用训练数据集101、102和103训练缺陷检测模型111、112和113。经训练的缺陷检测模型111、本文档来自技高网...

【技术保护点】
1.一种训练缺陷检测模型的方法，包括：/n响应于接收到将要用于训练所述缺陷检测模型的候选图像集，从已用于训练所述缺陷检测模型的历史图像集中选择一组历史图像，所述候选图像集和所述历史图像集中的图像包括与图像中的对象有关的缺陷；/n从所述候选图像集中确定一组代表性图像，所述一组代表性图像中的每个图像反映所述候选图像集中的多个不同图像的图像特征；以及/n至少基于所述一组历史图像和所述一组代表性图像，训练所述缺陷检测模型，以用于检测与待检测图像中的对象有关的缺陷。/n

【技术特征摘要】
1.一种训练缺陷检测模型的方法，包括：
响应于接收到将要用于训练所述缺陷检测模型的候选图像集，从已用于训练所述缺陷检测模型的历史图像集中选择一组历史图像，所述候选图像集和所述历史图像集中的图像包括与图像中的对象有关的缺陷；
从所述候选图像集中确定一组代表性图像，所述一组代表性图像中的每个图像反映所述候选图像集中的多个不同图像的图像特征；以及
至少基于所述一组历史图像和所述一组代表性图像，训练所述缺陷检测模型，以用于检测与待检测图像中的对象有关的缺陷。


2.根据权利要求1所述的方法，其中从所述候选图像集中确定所述一组代表性图像包括：
基于所述候选图像集中的每个候选图像的图像特征，将所述候选图像集划分成候选图像的多个分组；以及
从所述多个分组中的每个分组中选择至少一个候选图像以组合成所述一组代表性图像，其中在每个分组中所选择的所述至少一个候选图像反映相应分组中的候选图像的图像特征。


3.根据权利要求2所述的方法，其中将所述候选图像集划分成所述多个分组包括：
对所述候选图像集中的每个候选图像的所述图像特征进行数据降维操作，以获得经降维的图像特征；
基于所述经降维的图像特征，对所述候选图像集中的候选图像进行聚类；以及
基于所述聚类的结果，确定与所述多个分组对应的多个簇。


4.根据权利要求3所述的方法，其中从所述多个分组中的每个分组中选择所述至少一个候选图像以组合成所述一组代表性图像包括：
针对所述多个分组中的第一分组，确定与所述第一分组相对应的第一簇的中心和边缘；以及
选择以下至少一项以组合成所述一组代表性图像：
在所述第一簇中与所述中心的距离在第一阈值范围内的候选图像，或
在所述第一簇中与所述边缘的距离在第二阈值范围内的候选图像。

<...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：全芯智造技术有限公司，
类型：发明
国别省市：安徽;34