优化用于设置检验相关算法的训练组制造技术

本发明专利技术提供用于训练检验相关算法的方法及系统。一个系统包含一或多个计算机子系统，所述一或多个计算机子系统经配置以使用标记缺陷组来执行检验相关算法的初始训练，借此产生所述检验相关算法的初始版本，且将所述检验相关算法的所述初始版本应用到未标记缺陷组。所述(若干)计算机子系统还经配置以基于所述应用的结果来变更所述标记缺陷组。接着，所述(若干)计算机子系统可迭代地再训练所述检验相关算法且变更所述标记缺陷组，直到所述算法的最新版本与先前版本所产生的结果之间的一或多个差达到一或多个标准。当所述一或多个差达到所述一或多个标准时，输出所述检验相关算法的所述最新版本作为经训练算法。

Optimizing the training group for setting up test-related algorithms

The present invention provides a method and system for training and testing related algorithms. A system includes one or more computer subsystems that are configured to perform initial training of a test-related algorithm using a labeled defect group, thereby generating an initial version of the test-related algorithm, and applying the initial version of the test-related algorithm to an unlabeled defect group. The computer subsystems described (several) are also configured to change the flag defect group based on the results of the application. Next, the computer subsystems can iteratively retrain the test-related algorithm and change the label defect group until one or more differences between the latest version of the algorithm and the results of the previous version reach one or more criteria. When one or more of the differences meet the one or more criteria, the latest version of the test-related algorithm is output as a trained algorithm.

【技术实现步骤摘要】
【国外来华专利技术】优化用于设置检验相关算法的训练组
本专利技术大体上涉及优化用于设置检验相关算法的训练组的方法及系统。
技术介绍
在此节中，下列描述及实例不凭借其内含物而认为是现有技术。在半导体制造过程期间，在各种步骤中使用检验过程以检测晶片上的缺陷，从而促进所述制造过程中的更高产量且因此促进更高利润。检验一直是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对可接受的半导体装置的成功制造变得更重要，这是因为较小缺陷可导致装置不合格。当在样品(例如晶片)上检测到缺陷时，通常将某种类型的算法应用到所检测的缺陷以将其分成不同种类的缺陷(或将缺陷与非缺陷分离开)。完成这的一个方式是将缺陷分类器应用到所检测的缺陷，其将所检测的缺陷分成不同类型或等级的缺陷。缺陷分类器通常将缺陷及/或缺陷图像(例如，所述缺陷附近获取的通常叫作“补丁”图像或“补丁”的相对小图像)的一或多个属性用作输入以确定缺陷的类型或等级。接着，缺陷分类器将某种类型的识别符或ID分配给每一缺陷以表明所确定的类型或等级。分离所检测缺陷的另一方式是将实际缺陷与妨害或噪声分离开。“妨害”缺陷一般经界定为用户不在乎的缺陷及/或经检测为缺陷但实际上非缺陷的缺陷。这些算法通常称为缺陷过滤器及/或妨害过滤器。光学检验工具上最广泛使用的分类器/妨害过滤器是基于人工建构的决策树。用于这些决策树的调整方法利用并入到用于树建构的最佳已知方法(BKM)中的经验及领域知识。这通常导致所述决策树最初使用BKM“模板”、缺陷群聚及实质上较粗糙的缺陷标记(使用补丁)建构而成。在已获得所述树的结构之后，接着使用多样性取样来对所述树进行多样化取样，其中跨所述树上的叶节点存在智能样本分布。接着，扫描式电子显微镜(SEM)对所取样缺陷进行检视、分类且将其用于最后调整决策切割线(分离不同类型的缺陷的边界)。如果给定训练组，那么基于机器学习算法的其它分类器(例如最近邻点型分类器)将自动找到决策边界，但当前不存在获得将最大化其性能的训练组的方法。然而，当前所使用的用于设置及调整缺陷分类器的方法存在许多缺点。例如，现存方法为劳力密集型、需要大量专业知识且将产生依赖于人类专家的不一致结果。由人类专家建造分类器易于产生误差且昂贵且耗时。每一缺陷具有相对较大数目的特征，这使得几乎不可能适当可视化所述特征以便于分类。因此，因为缺乏关于潜在多维分布的知识，所以人类专家可能在建造所述分类边界时出现重大误差。即使不存在重大误差，人工创造次最佳分类器的可能性实质上很高。据此，研发不具有上文所描述的缺点中的一或多者的用于优化用于设置检验相关算法的训练组的系统及/或方法将是有利的。
技术实现思路
各种实施例的下列描述不得以任何方式解释为限制所附权利要求书的目标。一个实施例涉及经配置以训练检验相关算法的系统。所述系统包含检验子系统，其包含至少能源及检测器。所述能源经配置以产生经导引到样品的能量。所述检测器经配置以检测来自样品的能量且响应于所检测的能量产生输出。所述系统还包含一或多个计算机子系统。一或多个计算机子系统经配置以使用标记缺陷组执行检验相关算法的初始训练，借此产生检验相关算法的初始版本。所述(若干)计算机子系统还经配置以将检验相关算法的初始版本应用到未标记缺陷组且基于所述应用的结果变更所述标记缺陷组。另外，所述(若干)计算机子系统经配置以使用经变更的标记缺陷组再训练检验相关算法，借此产生检验相关算法的较新版本。所述(若干)计算机子系统经进一步配置以将检验相关算法的较新版本应用到另一未标记缺陷组。另外，所述(若干)计算机子系统经配置以确定应用检验相关算法的较新版本的结果与应用检验相关算法的初始版本或较旧版本的结果之间的一或多个差。所述(若干)计算机子系统还经配置以重复变更所述标记缺陷组、再训练所述检验相关算法、应用检验相关算法的较新版本且确定所述一或多个差直到所述一或多个差达到一或多个标准。当所述一或多个差达到所述一或多个标准时，所述(若干)计算机子系统经配置以输出检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。所述系统可如本文所描述那样进一步配置。另一实施例涉及用于训练检验相关算法的计算机实施方法。所述方法包含上文所描述的一或多个计算机子系统的功能中的每一者的步骤。由一或多个计算机系统来执行所述方法的步骤。可如本文中所进一步描述那样执行所述方法。另外，所述方法可包含在本文所描述的(若干)任何其它方法的(若干)任何其它步骤。此外，所述方法可由本文所描述的系统中的任何者执行。额外实施例涉及非暂时性计算机可读媒体，其存储在计算机系统上执行的用于执行训练检验相关算法的计算机实施方法的程序指令。所述计算机实施方法包含上文所描述的方法的步骤。所述计算机可读媒体可如本文所描述那样进一步配置。所述计算机实施方法的步骤可如本文所进一步描述那样执行。另外，所述计算机实施方法(可针对所述方法执行所述程序指令)可包含在本文所描述的(若干)任何其它方法的(若干)任何其它步骤。附图说明在阅读下列详细描述时及在参考附图时，将明白本专利技术的其它目的及优点，其中：图1及2是说明如本文所描述那样配置的系统的实施例的侧视图的示意图；图3是说明可通过本文中所描述的实施例执行的步骤的一个实施例的流程图；以及图4是说明存储在计算机系统上执行的用于执行本文中所描述的计算机实施方法中的一或多者的程序指令的非暂时性计算机可读媒体的一个实施例的框图。虽然本专利技术易于以各种修改及替代形式呈现，但其特定实施例通过实例的方式在图式中展示且将在本文中详细描述。然而，应了解图式及其详细描述不希望将本专利技术限于所揭示的特定形式，但相反，本专利技术涵盖在如通过所附权利要求书所界定的本专利技术的精神及范围内的所有修改、等效物及替代方式。具体实施方式现在转到图式，应注意图不按比例绘制。特定来说，图的一些元件的比例被极大地夸大以强调元件的特性。还应注意图未按相同比例绘制。一个以上图中所展示的可经相似地配置的元件已使用相同元件符号指示。除非本文中另有规定，否则所描述及展示的元件中的任何者可包含任何适合的可商业购得的元件。一个实施例涉及经配置以训练检验相关算法的系统。一般来说，本文中所描述的实施例提供用于获得最小大小的训练组的方法及系统，所述训练组用于分类由光学工具及其它工具捕获的缺陷，或用于其它检验相关功能。另外，本文中所描述的实施例可有利地用于找到最具指导性的缺陷的最小组，以建造本文中所描述的分类器及其它检验相关算法，从而用于本文中所描述的缺陷分类及其它检验相关功能的目的。传统上，为了最佳性能调整样品检验(例如光学晶片检验)的过程几乎完全为人工的。调整过程一般依赖于最佳已知方法(BKM)及执行调整的人类专家的经验及技巧。因此，不期望将此类方法用于设置生产监测系统，这不仅因为其代价极高(精力及劳力)，还因为调整成果较主观且缺少一致性。然而，尽管当前检验调整方法存在这些明显缺点，但在此生产环境中，将此过程自动化的尝试并未得到广泛接受。主要原因在于此自动化依赖于算法，而算法的性能来源于训练其的数据(称为训练组)。因此，除非依系统方式获取训练数据，否则这些算法的性能是不确定的。换句话来说，在不存在找到优化所述算法的性能的训练组的可靠方法的情况下，此类自动化解决方案具有人工方法的所有本文档来自技高网...

【技术保护点】
1.一种经配置以训练检验相关算法的系统，其包括：检验子系统，其包括至少能源及检测器，其中所述能源经配置以产生被导引到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量，且响应于所述经检测的能量而产生输出；及一或多个计算机子系统，其经配置以：使用标记缺陷组来执行检验相关算法的初始训练，借此产生所述检验相关算法的初始版本；将所述检验相关算法的所述初始版本应用到未标记缺陷组；基于所述应用的结果来变更所述标记缺陷组；使用所述经变更标记缺陷组来再训练所述检验相关算法，借此产生所述检验相关算法的较新版本；将所述检验相关算法的所述较新版本应用到另一未标记缺陷组；确定应用所述检验相关算法的所述较新版本的结果与所述应用所述检验相关算法的所述初始版本或较旧版本的所述结果之间的一或多个差；重复变更所述标记缺陷组、再训练所述检验相关算法、应用所述检验相关算法的所述较新版本，且确定所述一或多个差直到所述一或多个差达到一或多个标准；及当所述一或多个差达到所述一或多个标准时，输出所述检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。

【技术特征摘要】
【国外来华专利技术】2016.10.17 IN 201641035490;2017.03.27 US 62/477,241.一种经配置以训练检验相关算法的系统，其包括：检验子系统，其包括至少能源及检测器，其中所述能源经配置以产生被导引到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量，且响应于所述经检测的能量而产生输出；及一或多个计算机子系统，其经配置以：使用标记缺陷组来执行检验相关算法的初始训练，借此产生所述检验相关算法的初始版本；将所述检验相关算法的所述初始版本应用到未标记缺陷组；基于所述应用的结果来变更所述标记缺陷组；使用所述经变更标记缺陷组来再训练所述检验相关算法，借此产生所述检验相关算法的较新版本；将所述检验相关算法的所述较新版本应用到另一未标记缺陷组；确定应用所述检验相关算法的所述较新版本的结果与所述应用所述检验相关算法的所述初始版本或较旧版本的所述结果之间的一或多个差；重复变更所述标记缺陷组、再训练所述检验相关算法、应用所述检验相关算法的所述较新版本，且确定所述一或多个差直到所述一或多个差达到一或多个标准；及当所述一或多个差达到所述一或多个标准时，输出所述检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。2.根据权利要求1所述的系统，其中所述检验相关算法是缺陷分类器。3.根据权利要求1所述的系统，其中所述检验相关算法是缺陷过滤器。4.根据权利要求1所述的系统，其中所述检验相关算法是缺陷检测算法。5.根据权利要求1所述的系统，其中所述检验相关算法是机器学习算法。6.根据权利要求1所述的系统，其中所述标记缺陷组及所述未标记缺陷组是包含于所述相同检验结果中。7.根据权利要求1所述的系统，其中变更所述标记缺陷组包括标记所述未标记组中的所述缺陷中的一或多者，且将所述标记的所述缺陷中的一或多者新增到所述标记组。8.根据权利要求1所述的系统，其中所述一或多个计算机子系统经进一步配置以基于所述检测器所产生的所述输出来检测所述样品上的缺陷，且其中所述样品上所检测到的所述缺陷包括所述标记缺陷组及所述未标记缺陷组。9.根据权利要求1所述的系统，其中所述标记缺陷组包括从所述样品上所检测到的所有缺陷选择的预定最小数目的缺陷。10.根据权利要求1所述的系统，其中变更所述标记缺陷组包括通过所述应用所述检验相关算法的所述初始版本来确定针对所述未标记组中的所述缺陷所产生的所述结果的确定性、选择所述未标记组中具有最低的所述确定性的所述缺陷、获得所述所选择缺陷的标记，及将所述所选择缺陷与其标记新增到所述标记缺陷组。11.根据权利要求10所述的系统，其中选择所述未标记组中具有最低的所述确定性的所述缺陷包括选择所述未标记组中具有最低的所述确定性的预定最小数目的所述缺陷。12.根据权利要求10所述的系统，其中独立于所述未标记组中的所述缺陷的一或多个特性的多样性来执行选择所述未标记组中具有最低的所述确定性的所述缺陷。13.根据权利要求1所述的系统，其中变更所述标记缺陷组包括通过所述应用所述检验相关算法的所述初始版本来确定针对所述未标记组中的所述缺陷所产生的所述结果的确定性、选择所述未标记组中具有最低的所述确定性的所述缺陷的群组、选择所述群组中具有缺陷子组中的所述...

【专利技术属性】
技术研发人员：M·普利哈尔，E·索尔塔默罕默德，S·帕拉马西万，S·拉舞，A·杰因，S·谢克扎哈尔，P·俄珀鲁里，
申请(专利权)人：科磊股份有限公司，
类型：发明
国别省市：美国,US