以合成图像训练机器学习模型制造技术

本发明专利技术提供用于使用合成缺陷图像训练机器学习模型的方法及系统。一种系统包含由一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含图形用户接口GUI，所述GUI经配置用于将样品的一或多个图像及图像编辑工具显示给用户且用于从所述用户接收输入，所述输入包含使用所述图像编辑工具中的一或多者对所述图像中的至少一者进行的一或多个更改。所述组件还包含图像处理模块，所述图像处理模块经配置用于将所述更改应用于所述至少一个图像，借此产生至少一个经修改图像且将所述至少一个经修改图像存储于训练集中。所述计算机子系统经配置用于以其中存储所述至少一个经修改图像的所述训练集训练机器学习模型。

【技术实现步骤摘要】
【国外来华专利技术】以合成图像训练机器学习模型
本专利技术大体上涉及经配置用于使用一或多个合成图像训练机器学习模型的方法及系统。
技术介绍
以下描述及实例不因其包含于此段落中而被承认是现有技术。制作例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制作过程处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗试剂的半导体制作过程。半导体制作过程的额外实例包含但不限于化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可以布置制作于单一半导体晶片上且接着被分成个别半导体装置。在半导体制程期间的各个步骤使用检验过程来检测样品上的缺陷以驱使制程中的更高良率及因此更高利润。检验始终为制作半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于成功地制造可接受半导体装置变得更为重要，这是因为较小缺陷可能引起装置不合格。缺陷检视通常涉及重新检测本身通过检验过程检测的缺陷及使用高放大率光学系统或扫描电子显微镜(SEM)以较高分辨率产生关于缺陷的额外信息。因此，在其中已通过检验检测到缺陷的样品上的离散位置处执行缺陷检视。通过缺陷检视产生的缺陷的较高分辨率数据更适用于确定例如轮廓、粗糙度、更准确大小信息等的缺陷的属性。相较于检验，基于通过缺陷检视确定的信息，一般可将缺陷更准确地分类为缺陷类型。深度学习的进展已使深度学习成为用于缺陷检测及分类中的有吸引力的框架。为了分类，在训练中，用户可将卷标指派给缺陷图像。在生产期间(在训练之后)，运用缺陷图像作为到深度学习模型的输入，深度学习模型将输出图像分类及与图像分类相关联的可信度。为了检测，用户可将像素级卷标指派给缺陷图像(通常多个类别的缺陷图像)。像素级卷标及缺陷图像用于训练缺陷检测深度学习模型，所述缺陷检测深度学习模型可不同于经训练用于缺陷分类的深度学习模型。换句话说，检测深度学习模型及分类深度学习模型可为互斥的。来自检测深度学习模型的输出(斑点)及斑点级标签可用于训练分类深度学习模型。在生产期间(在训练检测深度学习模型之后)，将缺陷图像输入到检测深度学习模型，所述检测深度学习模型输出斑点，且分类深度学习模型输出每斑点的分类及相关联可信度。然而，上文描述的当前使用方法及系统存在若干缺点。例如，目前，仅关于现有缺陷实例训练分类器。此训练具有至少三个显著缺点。首先，无法在无所关注缺陷(DOI)实例的情况下训练检测/分类模型。第二，即使用户收集对其进行训练的数个DOI实例，经训练模型正确捕获且分类DOI的能力仍完全取决于此先前发现实例集的大小、质量及变异数。因为此数据难以收集，所以训练集通常含有太少实例以训练良好模型。甚至在其中训练集含有给定缺陷的许多实例的情况中，实例仍可能未涵盖所述特定缺陷可具有的外观的整个范围且所得分类器将遗漏未表示变体。第三，编译训练集是不简单的且易有人为错误。晶片或其它样品的图像必须针对缺陷在视觉上梳理且以类别标签批注。由于缺陷通常是稀疏的，因此可能必须手动扫描以发现单一实例缺陷的图像的数目通常使此手动缺陷检测不切实际。因此，发展出不具有上述缺点中的一或多者的用于训练机器学习模型的系统及方法将为有利的。
技术实现思路
各个实施例的以下描述绝不应理解为限制所附技术方案的标的物。一个实施例涉及一种经配置以训练机器学习模型的系统。所述系统包含一或多个计算机子系统及由所述一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含经配置用于将样品的一或多个图像及图像编辑工具显示给用户的图形用户接口(GUI)。所述GUI还经配置用于从所述用户接收输入，所述输入包含使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改。所述组件还包含图像处理模块，所述图像处理模块经配置用于将所述一或多个更改应用于所述一或多个图像中的所述至少一者，借此产生至少一个经修改图像且将所述至少一个经修改图像存储于训练集中。所述组件进一步包含机器学习模型，所述机器学习模型经配置用于使用通过成像子系统针对所述样品产生的图像对所述样品执行一或多个功能。所述计算机子系统经配置用于以其中存储所述至少一个经修改图像的所述训练集训练所述机器学习模型。所述系统可如本文中描述那样进一步配置。另一实施例涉及一种用于训练机器学习模型的计算机实施方法。所述方法包含运用GUI将样品的一或多个图像及图像编辑工具显示给用户且经由所述GUI从所述用户接收输入。所述输入包含使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改。所述方法还包含将所述一或多个更改应用于所述一或多个图像中的所述至少一者借此产生至少一个经修改图像。另外，所述方法包含将所述至少一个经修改图像存储于训练集中。所述应用及所述存储是通过图像处理模块执行。所述方法进一步包含以其中存储所述至少一个经修改图像的所述训练集训练机器学习模型。所述机器学习模型经配置用于使用通过成像子系统针对所述样品产生的图像对所述样品执行一或多个功能。所述GUI、所述图像处理模块及所述机器学习模型包含于由一或多个计算机子系统执行的一或多个组件中。所述训练是通过所述一或多个计算机子系统执行。可如本文中描述那样进一步执行上述方法的步骤中的每一者。另外，上述方法可包含本文中描述的任何其它方法的任何其它步骤。此外，上述方法可通过本文中描述的系统中的任一者执行。另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练机器学习模型的计算机实施方法。所述计算机实施方法包含上述方法的步骤。所述计算机可读媒体可如本文中描述那样进一步配置。可如本文中进一步描述那样执行所述计算机实施方法的步骤。另外，可针对其执行所述程序指令的计算机实施方法可包含本文中描述的任何其它方法的任何其它步骤。附图说明在获益于优选实施例的以下详细描述的情况下且在参考所附图式时，所属领域的技术人员将明白本专利技术的进一步优点，其中：图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；图2是说明可包含于本文中描述的实施例中的图形用户接口(GUI)的一个实施例的示意图；图3到5及7是说明可通过本文中描述的实施例执行的各个步骤的实施例的流程图；图6包含可使用本文中描述的实施例产生的合成图像的实例及其中已通过如本文中描述那样训练的机器学习模型检测到缺陷的样品的图像的实例；及图8是说明存储用于引起一或多个计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。虽然本专利技术易有各种修改及替代形式，但本专利技术的特定实施例在图式中通过实例展示且在本文中详细描述。图式可能未按比例。然而，应了解，图式及其详细描述并不希望将本专利技术限于所揭示的特定形式，恰相反，本专利技术希望涵盖落于如由所附权利要求书定义的本专利技术的精神及范围内的全部修改、等效物及替代物。具体实施方式如在本文中可互换地使用的术语“设计”、“本文档来自技高网...

【技术保护点】
1.一种经配置以训练机器学习模型的系统，其包括：/n一或多个计算机子系统；及/n一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括：/n图形用户接口GUI，其经配置用于：/n将样品的一或多个图像及图像编辑工具显示给用户；及/n从所述用户接收输入，其中所述输入包括使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改；/n图像处理模块，其经配置用于将所述一或多个更改应用于所述一或多个图像中中的所述至少一者，借此产生至少一个经修改图像且将所述至少一个经修改图像存储于训练集中；及/n机器学习模型，其经配置用于使用通过成像子系统针对所述样品产生的图像针对所述样品执行一或多个功能；/n其中所述一或多个计算机子系统经配置用于以其中存储所述至少一个经修改图像的所述训练集训练所述机器学习模型。/n

【技术特征摘要】
【国外来华专利技术】20180321 US 62/646,2071.一种经配置以训练机器学习模型的系统，其包括：
一或多个计算机子系统；及
一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括：
图形用户接口GUI，其经配置用于：
将样品的一或多个图像及图像编辑工具显示给用户；及
从所述用户接收输入，其中所述输入包括使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改；
图像处理模块，其经配置用于将所述一或多个更改应用于所述一或多个图像中中的所述至少一者，借此产生至少一个经修改图像且将所述至少一个经修改图像存储于训练集中；及
机器学习模型，其经配置用于使用通过成像子系统针对所述样品产生的图像针对所述样品执行一或多个功能；
其中所述一或多个计算机子系统经配置用于以其中存储所述至少一个经修改图像的所述训练集训练所述机器学习模型。


2.根据权利要求1所述的系统，其中显示于所述GUI中的所述一或多个图像是包含于初始训练集中的图像，且其中所述存储包括将所述至少一个经修改图像添加到所述初始训练集以借此产生所述训练集。


3.根据权利要求1所述的系统，其中所述一或多个更改包括以缺陷类别标签对所述一或多个图像中的所述至少一者进行批注。


4.根据权利要求1所述的系统，其中所述一或多个更改包括在所述一或多个图像中的所述至少一者中产生合成缺陷。


5.根据权利要求1所述的系统，其中所述一或多个更改包括通过所述用户运用包含于所述图像编辑工具中的绘制工具输入的一或多个手动绘制更改。


6.根据权利要求1所述的系统，其中所述一或多个更改包括将对应于已知所关注缺陷的图像的一部分转贴到所述一或多个图像中的所述至少一者中。


7.根据权利要求1所述的系统，其中所述一或多个更改包括基于所述样品的已知所关注缺陷的一或多个特性在所述一或多个图像中的所述至少一者中产生合成缺陷。


8.根据权利要求1所述的系统，其中显示于所述GUI中的所述一或多个图像是初始训练集中的图像，其中所述初始训练集不包括所述样品的已知所关注缺陷的任何例子，其中所述一或多个更改包括基于所述已知所关注缺陷的一或多个特性在所述一或多个图像中的所述至少一者中产生合成缺陷，且其中所述存储包括将所述至少一个经修改图像添加到所述初始训练集以借此产生所述训练集。


9.根据权利要求1所述的系统，其中显示于所述GUI中的所述一或多个图像是初始训练集中的图像，其中所述初始训练集包括所述样品的已知所关注缺陷的少于预定数目个例子，其中所述一或多个更改包括基于所述已知所关注缺陷的一或多个特性在所述一或多个图像中的所述至少一者中产生一或多个合成缺陷，借此产生所述至少一个经修改图像中的一或多者，且其中所述存储包括将所述至少一个经修改图像中的所述一或多者添加到所述初始训练集以借此产生所述训练集。


10.根据权利要求1所述的系统，其中所述一或多个更改包括对对应于缺陷的所述一或多个图像中的所述至少一者的一部分的一或多个修改，且其中产生所述至少一个经修改图像包括：基于所述一或多个修改产生新图像。


11.根据权利要求10所述的系统，其中所述一或多个修改包括按比例调整、旋转、边缘模糊或强度修改。


12.根据权利要求1所述的系统，其中所述GUI进一步经配置用于将所述训练的结果显示给所述用户。


13.根据权利要求1所述的系统，其中所述GUI...

【专利技术属性】
技术研发人员：I·赖利，贺力，S·梵卡泰若曼，M·科瓦尔斯基，A·希迪，
申请(专利权)人：科磊股份有限公司，
类型：发明
国别省市：美国;US