训练自动缺陷分类的检测仪器的方法与系统技术方案

提供一种计算机实施方法、检测系统及非暂时性存储媒体，用于使用机器学习自动产生缺陷分类模型，所述缺陷分类模型用于检测半导体和/或印刷电路板(PCB)部件。缺陷分类模型由经训练的神经网络二元分类器与优化器的第一组合以及经训练的神经网络多类别分类器与优化器的第二组合自动建立。器的第二组合自动建立。器的第二组合自动建立。

【技术实现步骤摘要】
【国外来华专利技术】训练自动缺陷分类的检测仪器的方法与系统


[0001]本
一般而言涉及用于自动缺陷检测的检测系统及方法，且更具体而言涉及用于对所检测的产品的缺陷进行自动分类的方法及系统。下文中呈现的方法及系统特别适用于检测半导体产品。

技术介绍

[0002]制造工艺一般而言包括在工艺期间的不同里程碑(milestone)处对制造的部件进行自动化检测，且通常至少在制造工艺结束时进行。可使用对制造的部件进行光学分析并探测缺陷部件的检测系统进行检测。可使用不同的技术，例如结合激光三角测量(laser
‑
triangulation)和/或干涉测量的照相机。自动化检测系统确保制造的部件符合预期的品质标准，并依据识别的缺陷的类型提供关于制造工具、仪器和/或成分所需调整的有用信息。
[0003]在半导体行业中，不同类型的部件使用相同的生产线(manufacturing line)是常见的，无论是为相同的还是不同的用户。因此，检测系统必须能够探测无缺陷部件与缺陷部件，以及所识别出的缺陷部件中存在的缺陷类型。缺陷的分类常常是费力的，且需要专家、检测系统及制造工艺的参与，以便能够调节及配置系统来正确地识别缺陷。用于调节现有缺陷类型及用于探测新缺陷类型的检测系统的配置在大多数情况下要求系统离线。半导体行业中的一种众所周知的缺陷探测方法包括将取得的图像与“掩模(mask)”或“理想的部件布局(ideal part layout)”进行比较，但此方法会遗漏许多未探测到的缺陷。
[0004]需要一种在自动检测产品时可帮助改善或促进对缺陷进行分类的过程的检测系统及方法。

技术实现思路

[0005]根据一方面，提供一种使用机器学习自动产生缺陷分类模型的计算机实施方法，所述缺陷分类模型用于在自动化检测系统中检测所制造的部件。所述方法包括以下步骤：获取由所述检测系统取得的部件的检测图像。所述检测图像与标签信息相关联，所述标签信息指示给定图像对应于无缺陷部件还是对应于缺陷部件且对于对应于缺陷部件(例如，半导体和/或印刷电路板(Printed Circuit Board，PCB)部件)的所述检测图像还指示缺陷类型。
[0006]所述方法也包括以下步骤：使用所述检测图像的第一子集来训练二元分类器判断所述检测图像对应于无缺陷部件还是缺陷部件。所述二元分类器使用神经网络架构与优化器的第一组合。所述二元分类器是通过所述第一组合中使用的神经网络架构的不同层的节点的权重以迭代方式进行更新而得到训练。
[0007]所述方法也包括以下步骤：使用所述检测图像的对应于缺陷部件的第二子集来训练多类别分类器判断在此前被所述二元分类器判断为对应于缺陷部件的所述检测图像中的所述缺陷类型。所述多类别分类器使用神经网络架构与优化器的第二组合。所述多类别
分类器是通过所述第二组合的神经架构的不同层的节点的权重以迭代方式进行更新而得到训练。
[0008]一旦所述二元分类器及所述多类别分类器已经过训练，则建立或产生缺陷分类模型，其中配置档案定义所述神经网络架构与优化器的第一组合及所述神经网络架构与优化器的第二组合以及其等的参数。所述配置档案也包括来自所述二元分类器及来自所述多类别分类器的神经网络架构中的每一者的节点的最终经更新的所述权重。自动缺陷分类模型由此可由所述自动化检测系统用于探测缺陷部件以及用于识别所检测的制造部件上的缺陷类型。
[0009]在所述方法的可能实施方式中，训练所述二元分类器的步骤还包括如下的初始步骤：在所述检测图像的探索子集上自动地探索神经网络架构与优化器的不同组合。被选择用于所述二元分类器的所述第一组合对应于在探索步骤期间在识别无缺陷部件与缺陷部件方面提供最高精确度达给定数目个纪元(epoch)的组合。
[0010]在所述方法的可能实施方式中，训练所述多类别分类器的步骤还包括如下的初始步骤：使用检测图像的另一探索子集自动地探索神经网络架构与优化器的不同组合。为所述多类别分类器选择的所述神经网络架构与优化器的第二组合对应于在探索步骤期间在识别不同的缺陷类型方面提供最高精确度达给定数目个纪元的组合。
[0011]在所述方法的可能实施方式中，训练所述二元分类器的步骤还包括以下步骤：自动地探索不同的损失函数(loss function)及不同的学习速率调度程序(learning rate scheduler)。所述第一组合还通过损失函数及在探索阶段期间与所述神经网络架构与所述优化器一起在探测无缺陷部件与缺陷部件方面提供最高精确度达所述给定数目个纪元的学习速率调度程序来定义。所述损失函数及所述学习速率的选择是自动进行的。所述缺陷分类模型的所述配置档案还包括来自所述二元分类器的所选择的所述损失函数及所述学习速率调度程序的参数。
[0012]在所述方法的可能实施方式中，训练所述多类别分类器的步骤还包括以下步骤：自动地探索所述不同的损失函数及所述学习速率调度程序。所述第二组合还通过所述损失函数及在探索阶段期间与所述神经网络架构及所述优化器一起在识别所述缺陷类型方面提供最高精确度达所述给定数目个纪元的所述学习速率调度程序来定义。所述缺陷分类模型的所述配置档案还包括来自所述多类别分类器的所选择的所述损失函数及所述学习速率调度程序的参数。
[0013]在所述方法的可能实施方式中，经更新的所述权重以及所选择的所述神经网络架构、所述优化器、所述损失函数及所述学习速率调度程序的所述参数被打包于可由所述自动化检测系统加载的所述配置档案中。
[0014]在所述方法的可能实施方式中，所述不同的神经网络架构包括以下神经网络架构中的至少一者：ResNet34、NesNet50、ResNet101、ResNet152、WideResNet50、WideResNet101、IncptionV3及InceptionResNet。
[0015]在所述方法的可能实施方式中，所述不同的优化器包括以下中的至少一者：Adam优化器及SGD优化器。
[0016]在所述方法的可能实施方式中，所述不同的损失函数包括以下中的至少一者：交叉熵(cross entropy)损失函数及NII损失函数。
[0017]在所述方法的可能实施方式中，所述不同的速率学习调度程序包括以下中的至少一者：衰减速率调度程序及循环速率调度程序。
[0018]在所述方法的可能实施方式中，所述自动化检测系统被训练成探测以下产品中的至少一者上的不同的缺陷类型：半导体封装、晶片、面单PCB、双面PCB、多层PCB及基板。
[0019]在所述方法的可能实施方式中，所述缺陷类型包括以下中的一或多者：镀覆不足、异物、部件不完整、裂纹、污迹、异常电路、抗蚀剂残留、变形、划伤、簇集及金属膜残留。
[0020]在所述方法的可能实施方式中，获取所述检测图像包括：经由图形用户界面取得一系列一或多个其中存储有所述检测图像的图像文件夹。
[0021]在所述方法的可能实施方式中，所述二元分类器及所述多类别分类器的训练是响应于经由图形用户界面进行的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用机器学习自动产生缺陷分类模型的计算机实施方法，所述缺陷分类模型用于在自动化检测系统中检测半导体和/或印刷电路板(PCB)部件，所述方法包括以下步骤：获取由所述检测系统取得的部件的检测图像，其中所述检测图像与标签信息相关联，所述标签信息指示给定图像对应于无缺陷部件还是对应于缺陷部件且对于对应于缺陷部件的所述检测图像还指示缺陷类型，使用所述检测图像的第一子集来训练二元分类器判断所述检测图像对应于无缺陷部件还是缺陷部件，所述二元分类器使用神经网络架构与优化器的第一组合，所述二元分类器是通过对与所述二元分类器的节点相关联的权重以迭代方式进行更新而得到训练，使用所述检测图像的对应于缺陷部件的第二子集来训练多类别分类器判断在此前被所述二元分类器判断为对应于缺陷部件的所述检测图像中的所述缺陷类型，所述多类别分类器使用神经网络架构与优化器的第二组合，所述多类别分类器是通过对与所述多类别分类器的节点相关联的权重以迭代方式进行更新而得到训练，以及从经训练的所述二元分类器及从所述多类别分类器建立由配置档案定义的缺陷分类模型，所述配置档案包括所述神经网络架构与优化器的所述第一组合的所述参数及所述神经网络架构与优化器的所述第二组合的所述参数以及每一神经网络架构的所述节点的经更新的所述权重，所述自动缺陷分类模型由此能够由所述自动化检测系统用于探测缺陷部件以及用于识别所检测的所述部件上的缺陷类型。2.根据权利要求1所述的计算机实施方法，其中训练所述二元分类器还包括如下的初始步骤：在所述检测图像的探索子集上自动地探索神经网络架构与优化器的不同组合，且其中被选择用于所述二元分类器的所述第一组合对应于在识别无缺陷部件与缺陷部件方面提供最高精确度达给定数目个纪元的组合。3.根据权利要求1或2所述的计算机实施方法，其中训练所述多类别分类器还包括如下的初始步骤：在所述检测图像的所述第二子集的另一探索子集上自动地探索神经网络与优化器的不同组合，且其中所述神经网络架构与优化器的第二组合对应于在识别不同的缺陷类型方面提供最高精确度达给定数目个纪元的组合。4.根据权利要求3所述的计算机实施方法，其中训练所述二元分类器还包括：自动地探索不同的损失函数及不同的学习速率调度程序，且其中所述第一组合还通过自动地选择损失函数及与所述神经网络架构与优化器一起在探测无缺陷部件与缺陷部件方面提供最高精确度达所述给定数目个纪元的学习速率调度程序来定义，所述缺陷分类模型的所述配置档案还包括来自所述二元分类器的所选择的所述损失函数及所述学习速率调度程序的参数。5.根据权利要求4所述的计算机实施方法，其中训练所述多类别分类器还包括自动地探索所述不同的损失函数及所述学习速率调度程序，且其中所述第二组合还通过自动地选择损失函数及与所述神经网络架构及所述优化器一起在识别所述缺陷类型方面提供最高精确度达所述给定数目个纪元的学习速率调度程序来定义，所述缺陷分类模型的所述配置档案还包括来自所述多类别分类器的所选择的所述损失函数及所述学习速率调度程序的参数。6.根据权利要求4或5所述的计算机实施方法，其中经更新的所述权重以及所选择的所述神经网络架构、所述优化器、所述损失函数及所述学习速率调度程序的所述参数被打包
于能够由所述自动化检测系统加载的所述配置档案中。7.根据权利要求1至6中任一项所述的计算机实施方法，其中所述不同的神经网络架构包括以下中的至少一者：ResNet34、NesNet50、ResNet101、ResNet152、WideResNet50、WideResNet101、IncptionV3及InceptionResNet。8.根据权利要求1至7中任一项所述的计算机实施方法，其中所述不同的优化器包括以下中的至少一者：Adam优化器及SGD优化器。9.根据权利要求1至8中任一项所述的计算机实施方法，其中所述不同的损失函数包括以下中的至少一者：交叉熵损失函数及NII损失函数。10.根据权利要求1至9中任一项所述的计算机实施方法，其中所述不同的速率学习调度程序包括以下中的至少一者：衰减速率调度程序及循环速率调度程序。11.根据权利要求1至10中任一项所述的计算机实施方法，其中所述部件包括以下中的至少一者：半导体封装、晶片、面单印刷电路板、双面印刷电路板、多层印刷电路板及基板。12.根据权利要求1至11中任一项所述的计算机实施方法，其中所述多类别分类器被训练成探测包括以下中的一或多者的所述缺陷类型：镀覆不足、异物、部件不完整、裂纹、污迹、异常电路、抗蚀剂残留、变形、划伤、簇集及金属膜残留。13.根据权利要求1至12中任一项所述的计算机实施方法，其中获取所述检测图像包括：经由图形用户界面取得一系列一或多个其中存储有所述检测图像的图像文件夹。14.根据权利要求13所述的计算机实施方法，其中所述二元分类器及所述多类别分类器的训练是响应于经由图形用户界面进行的输入而启动的。15.根据权利要求14所述的计算机实施方法，其中通过经由所述图形用户界面取得的输入来控制所述二元分类器及所述多类别分类器的所述训练以暂停、中止或恢复所述训练。16.根据权利要求1至15中任一项所述的计算机实施方法，包括验证所述检测图像的总数目是否足以启动所述二元分类器的所述训练，且如果足以启动，则判断与每一缺陷类型相关联的检测图像的数目是否足以启动所述多类别分类器的所述训练，由此使得仅针对具有足够数目个检测图像的缺陷类型来启动所述多类别分类器所述训练。17.根据权利要求16所述的计算机实施方法，包括：当与给定缺陷类型相关联的检测图像的数目不足时，使用数据扩增算法增大所述给定缺陷类型的检测图像的所述数目。18.根据权利要求1至17中任一项所述的计算机实施方法，包括：在训练所述二元分类器及所述多类别分类器之前，针对所述第一子集及所述第二子集中的每一者将所述检测图像自动地分成至少训练数据集及验证数据集，所述训练数...

【专利技术属性】
技术研发人员：帕里萨，
申请(专利权)人：日本电产理德检验加拿大股份有限公司，
类型：发明
国别省市：