制造过程捕获的测量数据训练机器学习模型的方法和系统技术方案

用在制造过程期间捕获的测量数据训练机器学习模型的方法和系统

【技术实现步骤摘要】
制造过程捕获的测量数据训练机器学习模型的方法和系统


[0001]本公开涉及用制造数据训练机器学习模型的方法和系统。在实施例中，制造数据包括表格、时间序列和聚合统计。

技术介绍

[0002]监督机器学习已经在许多领域展现了成功，例如图像分类、自动语音识别、视觉问答和文本到文本的翻译。然而，为每个新任务训练监督模型需要一大组标记的示例，这限制了这种模型的适用性。然而，一些任务或数据类型对于人工注释可能是困难的或非常昂贵的，例如，时间序列异常和文本摘要。相反，如果一个领域中有大量未标记的数据，就有可能学习数据的相关性和表示，而不需要使用高度表达的模型。
[0003]在制造环境中，可以在制造设施的每个站对制造零件进行测量。一个或多个传感器可用于测量制造零件的物理质量、尺寸、强度、粗糙度或其他所需特性。

技术实现思路

[0004]在一个实施例中，一种用在制造过程期间捕获的测量数据来训练机器学习模型的计算机实现的方法包括以下步骤：接收关于多个制造零件的物理特性的测量数据，所述物理特性由各个制造站处的多个传感器测量；经由时间序列动力学机器学习模型，将测量数据编码到具有多个节点的潜在空间中，每个节点与在制造站之一处测量的制造零件之一的测量数据相关联；经由预测机器学习模型，基于不包括对应于第一制造站处的第一制造零件的测量数据的至少一些测量数据的潜在空间，确定第一制造站处的第一制造零件的预测测量；经由机器学习模型，将第一制造零件的预测测量与第一制造站处的第一制造零件的测量数据进行比较；基于预测测量和实际测量数据之间的差异，更新机器学习模型的参数直到收敛；以及基于所述收敛，输出具有更新后的参数的经训练的机器学习模型。
[0005]在另一个实施例中，提供了一种用在制造过程期间捕获的测量数据来训练机器学习模型的系统。所述系统包括位于多个制造站的多个传感器，每个传感器被配置成产生测量数据，所述测量数据指示传过相应一个制造站的多个制造零件的物理特性。所述系统还包括至少一个处理器，所述至少一个处理器被编程为进行以下操作：执行时间序列动力学机器学习模型，以将测量数据编码到具有多个节点的潜在空间中，每个节点与在制造站之一处测量的制造零件之一的测量数据相关联；执行预测机器学习模型，以基于不包括对应于第一制造站处的第一制造零件的测量数据的至少一些测量数据的潜在空间，确定第一制造站处的第一制造零件的预测测量；将第一制造零件的预测测量与在第一制造站处测量的第一制造零件的测量数据进行比较；基于预测测量和实际测量数据之间的差异，更新机器学习模型的参数直到收敛；以及基于所述收敛，输出具有更新后的参数的经训练的机器学习模型。
[0006]在又一个实施例中，一种用在制造过程期间捕获的测量数据来训练机器学习模型的计算机实现的方法包括以下步骤：接收关于多个制造零件的物理特性的测量数据，所述
物理特性由各个制造站处的多个传感器测量；经由时间序列动力学机器学习模型，将测量数据编码到具有多个节点的潜在空间中，每个节点与在制造站之一处测量的制造零件之一的测量数据相关联；对测量数据进行批处理，以构建包括第一多个节点和第二多个节点的批，第一多个节点经由第一边直接连接到第一节点并且在时间上早于第一节点被测量，其中第二多个节点中的每一个节点经由第二边直接连接到第一多个节点中相应的一个节点并且在时间上早于所述相应的一个节点被测量；以及经由预测机器学习模型，基于所述批的节点的潜在空间，确定第一制造站处的第一制造零件的预测测量。
附图说明
[0007]图1示出了根据实施例的用于训练神经网络的系统。
[0008]图2示出了根据实施例的时间排序的有向图模型的示意图，其中节点标示与特定站处的特定零件相关联的测量或记录。
[0009]图3示出了根据实施例的图形机器学习模型的示意图，该模型用于基于特定零件和站的实际零件测量数据和潜在空间表示来预测特定站处的特定零件的测量。
[0010]图4示出了计算平台的示意图，该计算平台可用于实现本文公开的模型，例如图3的图形机器学习模型。
具体实施方式
[0011]本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替代形式。附图不一定是按比例的；一些特征可以被放大或最小化以示出特定组件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任一附图图示和描述的各种特征可以与一个或多个其他附图中图示的特征相结合，以产生没有明确图示或描述的实施例。所示特征的组合提供了典型应用的代表性实施例。然而，对于特定的应用或实现，可能期望与本公开的教导一致的特征的各种组合和修改。
[0012]监督机器学习已经在许多领域展现了成功，例如图像分类、自动语音识别、视觉问答和文本到文本的翻译。然而，为每个新任务训练监督模型需要一大组标记的示例，这限制了这种模型的适用性。然而，一些任务或数据类型对于人工注释可能是困难的或非常昂贵的，例如，时间序列异常和文本摘要。相反，如果一个领域中有大量未标记的数据，就有可能学习数据的相关性和表示，而不需要使用高度表达的模型。
[0013]这种学习到的相关性和表示可以直接使用，或者可以针对下游任务进行微调(例如，与终端用户相关的一组任务，对于该组任务，模型没有被直接训练)。这种方法可以显著优于从随机初始化端到端地训练模型。这种性能增益对于诸如自然语言处理(NLP)的序列模型和具有更大容量的模型尤为显著。若干预先训练的模型可用于感知数据(例如，自然语言和图像)，但是对于在多维序列上建模的多模态结构制造数据，没有这样的模型。
[0014]根据本文描述的各种实施例，本公开提供了通过训练无监督的自回归图形模型来学习制造数据的代表性特征的系统和方法。多模态结构化数据(包括但不限于表格、时间序列和聚合统计)在多类型有向图上建模。序列模型可以从单维(文本序列)扩展到多维(有向
图)。有向图的顶点(节点)表示与物理组件传过制造站相关联的记录(例如，通过激光蚀刻组件、组件的光学检查结果、组件的应力
‑
应变曲线等相关联的记录)。如果两个节点对应于(1)与访问连续站的特定组件相关联的记录，或者(2)与经过同一站的连续组件相关联的记录，则这两个节点通过有向边连接。这两种边构造机制是构造与制造过程相关联的二维双向图的基础。
[0015]所公开的系统和方法依赖于机器学习模型，例如神经网络(例如，深度神经网络(DNN)、图形神经网络(GNN)、深度卷积网络(DCN)、卷积神经网络(CNN)等)等。图1示出了用于训练神经网络，例如图形神经网络的系统100。在此图示和描述的神经网络仅仅是可以使用的机器学习网络或神经网络类型的示例。系统100可以包括用于访问神经网络的训练数据102的输入接口。例如，如图1所示，输入接口可以由数据存储接口104构成，数据存储接口104可以从数据存储装置106访问训练数据102。例如，数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用在制造过程期间捕获的测量数据来训练机器学习模型的计算机实现的方法，所述方法包括：接收关于多个制造零件的物理特性的测量数据，所述物理特性由各个制造站处的多个传感器测量；经由时间序列动力学机器学习模型，将测量数据编码到具有多个节点的潜在空间中，每个节点与在制造站之一处测量的制造零件之一的测量数据相关联；经由预测机器学习模型，基于不包括对应于第一制造站处的第一制造零件的测量数据的至少一些测量数据的潜在空间，确定第一制造站处的第一制造零件的预测测量；经由机器学习模型，将第一制造零件的预测测量与第一制造站处的第一制造零件的测量数据进行比较；基于预测测量和实际测量数据之间的差异，更新机器学习模型的参数直到收敛；以及基于所述收敛，输出具有更新后的参数的经训练的机器学习模型。2.根据权利要求1所述的计算机实现的方法，还包括：批处理测量数据以供预测机器学习模型处理，其中批处理包括构建一批节点，所述一批节点经由边直接连接到第一节点，并且在第一节点之前打时间戳。3.根据权利要求2所述的计算机实现的方法，其中预测步骤是在所述一批节点上执行的。4.根据权利要求2所述的计算机实现的方法，其中批处理还包括为所述批选择附加节点，其中附加节点包括在第一节点之前打时间戳的与第一制造零件相关联的所有节点。5.根据权利要求4所述的计算机实现的方法，其中附加节点不包括在第一节点之前打时间戳的与第一制造站相关联的所有节点。6.根据权利要求1所述的计算机实现的方法，其中测量数据是多模态测量数据，并且预测测量是多模态预测测量。7.根据权利要求1所述的计算机实现的方法，还包括：利用嵌入神经网络将测量数据嵌入到阵列中，所述阵列被配置为由时间序列动力学机器学习模型执行。8.一种用在制造过程期间捕获的测量数据来训练机器学习模型的系统，所述系统包括：位于多个制造站的多个传感器，每个传感器被配置成产生测量数据，所述测量数据指示传过相应一个制造站的多个制造零件的物理特性，至少一个处理器，其被编程为：执行时间序列动力学机器学习模型，以将测量数据编码到具有多个节点的潜在空间中，每个节点与在制造站之一处测量的制造零件之一的测量数据相关联，执行预测机器学习模型，以基于不包括对应于第一制造站处的第一制造零件的测量数据的至少一些测量数据的潜在空间，确定第一制造站处的第一制造零件的预测测量，将第一制造零件的预测测量与在第一制造站处测量的第一制造零件的测量数据进行比较，基于预测测量和实际测量数据之间的差异，更新机器学习模型的参数直到收敛，以及基于所述收敛，输出具有更新后的参数的经训练的机器学习模型。
9.根据权利要求8所述的系统，其...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：罗伯特，
类型：发明
国别省市：