机器学习模型的对抗训练制造技术

本文档涉及诸如神经网络之类的机器学习模型的训练。一种示例方法包括提供具有一个或多个层以及相关联的参数的机器学习模型，以及对机器学习模型的参数执行预训练阶段以获得经预训练的参数。该示例方法还包括通过使用经标注的训练样本对机器学习模型执行调节阶段，以调节经预训练的参数。调节阶段可以包括执行对经标注的训练示例的噪声调整，以获得经噪声调整的训练样本。调节阶段还可以包括至少基于经标注的训练示例和经噪声调整的训练示例来调整经预训练的参数，以获得经适配的参数。该示例方法还可以包括输出具有经适配的参数的经调节的机器学习模型。经调节的机器学习模型。经调节的机器学习模型。

【技术实现步骤摘要】
【国外来华专利技术】机器学习模型的对抗训练

技术介绍

[0001]机器学习可以用于执行广泛的任务，诸如自然语言处理、金融分析和图像处理。机器学习模型可以使用若干方法被训练，诸如监督学习、半监督学习、无监督学习、强化学习等。在诸如监督或半监督学习之类的方法中，可以使用经标注的训练示例来训练模型，以将输入映射到输出。然而，对于许多机器学习任务，经标注的训练数据是有限数量的。

技术实现思路

[0002]提供本
技术实现思路
是为了以简化的形式介绍将在以下详细描述中进一步描述的一些构思。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0003]本描述总体上涉及用于训练机器学习模型的技术。一个示例包括一种可以在计算设备上被执行的方法或技术。该方法或技术可以包括提供具有一个或多个层以及相关联的参数的机器学习模型。该方法或技术还可以包括对机器学习模型的参数执行预训练阶段，以获得经预训练的参数。该方法或技术还可以包括通过使用经标注的训练样本对机器学习模型执行调节阶段，以调节经预训练的参数。调节阶段可以包括执行对经标注的训练样本的噪声调整以获得经噪声调整的训练样本，以及至少基于经标注的训练样本和经噪声调整的训练样本来调整经预训练的参数，以获得经适配的参数。该方法或技术还可以包括输出具有经适配的参数的经调节的机器学习模型。
[0004]另一示例包括一种系统，该系统具有硬件处理单元和存储计算机可读指令的存储资源。当由硬件处理单元执行时，该计算机可读指令可以使硬件处理单元：接收输入数据，使用具有第一层和第二层的机器学习模型来处理输入数据以获得结果，以及输出该结果。第一层可以在预训练阶段被预训练，并且第一层和第二层可以被使用虚拟对抗正则化一起调节。
[0005]另一示例包括一种系统，该系统具有硬件处理单元和存储计算机可读指令的存储资源。该计算机可读指令在由硬件处理单元执行时，可以使硬件处理单元：获得机器学习模型；并且对机器学习模型执行监督学习过程。该监督学习过程可以包括至少基于包括模型输入和相应的标签的经标注的训练样本上的训练损失来调整机器学习模型的参数。该监督学习过程还可以包括至少基于机器学习模型的模型输出中由于向模型输入添加噪声而导致的偏差来调整机器学习模型的参数。
[0006]上面列出的示例旨在提供快速参考以帮助读者，而非旨在限定本文描述的构思的范围。
附图说明
[0007]参考附图来描述详细描述。在附图中，附图标记最左边的(多个)数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相似的附图标记可以指示相似或相同的项。
[0008]图1示出了与本构思的一些实现方式一致的示例机器学习模型。
[0009]图2示出了与本构思的一些实现方式一致的用于训练机器学习模型的示例训练工作流。
[0010]图3A和图3B提供了与本构思的一些实现方式一致的模型输出分布的图形表示。
[0011]图4
‑
图7示出了与本构思的一些实现方式一致的示例多任务机器学习模型。
[0012]图8示出了与本构思的一些实现方式一致的经标注的任务特定训练数据的示例。
[0013]图9和图10示出了与本构思的一些实现方式一致的可以被采用的示例图形用户界面。
[0014]图11示出了与本构思的一些实现方式一致的示例系统。
[0015]图12示出了与本构思的一些实现方式一致的用于训练和利用机器学习模型的示例方法或技术。
[0016]图13示出了与本构思的一些实现方式一致的用于训练机器学习模型的示例方法或技术。
[0017]具体实现方式
[0018]有各种类型的机器学习框架可以被训练来执行给定的任务。支持向量机、决策树和神经网络只是已被广泛用于各种应用(诸如图像处理和自然语言处理)的机器学习框架的几个示例，。一些机器学习框架(诸如神经网络)使用执行特定操作的节点层。
[0019]在神经网络中，节点经由一条或多条边(edge)相互连接。神经网络可以包括输入层、输出层和一个或多个中间层。各个节点可以根据预定义的函数来处理它们相应的输入，并且向后一层(或者在一些情况下，向前一层)提供输出。给定节点的输入可以乘以输入与节点之间的边的对应的权重值。此外，节点可以有单独的偏差值，这些偏差值也用于产生输出。可以应用各种训练程序来学习边权重和/或偏差值。措辞“参数”在没有修饰语的情况下被使用时，在本文中用于指代可以通过训练机器学习模型(诸如神经网络)被学习的可学习的值，诸如边权重和偏差值。
[0020]神经网络结构可以具有执行不同的特定功能的不同层。例如，一层或多层节点可以共同执行特定操作，诸如池化、编码或卷积操作。出于本文档的目的，措辞“层”是指共享输入和输出(例如，去往或来自外部源或网络中的其他层的输入和输出)的一组节点。措辞“操作”是指可以由一层或多层节点执行的功能。措辞“模型结构”是指分层模型的总体架构，包括层数、层的连接以及由各个层执行的操作类型。措辞“神经网络结构”是指神经网络的模型结构。措辞“经训练的模型”和/或“经调节的模型”是指模型结构以及该模型结构的已经被训练或调节的参数。注意，例如，如果两个模型在不同的训练数据上进行训练，或者如果在训练过程中存在底层的随机过程，则两个经训练的模型可以共享相同的模型结构，但是具有不同的参数值。
[0021]如前所述，有许多机器学习任务相对缺乏训练数据。一种用有限的针对特定任务的任务特定训练数据来训练模型的广泛方法涉及“迁移学习”。在迁移学习中，首先在相当数量的训练数据可用的另一任务上对模型进行预训练，然后使用任务特定的训练数据将该模型调节(tune)到特定的任务。然而，用于这样做的传统技术倾向于使用激进的调节更新，这可能导致最终模型的过度拟合和/或知识遗忘，如下面更详细讨论的。本文使用的措辞“训练”包括模型的预训练以及后续的调节更新两者，即，措辞“训练”涵盖使用经标注的或
未经标注的训练示例来更新模型的参数的任何过程。
[0022]如上所述，用激进的更新将经预训练的模型调节到有限的任务特定训练数据集可能使模型过度拟合到训练数据。当模型过度拟合到给定的训练数据集时，该模型不能很好地泛化到新的示例。此外，激进的更新可能导致知识遗忘，其中模型在预训练过程期间学习的知识在调节过程中丢失。已经使用了各种方法来解决这些调节问题，诸如使用启发式学习率、针对调节过程的一部分冻结某些模型层等等。这些专门的方法已经取得了一些成功，但往往需要高度熟练的机器学习专家进行大量的调节工作。
[0023]所公开的实现方式提供了几种机制来解决对于模型过度拟合和知识遗忘的可能性。例如，所公开的实现方式提供了一种对抗正则化机制，该机制可以帮助减轻在训练或调节过程期间的模型的过度拟合。如下面更详细讨论的，对抗正则化机制鼓励模型产生平滑的输出函数，例如，对于输入中的小扰动不会急剧变化的输出函数。
[0024]所公开的实现方式还提供了一种邻近点机制，该机制可以帮助防止模型的训练或调节期本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在计算设备上被执行的方法，所述方法包括：提供机器学习模型，所述机器学习模型具有一个或多个层以及相关联的参数；对所述机器学习模型的所述参数执行预训练阶段，以获得经预训练的参数；通过使用经标注的训练样本对所述机器学习模型执行调节阶段，以调节所述经预训练的参数，所述调节阶段包括：执行对所述经标注的训练样本的噪声调整，以获得经噪声调整的训练样本，以及至少基于所述经标注的训练样本和所述经噪声调整的训练样本来调整所述经预训练的参数，以获得经适配的参数；以及输出具有所述经适配的参数的经调节的机器学习模型。2.根据权利要求1所述的方法，其中所述调整包括计算损失函数，所述损失函数包括：第一项，所述第一项与所述机器学习模型的预测和所述经标注的训练样本的标签之间的差异成比例；以及第二项，所述第二项与所述机器学习模型的针对所述经标注的训练样本的输出和所述机器学习模型的针对所述经噪声调整的训练样本的输出之间的差异成比例。3.根据权利要求1所述的方法，其中所述调节阶段包括多次调节迭代，所述方法还包括：确定所述机器学习模型的当前迭代的输出与所述机器学习模型的至少一次先前迭代的输出之间的差异；以及至少基于所述差异来约束所述参数的所述调整。4.根据权利要求3所述的方法，其中所述调整包括：至少基于所述经噪声调整的训练样本来执行对抗正则化，以及至少基于所述差异来执行所述参数的邻近点更新。5.根据权利要求1所述的方法，还包括：在所述调节阶段之后，使用所述经调节的机器学习模型对输入数据执行特定任务。6.根据权利要求1所述的方法，其中所述机器学习模型包括一个或多个嵌入层和至少一个任务特定层。7.根据权利要求6所述的方法，其中所述一个或多个嵌入层包括词典编码器或变换器编码器。8.根据权利要求6所述...

【专利技术属性】
技术研发人员：刘晓东，高剑峰，贺鹏程，陈伟柱，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：