在多个机器学习任务上训练机器学习模型制造技术

一种训练具有多个参数的机器学习模型的方法，其中该机器学习模型已经在第一机器学习任务上进行训练以确定该机器学习模型的参数的第一值。该方法包括：对于每一个参数，确定参数对机器学习模型在第一机器学习任务上实现可接受性能的重要性的相应度量；获得用于在第二、不同的机器学习任务上训练机器学习模型的训练数据；以及，通过在训练数据上训练机器学习模型，在第二机器学习任务上训练机器学习模型以调节参数的第一值，使得机器学习模型在第二机器学习任务上实现可接受性能水平，同时在第一机器学习任务上保持可接受性能水平。

Training Machine Learning Model on Multiple Machine Learning Tasks

A method of training machine learning models with multiple parameters, in which the machine learning model has been trained on the first machine learning task to determine the first value of the parameters of the machine learning model. The method includes: for each parameter, determining the corresponding measure of the importance of parameters to the acceptable performance of the machine learning model on the first machine learning task; obtaining training data for training the machine learning model on the second and different machine learning tasks; and training the machine learning model on the second machine learning task by training the training data. Machine learning model adjusts the first value of the parameters so that the machine learning model achieves acceptable performance level in the second machine learning task, while maintaining acceptable performance level in the first machine learning task.

【技术实现步骤摘要】
【国外来华专利技术】在多个机器学习任务上训练机器学习模型相关申请的交叉引用本申请要求于2016年7月18日提交的、序列号为62/363,652的美国临时申请的优先权。该在先申请的公开被认为是本申请公开的一部分，并通过引用并入本申请的公开中。
技术介绍
本说明书涉及训练机器学习模型。机器学习模型接收输入，并基于接收到的输入生成输出，例如，预测的输出。一些机器学习模型是参数模型，并基于接收到的输入和模型的参数值生成输出。一些机器学习模型是深度模型，其利用模型的多个层为接收到的输入生成输出。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，其中每个隐藏层对接收到的输入应用非线性变换以生成输出。然而，机器学习模型在多个任务上训练时可能会经受“灾难性遗忘”，即在学习新任务时丢失先前任务的知识。一些神经网络是递归神经网络。递归神经网络是接收输入序列并根据输入序列生成输出序列的神经网络。具体地，递归神经网络在处理了输入序列中的先前输入之后，使用网络的一些或全部内部状态，根据输入序列中的当前输入生成输出。
技术实现思路
本说明书描述了在一个或多个位置处的一个或多个计算机上实施为计算机程序的系统如何在多个机器学习任务上训练机器学习模型。总的来说，一个创新方面可以体现在用于训练具有多个参数的机器学习模型的方法中。机器学习模型已经在第一机器学习任务上进行了训练以确定机器学习模型的参数的第一值。该方法包括：对于多个参数中的每一个参数，确定参数对机器学习模型在第一机器学习任务上实现可接受性能的重要性的相应度量；获得用于在第二、不同的机器学习任务上训练机器学习模型的训练数据；以及，通过在训练数据上训练机器学习模型，在第二机器学习任务上训练机器学习模型以调节参数的第一值，使得机器学习模型在第二机器学习任务上实现可接受性能水平，同时在第一机器学习任务上保持可接受性能水平，其中，在机器学习模型在第二机器学习任务上进行训练期间，对机器学习模型在第一机器学习任务上实现可接受性能更为重要的参数的值比对机器学习模型在第一机器学习任务上实现可接受性能的不太重要的参数的值受到更强的约束以不偏离第一值。在训练数据上训练机器学习模型可以包括：调节参数的第一值以使目标函数最优化，更具体地说是旨在使目标函数最小化，该目标函数包括：(i)度量机器学习模型在第二机器学习任务上的性能的第一项，和(ii)对偏离第一参数值的参数值施加惩罚的第二项，其中，第二项对于对在第一机器学习任务上实现可接受性能更为重要的参数与第一值的偏差的惩罚比对在第一机器学习任务上实现可接受性能不太重要的参数更重。对于多个参数中的每一个参数，第二项可以取决于参数的重要性的相应度量和参数的当前值与参数的第一值之间的差的乘积。在一些实施方式中，训练可以实施“弹性权重合并(elasticweightconsolidation，EWC)”，其中在第二任务的训练期间，参数通过弹性惩罚锚定到它们的第一值，这是对调节参数的惩罚，该惩罚随着距离参数的第一值的距离的增大而增大。弹性惩罚的刚度或程度可以取决于参数对第一任务的重要性的度量，或者更一般地说，取决于参数对任何以前学习过的任务的重要性的度量。因此，弹性权重合并可以作为软约束实施，例如随着距离的增加呈二次型，使得每一个权重都以某个量拉回到旧值，该某个量取决于(例如，成比例)其对一个或多个先前执行的任务的重要性的度量。广义地说，参数由先验调和，先验是从(多个)先前任务导出的参数的后验分布。通常，机器学习模型包括诸如卷积神经网络或递归神经网络的神经网络，并且参数包括神经网络的权重。如下文进一步描述的，各个参数的重要性(权重)可以以各种不同的方式确定。可选地，在开始新任务的训练之前，可以重新计算各个参数的重要性(权重)。对于训练数据中的每个训练示例，在训练数据上训练机器学习模型可以包括：按照机器学习模型的参数的当前值，使用机器学习模型处理训练示例以确定模型输出；使用模型输出、训练示例的目标输出、机器学习模型的参数的当前值以及机器学习模型的参数的第一值来确定目标函数的梯度；以及，使用梯度调节参数的当前值以使目标函数最优化。对于多个参数中的每一个参数，确定参数对机器学习模型在第一机器学习任务上实现可接受性能的重要性的相应度量可以包括：对于多个参数中的每一个参数，在给定用于在第一任务上训练机器学习模型的第一训练数据的情况下，确定参数的当前值是参数的正确值的概率的近似值。对于多个参数中的每一个参数，确定参数对机器学习模型在第一机器学习任务上实现可接受性能的重要性的相应度量的一种方式可以包括：确定机器学习模型的多个参数相对于第一机器学习任务的费歇尔信息矩阵(FisherInformationMatrix，FIM)，其中对于多个参数中的每一个参数，参数的重要性的相应度量是FIM对角线上的对应值。这在计算上很方便，因为FIM可以从一阶导数中计算出来。例如，FIM可以根据模型对数概率相对于其参数的协方差来确定。使用FIM的对角线值作为重要度量可以降低计算复杂度，同时有效计算参数方差的点估计，即权重的不确定性。在一些实施方式中，权重的平均值和标准偏差(或方差)的估计可以通过利用BayesbyBackprop过程来获得，如Blundell等人在ICML(2015)的“神经网络中的权重不确定性(WeightUncertaintyinNeuralNetworks)”中所述。这可以使用反向传播过程的改变来完成。在一些实施方式中，第一机器学习任务和第二机器学习任务是不同的监督学习任务。在一些其他实施方式中，第一机器学习任务和第二机器学习任务是不同的强化学习任务。在强化学习任务中，目标函数可以包括折扣奖励项，该折扣奖励项取决于在某一状态下采取行动的预期奖励。机器学习模型可以基于例如深度Q网络(DeepQ-Network，DQN)、双DQN(Double-DQN)、优势动作评价(AdvantageActorCritic，A3C)网络或其他架构。在一些实施方式中，特别是但不限于在强化学习(reinforcementlearning，RL)系统中，可以辨别机器学习任务。例如，可以使用模型来推断任务，对它们进行显式标记或自动辨别。然后，可以根据所辨别的任务来选择目标函数的一个或多个惩罚项。当辨别到任务切换时，可以选择一个或多个惩罚项来约束参数学习，使其接近为一个或多个先前任务学习的值(根据它们对(多个)先前任务的重要性，如前所述)。切换可能是切换到新的、以前看不见的任务，或者返回到以前的任务。惩罚项可以包括对除当前任务之外的所有先前看到的任务进行约束。约束可以是二次约束。可选地，当从一个学习任务切换到另一个学习任务时，可以重新计算各个参数的重要性(权重)。该方法还可以包括：在机器学习模型在第二机器学习任务上进行训练以确定机器学习模型的参数的第二值之后：获得用于在第三、不同的机器学习任务上训练机器学习模型的第三训练数据；以及，通过在第三训练数据上训练机器学习模型，在第三机器学习任务上训练机器学习模型以调节参数的第二值，使得机器学习模型在第三机器学习任务上实现可接受性能水平，同时在第一机器学习任务和第二机器学习任务上保持可接受性能水平，其中，在机器学习模型在第三机器学习任务上进行训练期间，对机器学本文档来自技高网...

【技术保护点】
1.一种训练具有多个参数的机器学习模型的方法，其中，所述机器学习模型已经在第一机器学习任务上进行训练以确定所述机器学习模型的参数的第一值，并且其中，所述方法包括：对于所述多个参数中的每一个参数，确定参数对所述机器学习模型在所述第一机器学习任务上实现可接受性能的重要性的相应度量；获得用于在第二、不同的机器学习任务上训练所述机器学习模型的训练数据；以及通过在所述训练数据上训练所述机器学习模型，在所述第二机器学习任务上训练所述机器学习模型以调节所述参数的第一值，使得所述机器学习模型在所述第二机器学习任务上实现可接受性能水平，同时在所述第一机器学习任务上保持可接受性能水平，其中，在所述机器学习模型在所述第二机器学习任务上进行训练期间，对所述机器学习模型在所述第一机器学习任务上实现可接受性能更为重要的参数的值比对所述机器学习模型在所述第一机器学习任务上实现可接受性能不太重要的参数的值受到更强的约束以不偏离所述第一值。

【技术特征摘要】
【国外来华专利技术】2016.07.18 US 62/363,6521.一种训练具有多个参数的机器学习模型的方法，其中，所述机器学习模型已经在第一机器学习任务上进行训练以确定所述机器学习模型的参数的第一值，并且其中，所述方法包括：对于所述多个参数中的每一个参数，确定参数对所述机器学习模型在所述第一机器学习任务上实现可接受性能的重要性的相应度量；获得用于在第二、不同的机器学习任务上训练所述机器学习模型的训练数据；以及通过在所述训练数据上训练所述机器学习模型，在所述第二机器学习任务上训练所述机器学习模型以调节所述参数的第一值，使得所述机器学习模型在所述第二机器学习任务上实现可接受性能水平，同时在所述第一机器学习任务上保持可接受性能水平，其中，在所述机器学习模型在所述第二机器学习任务上进行训练期间，对所述机器学习模型在所述第一机器学习任务上实现可接受性能更为重要的参数的值比对所述机器学习模型在所述第一机器学习任务上实现可接受性能不太重要的参数的值受到更强的约束以不偏离所述第一值。2.根据权利要求1所述的方法，其中，所述第一机器学习任务和所述第二机器学习任务是不同的监督学习任务。3.根据权利要求1所述的方法，其中，所述第一机器学习任务和所述第二机器学习任务是不同的强化学习任务。4.根据权利要求1至3中任一项所述的方法，其中，在所述训练数据上训练所述机器学习模型包括：调节所述参数的第一值以使目标函数最优化，所述目标函数包括：(i)第一项，度量所述机器学习模型在所述第二机器学习任务上的性能，和(ii)第二项，对偏离所述第一参数值的参数值施加惩罚，其中，所述第二项对于对在所述第一机器学习任务上实现可接受性能更为重要的参数与所述第一值的偏差的惩罚比对在所述第一机器学习任务上实现可接受性能不太重要的参数更重。5.根据权利要求4所述的方法，其中，对于所述训练数据中的每个训练示例，在所述训练数据上训练所述机器学习模型包括：按照所述机器学习模型的参数的当前值，使用所述机器学习模型处理所述训练示例以确定模型输出；使用所述模型输出、所述训练示例的目标输出、所述机器学习模型的参数的当前值和所述机器学习模型的参数的第一值来确定所述目标函数的梯度；以及使用所述梯度调节所述参数的当前值以使所述目标函数最优化。6.根据权利要求4或5中任一项所述的方法，其中，对于所述多个参数中的每一个参数，所述第二项取决于所述参数的重要性的相应度量和所述参数的当前值与所述参数的第一值之间的差的乘积。7.根据权利要求1至6中任一项所述的方法，其中，对于所述多个参数中的每一个参数，确定参数对所述机器学习模型在所述第一机器学习任务上实现可接受性能的重要性的相应度量包括：对于所述多个参数中的每一个参数，在给定用于在所述第一任务上训练所述机器学习模型的第一训练数据的情况下，确定参数的当前值是参数的正确值的概率的近似值。8.根据权利要求1至7中任一项所述的方法，其中，对于所述多个参数中的每一个参数，确定参数对所述机器学习模型在所述第一机器学习任务上实现可接受性能的重要性的相应度量包括：确定所述机器学习模型的多个参数相对于所述第一机器学习任务的费歇尔信息矩阵FIM，其中，对于所述多个参数...

【专利技术属性】
技术研发人员：G戴士贾汀斯，R帕斯卡努，RT哈德塞尔，J柯克帕特里克，JW韦内斯，NC拉比诺维茨，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国,GB