【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、神经网络是机器学习模型，该机器学习模型包括一个或多个非线性操作层以预测接收输入的输出。除了输入层和输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出可以被输入到神经网络的另一隐藏层或输出层。神经网络的每个层可以根据该层的一个或多个模型参数的值从接收输入生成相应的输出。模型参数可以是通过训练过程所确定的权重和/或偏置值，以使得神经网络在使用性能或损失函数进行评估时生成精确的输出。
2、增加训练过程的速度对于改进机器学习模型是至关重要的。存在可以在训练速度和质量之间提供折衷的数个平台/硬件优化。然而，因为机器学习模型的质量如此重要，所以除非质量没有损失，否则不会应用硬件技术来加速训练过程，从而导致许多性能优化机会变得不可用。
技术实现思路
1、本公开各方面提供机器学习模型的硬件感知渐进训练。渐进学习或训练是通过调整模型或用于训练模型的训练过程来训练机器学习模型、同时训练模型的技术。渐进训练系统可以在训练过程的不同阶段生成和应用模型级和硬件级性能设置的不同值，以根据预定的最小阈值来维持模型质量，同时改进渐进训练系统训练模型的速度。
2、模型级性能设置与正在被训练的机器学习模型的特性或应用的训练过程的参数对应。训练系统可以在训练期间调整到模型级性能设置的不同值，这不取决于用于训练模型的计算资源。硬件级性能设置与用于训练机器学习模型的计算资源的硬件特征对应。硬件级性能设置可以采用不同的值，以在由训练系统所应用的训练期间启用、禁用或修改不同
3、在训练过程的不同阶段对机器学习模型进行训练期间，训练系统利用现有的硬件特征来调整硬件级和模型级性能设置。训练系统可以识别和应用硬件级和模型级性能设置的互补值，以生成训练调度，该训练调度在训练的早期阶段改进模型训练速度，而在训练的后期阶段维持或改进模型质量。
4、本公开各方面提供通过使用可用计算资源及其相应的可用硬件特征(诸如硬件并行性、操作数数值精度、以及设备内和设备间通信的变化级别)来改进训练速度，以相对于单独的渐进训练来改进训练模型的速度。可以根据需要来缩放训练系统，以利用连接设备的计算平台的计算资源的硬件特征，从而进一步改进进行训练过程的速度。
5、训练系统可以生成和存储稍后要查询的训练调度，以用于在训练其它机器学习模型或先前训练的模型时重新使用。训练系统可以使用先前生成的训练调度的一部分，以用于在新的训练数据上重新训练模型，例如，在增加训练速度之前关注模型质量改进的训练调度。
6、本公开各方面还提供搜索可以在训练期间根据训练调度进行修改的神经架构，例如，与修改其它候选架构相比具有更少的计算开销，和/或更多地利用硬件感知渐进训练来实现与其它架构相比增加的训练速度。
7、本公开一方面指向一种系统，该系统包括一个或多个处理器，该一个或多个处理器被配置为，接收训练机器学习模型的请求；由一个或多个处理器接收为一个或多个硬件级性能设置以及一个或多个模型级性能设置指定多个值的训练调度；根据训练过程、在训练期间的不同时间点被设置为训练调度的多个值中的不同值的一个或多个硬件级性能设置以及一个或多个模型级性能设置，训练机器学习模型；以及响应于接收到请求，将经训练的机器学习模型发送到一个或多个计算设备。
8、本公开一方面指向一种方法，该方法包括：由一个或多个处理器接收训练机器学习模型的请求，该一个或多个处理器被配置为根据一个或多个硬件级性能设置以及一个或多个模型级性能设置来训练机器学习模型；由一个或多个处理器接收为一个或多个硬件级性能设置以及一个或多个模型级性能设置指定多个值的训练调度；由一个或多个处理器根据训练过程、以及在训练期间的不同时间点被设置为训练调度的多个值中的不同值的一个或多个硬件级性能设置以及一个或多个模型级性能设置，训练机器学习模型；以及响应于接收到请求，由一个或多个处理器将经训练的机器学习模型发送到一个或多个计算设备。
9、本公开一方面指向一种用指令编码的一个或多个非暂时性计算机可读存储介质，当该指令由一个或多个处理器执行时，该指令被配置为根据一个或多个硬件级性能设置以及一个或多个模型级性能设置来训练机器学习模型，使得一个或多个处理器进行操作，该操作包括：接收训练第一机器学习模型的请求；接收为一个或多个硬件级性能设置以及一个或多个模型级性能设置指定多个值的训练调度；根据训练过程、以及在训练期间的不同时间点被设置为训练调度的多个值中的不同值的一个或多个硬件级性能设置以及一个或多个模型级性能设置，训练第一机器学习模型；以及响应于接收到请求，将经训练的第一机器学习模型发送到一个或多个计算设备。
10、本公开各方面可以包括以下特征中的一个或多个。在一些示例中，本公开一方面包括组合的所有以下特征。
11、一个或多个模型级性能设置可以包括以下中的一个或多个：到机器学习模型的输入数据的输入数据大小，指定机器学习模型的大小或形状的一个或多个模型超参数，以及修改由一个或多个处理器实施的用于训练机器学习模型的训练过程的一个或多个训练过程超参数。
12、一个或多个硬件级性能设置可以包括用于调整一个或多个处理器之间的数据内或数据间通信的设置。
13、一个或多个处理器可以包括被逻辑地或物理地分组为多个组的多个处理器，并且一个或多个硬件级性能设置可以包括用于不同组中的处理器之间的数据间通信速率的设置。
14、一个或多个硬件级性能设置可以包括用于在根据训练过程训练机器学习模型的同时调整由一个或多个处理器进行的操作的数值精度的设置。
15、在训练机器学习模型时，一个或多个处理器还可以被配置为：将一个或多个硬件级和模型级性能设置设置为训练调度的多个值中的第一值；以及在机器学习模型的训练启动之后的第一时间点，将一个或多个硬件级以及一个或多个模型级性能设置调整为多个值中的不同于第一值的第二值。
16、在接收训练调度时，一个或多个处理器还可以被配置为使用训练调度机器学习模型来生成训练调度，该训练调度机器学习模型是：被训练为从一个或多个输入参数生成训练调度，该一个或多个输入参数至少部分地描述机器学习模型、机器学习任务以及可用于训练机器学习模型的计算资源中的一个或多个，以及使用训练调度的一个或多个训练示例来训练，每个示例训练调度被标记有至少部分地描述用于生成示例训练调度的一个或多个相应输入参数的相应数据、以及根据训练过程和示例训练调度所训练的相应机器学习模型的训练速度和模型质量。
17、机器学习模型可以是具有从多个候选神经架构中所选择的神经架构的神经网络，神经架构的选择至少部分地基于神经网络的估计的相应训练速度和相应模型质量的比较，神经网络根据训练过程和相应训练调度来训练，并且具有多个候选神经架构中的相应候选神经架构。
18、在接收训练调度时，一个或多个处理器还可以被配置为：向存储多个候选训练调度的一个或多个存储器设备发送查询，该查询包括至少部分地描述机器学习模型、本文档来自技高网...
【技术保护点】
1.一种系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述一个或多个模型级性能设置包括以下中的一个或多个：
3.根据权利要求1所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于调整所述一个或多个处理器之间的数据内或数据间通信的设置。
4.根据权利要求3所述的系统，其特征在于，
5.根据权利要求3所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于在根据所述训练过程训练所述机器学习模型的同时调整由所述一个或多个处理器进行的操作的数值精度的设置。
6.根据权利要求3所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于在根据所述训练过程训练所述机器学习模型的同时启用或禁用所述一个或多个处理器之间的硬件并行性的设置。
7.根据权利要求1所述的系统，其特征在于，在训练所述机器学习模型时，所述一个或多个处理器还被配置为：
8.根据权利要求1所述的系统，其特征在于，在接收所述训练调度时，所述一个或多个处理器还被配置为使用训练调度机器学习模型来生成训练调度，其中，所
9.根据权利要求1所述的系统，其特征在于，所述机器学习模型是具有从多个候选神经架构中所选择的神经架构的神经网络，所述神经架构的所述选择至少部分地基于神经网络的估计的相应训练速度和相应模型质量的比较，所述神经网络根据所述训练过程和相应训练调度来训练，并且具有所述多个候选神经架构中的相应候选神经架构。
10.根据权利要求1所述的系统，其特征在于，在接收所述训练调度时，所述一个或多个处理器还被配置为：
11.一种方法，其特征在于，包括：
12.根据权利要求11所述的方法，其特征在于，所述一个或多个模型级性能设置包括以下中的一个或多个：
13.根据权利要求11所述的方法，其特征在于，所述一个或多个硬件级性能设置包括用于调整所述一个或多个处理器之间的数据内或数据间通信的设置。
14.根据权利要求13所述的方法，其特征在于，
15.根据权利要求13所述的方法，其特征在于，所述一个或多个硬件级性能设置包括用于在根据所述训练过程训练所述机器学习模型的同时启用或禁用所述一个或多个处理器之间的硬件并行性的设置。
16.根据权利要求11所述的方法，其特征在于，接收所述训练调度包括，由所述一个或多个处理器使用训练调度机器学习模型来生成训练调度，其中，所述训练调度机器学习模型是：
17.根据权利要求11所述的方法，其特征在于，所述机器学习模型是具有从多个候选神经架构中所选择的神经架构的神经网络，所述神经架构的所述选择至少部分地基于神经网络的估计的相应训练速度和相应模型质量的比较，所述神经网络根据所述训练过程和相应训练调度来训练，并且具有所述多个候选神经架构中的相应候选神经架构。
18.根据权利要求11所述的方法，其特征在于，接收所述训练调度包括：
19.根据权利要求11所述的方法，其特征在于，训练所述机器学习模型还包括：
20.一种用指令编码的一个或多个非暂时性计算机可读存储介质，其特征在于，当所述指令由一个或多个处理器执行时，所述指令被配置为根据一个或多个硬件级性能设置以及一个或多个模型级性能设置来训练机器学习模型，使得所述一个或多个处理器进行操作，所述操作包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述一个或多个模型级性能设置包括以下中的一个或多个：
3.根据权利要求1所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于调整所述一个或多个处理器之间的数据内或数据间通信的设置。
4.根据权利要求3所述的系统，其特征在于，
5.根据权利要求3所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于在根据所述训练过程训练所述机器学习模型的同时调整由所述一个或多个处理器进行的操作的数值精度的设置。
6.根据权利要求3所述的系统，其特征在于，所述一个或多个硬件级性能设置包括用于在根据所述训练过程训练所述机器学习模型的同时启用或禁用所述一个或多个处理器之间的硬件并行性的设置。
7.根据权利要求1所述的系统，其特征在于，在训练所述机器学习模型时，所述一个或多个处理器还被配置为：
8.根据权利要求1所述的系统，其特征在于，在接收所述训练调度时，所述一个或多个处理器还被配置为使用训练调度机器学习模型来生成训练调度，其中，所述训练调度机器学习模型是：
9.根据权利要求1所述的系统，其特征在于，所述机器学习模型是具有从多个候选神经架构中所选择的神经架构的神经网络，所述神经架构的所述选择至少部分地基于神经网络的估计的相应训练速度和相应模型质量的比较，所述神经网络根据所述训练过程和相应训练调度来训练，并且具有所述多个候选神经架构中的相应候选神经架构。
10.根据权利要求1所述的系统，其特征在于，在接收所述训练调度时，所述一个或多个处理器还被配置为：
11.一种...
【专利技术属性】
技术研发人员：李晟，谭明星，诺曼·保罗·约皮，国·V·勒，程立群，庞若鸣，帕塔萨拉蒂·阮冈纳赞，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。