利用局部优化缩放前向梯度制造技术

基于至少一个准则从机器学习模型确定多个模型部分。分别针对该多个模型部分确定多个局部优化函数。针对该多个模型部分中的每个模型部分执行前向模式微分。执行前向模式微分包括对该模型部分的一个或多个模型单元的输出施加扰动。执行前向模式微分包括：至少部分地基于该扰动，确定针对该模型部分的该局部优化函数的梯度。执行前向模式微分包括基于该梯度来修改该模型部分的一个或多个参数。

【技术实现步骤摘要】
【国外来华专利技术】

本公开总体上涉及对机器学习模型进行训练。更具体地，本公开涉及经由活动扰动的前向梯度学习。

技术介绍

1、机器学习模型部分地受到人脑的结构和功能的启发。特别地，一些类型的机器学习模型(诸如神经网络)包括模仿脑内的神经元的生物学功能的非线性模型单元(例如，激活函数等)。常规地，这些模型中的许多模型是通过使用反向传播调整与这些模型单元相关联的值来训练的。然而，许多人认为反向传播是生物学上不合理的，因为它将需要脑形成对称的反向连接。

技术实现思路

1、本公开的实施例的各方面和优点将部分地在以下描述中阐述，或者可以从该描述中学习，或者可以通过实施例的实践来学习。

2、本公开的一个示例方面涉及一种计算机实现的方法。该方法包括由包括一个或多个计算装置的计算系统基于至少一个准则从机器学习模型确定多个模型部分。该方法包括由该计算系统分别针对该多个模型部分确定多个局部优化函数。该方法包括由该计算系统针对该多个模型部分中的每个模型部分执行前向模式微分。执行该前向模式微分包括由该计算系统对该模型部分的一个或多个模型单元的本文档来自技高网...

【技术保护点】

1.一种计算机实现的方法，包括：

2.如权利要求1所述的计算机实现的方法，其中所述多个模型部分中的第一模型部分包括多个模型单元；并且

3.如权利要求2所述的计算机实现的方法，其中所述多个模型部分包括第一模型部分和第二模型部分；并且

4.如权利要求1所述的计算机实现的方法，其中根据所述一个或多个参数对中的每个参数进行修改，其中xi是突触前活动，是突触后活动的改变速率，并且是与所述优化函数相关联的奖励的改变速率。

5.如权利要求1所述的计算机实现的方法，其中所述至少一个准则包括评估所述机器学习模型的深度维度的逐块损失准则；</p>

6.如权...

【技术特征摘要】
【国外来华专利技术】

1.一种计算机实现的方法，包括：

2.如权利要求1所述的计算机实现的方法，其中所述多个模型部分中的第一模型部分包括多个模型单元；并且

3.如权利要求2所述的计算机实现的方法，其中所述多个模型部分包括第一模型部分和第二模型部分；并且

4.如权利要求1所述的计算机实现的方法，其中根据所述一个或多个参数对中的每个参数进行修改，其中xi是突触前活动，是突触后活动的改变速率，并且是与所述优化函数相关联的奖励的改变速率。

5.如权利要求1所述的计算机实现的方法，其中所述至少一个准则包括评估所述机器学习模型的深度维度的逐块损失准则；

6.如权利要求1所述的计算机实现的方法，其中所述至少一个准则包括评估所述机器学习模型的输入的空间维度的逐小块损失准则；并且

7.如权利要求1所述的计算机实现的方法，其中所述至少一个准则包括评估所述机器学习模型的通道维度的通道损失准则；并且

8.一种计算系统，包括：

9.如权利要求8所述的计算系统，其中所述多个模型部分中的第一模型部分包括多个模型单元；并且

10.如权利要求8所述的计算系统，其中所述多个模型部分包括第一模型部分和第二模型部分；并且

11.如权利要求8所述的计算系统，其中根据所述一个或多个参数对中的每个参数进行修改，其中xi是突触前活动，是突触后活动的改变速率，并且是与所述优化函数相关联的奖励的改变速率。

12.如权利要...

【专利技术属性】
技术研发人员：S·柯恩布利思，G·E·辛顿，M·任，R·廖，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：