强化学习系统训练返回函数的元梯度更新技术方案

用于强化学习的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。本文所描述的实施例应用元学习(特别是元梯度强化学习)来学习最优返回函数G，从而改善系统的训练。这提供了训练强化学习系统的更有效和高效的手段，因为系统能够通过训练返回函数G更快地收敛到一个或多个策略参数θ的最优集。特别地，使返回函数G取决于一个或多个策略参数θ，并且使用相对于一个或多个返回参数η被微分的元目标函数J

【技术实现步骤摘要】
【国外来华专利技术】强化学习系统训练返回函数的元梯度更新


[0001]本说明书涉及强化学习(reinforcement learning)。

技术介绍

[0002]在强化学习系统中，代理(agent)通过执行由强化学习系统响应于接收到表征环境当前状态的观测数据(observation)而选择的动作来与环境交互。
[0003]一些强化学习系统响应于接收到给定的观测数据，根据神经网络的输出选择要由代理执行的动作。
[0004]神经网络是机器学习模型，其采用非线性单元的一个或多个层来预测对接收到的输入的输出。一些神经网络是深度神经网络，其除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一个层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。

技术实现思路

[0005]本说明书总体上描述了一种强化学习系统，该系统选择要由与环境交互的强化学习代理执行的动作。为了使代理与环境交互，系统接收表征环境当前状态的数据，并响应于接收到的数据选择要由代理执行的动作。表征环境状态的数据在本说明书中被称为观测数据。
[0006]在一些实现方式中，环境是模拟(simulated)环境，并且代理被实现为与模拟环境交互的一个或多个计算机程序。例如，模拟环境可以是视频游戏，并且代理可以是玩视频游戏的模拟用户。作为另一示例，模拟环境可以是运动模拟环境，例如驾驶模拟或飞行模拟，并且代理是通过运动模拟航行的模拟交通工具(vehicle)。在这些实现方式中，动作可以是控制模拟用户或模拟交通工具的控制输入。
[0007]在一些其他实现方式中，环境是真实世界环境，并且代理是与真实世界环境交互的机械代理。例如，代理可以是与环境交互以完成特定任务的机器人。作为另一示例，代理可以是在环境中航行的自动或半自动交通工具。在这些实现方式中，动作可以是控制机器人或自动交通工具的控制输入。
[0008]在一个创新方面，本说明书中所描述的主题可以在强化学习系统中实现，该系统包括被配置为从强化学习神经网络中检索多个经验(experience)的一个或多个处理器，该强化学习神经网络被配置为控制与环境交互的代理执行任务，以尝试基于强化学习神经网络的一个或多个策略参数来实现指定的结果，每个经验包括表征环境状态的观测数据、代理响应于观测数据而执行的动作以及响应于动作而接收到的奖励(reward)。一个或多个处理器还被配置为使用基于奖励计算返回(return)的返回函数、基于第一经验集来更新强化学习神经网络的一个或多个策略参数；以及基于一个或多个更新的策略参数和第二经验集来更新返回函数的一个或多个返回参数。一个或多个返回参数使用相对于该一个或多个返回参数被微分的元目标(meta-objective)函数经由梯度上升或下降方法来更新，其中元目
标函数取决于一个或多个策略参数。
[0009]本文所描述的实施例应用元学习(特别是元梯度强化学习)来学习最优返回函数G，以改善对系统的训练。这提供了训练强化学习系统的更有效和高效的手段，因为系统能够通过逐步训练返回函数G更快地收敛到一个或多个策略参数θ的最优集。特别地，使返回函数G取决于一个或多个策略参数θ，并且使用相对于一个或多个返回参数η被微分的元目标函数J
’
，以改善对返回函数G的训练。
[0010]元学习可以被认为是训练系统更有效地学习的行为。元目标J
’
因此可以被认为是改善强化学习神经网络的学习功能的目标。具体地，元目标函数J
’
可以是用于优化强化学习神经网络的返回参数η的函数。元目标函数J
’
可以服务于识别使代理中的整体性能最大化的返回函数的目的。这可以通过一个专注于优化返回的元目标(换句话说，策略梯度目标)来直接测量。例如，元目标函数可以计算返回函数和代理用来确定动作的值函数之间的误差(例如均方误差)，并且系统可以被配置为更新返回参数以减少(例如最小化)误差。
[0011]检索经验τ可以包括系统生成经验(即，强化学习神经网络可以形成系统的部分)或者例如，从存储装置或外部系统访问经验。也就是说，经验可以由强化学习系统本身在线生成，或者可以从外部强化学习神经网络获得。因此，更新策略参数θ可以包括将更新的策略参数θ
′
发送到外部强化神经网络或者更新形成整个系统的部分的强化神经网络。
[0012]基于各种不同类型的强化学习，可以利用各种不同类型的返回函数G。例如，返回函数G可以是随机梯度上升方法中的返回函数，或者可以作为Q学习方法中的目标。
[0013]第一经验集和第二经验集可以是相同的。可替代地，第一经验集和第二经验集可以包括不同的经验。通过避免过拟合，将用于更新一个或多个返回参数的不同经验用于那些更新一个或多个策略参数的经验(保留训练数据以用于训练返回函数)改善了训练。
[0014]更新一个或多个返回参数可以利用一个或多个更新的策略参数相对于一个或多个返回参数的微分。元目标函数J
’
相对于一个或多个返回参数η的微分可以利用偏导数，将该微分分为两个分量，第一分量是元目标函数J
’
相对于一个或多个更新的策略参数θ
′
的微分，并且第二分量是一个或多个更新的策略参数θ
′
相对于一个或多个返回参数η的微分。因此，这允许系统在更新一个或多个返回参数η时利用更新的(改善的)策略参数θ
′
，从而提高训练的有效性。
[0015]一个或多个策略参数可以是定义强化学习神经网络的功能的一个或多个参数(定义神经网络采取的动作的一个或多个参数)。一个或多个返回参数可以是定义如何基于奖励来确定返回的参数。
[0016]一个或多个处理器还可以被配置为迭代地：使用一个或多个更新的策略参数和一个或多个更新的返回参数来检索由强化神经网络生成的更新的经验；使用一个或多个更新的返回参数、基于更新的第一经验集，进一步更新一个或多个策略参数；以及通过梯度上升或下降方法、基于进一步更新的策略参数和更新的第二经验集，进一步更新一个或多个返回参数，直到达到结束条件。
[0017]因此，系统可以迭代地更新一个或多个策略参数和一个或多个返回参数，以收敛到最优策略。通过在一个或多个策略参数的训练期间更新一个或多个返回参数，系统能够改善计算的奖励，并因此可以更准确地训练策略并(更有效地)使用更少的训练片段(episode)。
[0018]每次更新策略参数时，可以更新一个或多个返回参数。这为训练系统提供了一种计算更简单且更有效的机制。
[0019]可替代地，一个或多个返回参数可以在一个或多个策略参数的多次更新中保持固定。在这种情况下，一个或多个返回参数然后可以随时间通过反向传播来更新。
[0020]更新一个或多个返回参数可以包括应用进一步的(further)返回函数作为元目标函数的部分，并且当被应用于第二经验集时，根据来自进一步的返回函数的返回来评估更新的策略本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种强化学习系统，包括一个或多个处理器，所述一个或多个处理器被配置为：从强化学习神经网络检索多个经验，所述强化学习神经网络被配置为控制与环境交互的代理执行任务，以尝试基于所述强化学习神经网络的一个或多个策略参数来实现指定的结果，每个经验包括表征环境状态的观测数据、所述代理响应于所述观测数据而执行的动作以及响应于所述动作而接收到的奖励；使用基于奖励计算返回的返回函数、基于第一经验集更新所述强化学习神经网络的一个或多个策略参数；以及基于一个或多个更新的策略参数和第二经验集，更新所述返回函数的一个或多个返回参数，其中所述一个或多个返回参数使用相对于所述一个或多个返回参数被微分的元目标函数经由梯度上升或下降方法来更新，其中所述元目标函数取决于所述一个或多个策略参数。2.根据权利要求1所述的强化学习系统，其中，更新所述一个或多个返回参数利用所述一个或多个更新的策略参数相对于所述一个或多个返回参数的微分。3.根据权利要求1所述的强化学习系统，其中，所述一个或多个处理器还被配置为迭代地：使用所述一个或多个更新的策略参数和所述一个或多个更新的返回参数，检索由所述强化神经网络生成的更新的经验；使用所述一个或多个更新的返回参数、基于第一更新经验集，进一步更新所述一个或多个策略参数；以及经由梯度上升或下降方法、基于进一步更新的策略参数和第二更新经验集，进一步更新所述一个或多个返回参数，直到达到结束条件。4.根据权利要求1所述的强化学习系统，其中，更新所述一个或多个返回参数包括：应用进一步的返回函数作为所述元目标函数的部分，并且根据当所述进一步的返回函数被应用于所述第二经验集时的返回来评估更新的策略。5.根据权利要求1所述的强化学习系统，其中，对所述一个或多个策略参数的更新应用以所述一个或多个返回参数为条件的策略和值函数中的一个或多个。6.根据权利要求5所述的强化学习系统，其中，以所述一个或多个返回参数为条件是经由对所述一个或多个返回参数的嵌入来进行的。7.根据权利要求1所述的强化学习系统，其中，所述一个或多个返回参数包括所述返回函数的折扣因子和所述返回函数的自举因子。8.根据权利要求1所述的强化学习系统，其中，所述一个或多个处理器还被配置为：基于所述第二经验集更新所述强化学习神经网络的一个或多个策略参数；以及基于所述一个或多个更新的策略参数和所述第一经验集，更新所述返回函数的一个或多个返回参数，其中所述一个或多个返回参数经由梯度上升或下降方法来更新。9.根据权利要求1所述的强化学习系统，其中，被微分的元目标函数为：
其中：η是所述一个或多个返回参数；以及J
′
(τ
′
,θ
′
,η
′
)是以所述第二经验集τ
′
、所述一个或多个更新的策略参数θ
′
和形成所述元目标函数的部分的进一步的返回函数的一个或多个进一步的返回参数η
′
为条件的所述元目标函数。10.根据权利要求9所述的强化学习系统，其中，系统被配置为基于所述更新的策略参数θ
′
相对于所述返回参数η的微分dθ
′
/...

【专利技术属性】
技术研发人员：Z徐，HP范哈塞尔特，D希尔沃，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：