基于Actor-Critic神经网络连续控制的快速学习算法制造技术

本发明专利技术涉及一种Actor‑Critic神经网络连续控制的快速学习算法，经验池初始化、神经网络初始化、构造输出干扰、积累经验池、根据优先数prop采样及训练深度强化学习神经网络，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快。

【技术实现步骤摘要】
基于Actor-Critic神经网络连续控制的快速学习算法
本专利技术属于强化学习算法
，具体涉及一种基于Actor-Critic神经网络连续控制的快速学习算法。
技术介绍
近年来，深度强化学习大放异彩，Google研发的围棋程序AlphaGo成功打败世界顶级棋手李世石，在世界范围掀起了人工智能的热潮，而AlphaGo的成功，归功于深度强化学习算法。现在的深度强化学习算法大多使用了记忆回放(memoryreplay)这一方法。记忆回放的概念在1993年便被提出，到2013年随着DQN算法的提出，记忆回放在深度强化学习的各个方面被广泛使用。但由于记忆回放往往采取随机取样的方式，导致神经网络对某些状态重复学习，优先状态学习不到，并且经验池中一些较优的历史数据不能得到优先采样。因此，如何优化经验池采样是深度强化学习算法提示的一个关键。经验池优化采样的方法不多，有构造具有状态序列对的最大数量μrms和试验最大次数Knum两个参数约束的容器来使经验池保留一些较优的历史数据的方法，还有根据仅TD_error的大小的优先采样的方法。仅根据时间差分误差TD_error大小的方法有时的表现还不如本文档来自技高网...

【技术保护点】
一种基于Actor‑Critic神经网络连续控制的快速学习算法，其特征在于：所述快速学习算法包括如下步骤：步骤1)初始化1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建...

【技术特征摘要】
1.一种基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述快速学习算法包括如下步骤：步骤1)初始化1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的evalnet和targetnet，evalnet为估计网络、targetnet为目标网络，从而形成μ(s|θμ)网络、μ(s|θμ′)网络、Q(s,a|θQ)网络及Q(s,a|θQ′)网络共四个网络，其中，μ(s|θμ)网络为行为估计网络、μ(s|θμ′)网络为行为目标网络、Q(s,a|θQ)网络为评价估计网络、Q(s,a|θQ′)网络为评价目标网络；随机初始化μ(s|θμ)网络的参数θμ和随机初始化Q(s,a|θQ)网络的参数θQ，然后将μ(s|θμ)网络的参数θμ值赋予行为目标网络，θμ′←θμ，将Q(s,a|θQ)网络的参数θQ值赋予评价目标网络，θQ′←θQ；步骤2)构造输出干扰根据当前输入状态st，通过网络得到动作at′，再设定一个均值为at′、方差为var2的随机正态分布从随机正态分布中随机得到一个实际输出动作at，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；步骤3)积累经验池3.1)根据当前输入状态st，通过网络得到动作at′，再根据步骤2)建立的输出干扰得到实际输出动作at，并从环境中得到奖励rt和后续输入状态st+1，将当前输入状态st，实际输出动作at，奖励rt和后续输入状态st+1存储在经验池中，并将当前输入状态st、实际输出动作at、奖励rt、后续输入状态st+1统称为状态转移信息transition；3.2)计算状态转移信息transition的时间差分错误TD_error13.3)储存信息在经验池中存储步骤3.1)中状态转移信息transition和状态转移信息transition对应的时间差分错误TD_error1，并初始化状态转移信息transition的使用迹UT为1，并将使用迹UT存储在经验池中；3.4)将后续输入状态st+1当做现在的当前输入状态st，重复步骤3.1)～步骤3.3)，将计算得到的状态转移信息transition、状态转移信息transition对应的时间差分错误TD_error1和使用迹UT存储在经验池中；3.5)重复步骤3.4)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤3.4)便跳转执行一次步骤4)和步骤5)；步骤4)根据优先数prop采样4.1)采样从经验池中取出2×batch组样本，batch代表自然数；4.2)对采样中的每组样本分别计算时间差分错误TD_error24.3)计算每组样本中时间差分错误TD_error的变化记为TD_diff；同时，计算每组样本中经过变换后的时间差分错误TD_error2′记为sigmoid_TD；4.4)计算每组样本中的优先数prop4.5)取样完成步骤4.1)～步骤4.4)后，根据优先数prop大小优先采样的原则，按从大到小的顺序取出前几组batch组样本供神经网络学习；4.6)更新使用迹UT步骤5)训练深度强化学习神经网络5.1)对评价网络参数进行更新5.2)对行为估计网络参数进行更新5.3)对目标网络参数进行更新5.4)分为xm回合，每个回合重复步骤5.1)～5.3)xn次，每次重复5.1)～5.3)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数。2.根据权利要求1所述基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述步骤3....

【专利技术属性】
技术研发人员：柯丰恺，周唯倜，赵大兴，孙国栋，许万，丁国龙，吴震宇，赵迪，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42