【技术实现步骤摘要】
基于强化学习的随机多智能体优化控制方法及系统
[0001]本专利技术属于多智能体控制
，尤其涉及基于强化学习的随机多智能体优化控制方法及系统
。
技术介绍
[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]多智能体系统自
20
世纪
70
年代被提出后，在计算机科学
、
分布式决策
、
交通控制
、
智能机器人等领域迅速发展应用，成为了分布式人工智能的研究热点
。
近年来，多智能体
、
强化学习
、
对策论
、
控制论等领域交叉融合形成了多智能体强化学习
(MARL)。
强化学习的环境是用马尔科夫决策过程描述的，扩展到多智能体系统被定义为马尔科夫博弈，也称为随机博弈
。
在完全合作的随机博弈过程中，多智能体系统能根据与环境交互后反馈的信息进行迭代，找到最优策略，使系统达到纳什均衡状态
。
[0004]该领域已经有了很多经典的算法，然而传统的
MARL
算法多用来解决小规模确定性问题
。
现实中的多智能体环境和动作空间一般是连续且复杂的，不能直接移植传统算法
。
对此，可以用神经网络表示值函数和策略函数，提供一种端到端的学习方式，降低了直接求解耦合的哈密顿
‑
雅克比
‑
【技术保护点】
【技术特征摘要】
1.
基于强化学习的随机多智能体优化控制方法，其特征在于，包括以下步骤：步骤一：构建多智能体系统中的通信拓扑结构，考虑噪声干扰，构建动态局部邻域跟踪误差模型，定义值函数作为评价随机多智能体微分对策的性能指标，根据动态局部邻域跟踪误差模型和值函数得到
HJB
方程；步骤二：构建包含
Critic
神经网络和
Actor
神经网络的两层神经网络模型，采用
Critic
神经网络近似表示每个智能体的值函数，采用
Actor
神经网络近似表示每个智能体的策略函数，在线拟合耦合
HJB
方程；步骤三：基于强化学习中的策略迭代算法求解随机多智能体分布式微分图形对策问题，调整
Critic
神经网络和
Actor
神经网络的参数在线学习得到耦合
HJB
方程的近似解；步骤四：基于耦合
HJB
方程的近似解，得到多智能体系统的最优控制策略，使多智能体系统达到同步
。2.
如权利要求1所述的基于强化学习的随机多智能体优化控制方法，其特征在于：考虑智能体在与邻居智能体交互时产生的跟踪误差，同时受到环境中噪声的干扰，构建智能体的状态方程；基于智能体及其邻居智能体的交互，得到局部邻域跟踪误差方程；基于智能体的状态方程和局部邻域跟踪误差方程，构建出动态局部邻域跟踪误差模型
。3.
如权利要求2所述的基于强化学习的随机多智能体优化控制方法，其特征在于，所述多智能体的状态方程为：
dx
i
＝
(Ax
i
+B
i
u
i
)dt+
σ
dw
i
，
i∈N
，其中，
x
i
(t)∈R
n
是智能体
i
的状态，是智能体
i
的控制输入，控制矩阵
A∈R
n
×
n
，输入矩阵
σ
w
i
代表系统的加性噪声，
w
i
是独立的布朗运动，
σ
∈R
n
是扩散系数
。4.
如权利要求3所述的基于强化学习的随机多智能体优化控制方法，其特征在于，所述动态局部邻域跟踪误差模型为：其中，其中，
N
i
＝
{v
j
∶(v
j
,v
i
)∈
ε
}
是有向图中由节点
i
的所有邻居节点
j
构成的集合，节点
i
代表智能体
i
，节点
j
代表智能体
i
的邻居智能体
j
；
e
ij
为有向边，代表节点
j
向节点
i
传递信息的通路；是节点
i
的加权入度；的加权入度；
5.
如权利要求1所述的基于强化学习的随机多智能体优化控制方法，其特征在于，所述步骤三中：根据
Critic
神经网络模拟出值函数，近似表示
HJB
方程，并定义残差平方作为控制指标；利用
Actor
神经网络估计控制策略；
采用梯度下降法同时更新
Critic
神经网络和
Actor
神经网络的权重系数，直至权重系数收敛，残差平方和最小；否则根据更新后的权重系数得到下一次迭代的值函数和控制策略，并计算出下一时刻的状态，重新投入到
Critic
神经网络和
Actor
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。