多智能体系统在合作竞争关系下的反同步优化控制方法技术方案

本发明专利技术公开了多智能体系统在合作竞争关系下的反同步优化控制方法，包括：设计自适应合作竞争强度函数；基于设计的合作竞争强度函数重新定义局部误差系统；根据局部误差系统设计合理的奖励函数，此奖励函数可以有效避免现有方法中的激励条件；使用深度决定性策略梯度算法近似最优控制策略时，采用演员

【技术实现步骤摘要】
多智能体系统在合作竞争关系下的反同步优化控制方法


[0001]本专利技术涉及智能体控制方法领域，具体涉及多智能体系统在合作竞争关系下的反同步优化控制方法。

技术介绍

[0002]近年来，专家学者受到自然界生物群集行为的启发将多智能体系统(multi
‑
agent systems，MASs)一致性应用于复杂系统协同控制中，多智能体系统一致性问题在智能电网、编队控制、无人机集群等领域有着重要的应用前景。
[0003]对于多智能体系统来说，一致性问题是一个基本现象。所有智能体在一致控制协议的作用下通过信息交换实现相同的状态。在过去的几年中，大多数关于一致性控制的研究都假设智能体之间是合作关系。然而，在现实世界中，合作竞争也很常见。例如，在两个联盟中，双方持有相反的观点，各方成员达成内部共识。显然，研究合作竞争的相互作用是有意义的。
[0004]现有多智能体系统之间关系的研究主要有以下几类：
[0005]合作关系，整个智能体系统之间只有合作关系。这种模式忽略了多智能体之间因为资源有限而产生的竞争情况；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多智能体系统在合作竞争关系下的反同步优化控制方法，其特征在于，包括以下步骤：S1：根据多智能体系统之间的连接复杂性，确定系统的拓扑结构及拉普拉斯连接矩阵；S2：创建自适应合作竞争强度函数，基于此，构建新的局部误差系统并重新定义合理的性能函数；多智能体系统包括领导者与跟随者模式，每个智能体包含自身的状态信息，第i个智能体的状态信息表示为x
i
(k)，x
j
(k)表示第j个智能体的状态信息,任意两个智能体之间的合作或者竞争关系分别表示为：x
j
(k)
‑
x
i
(k)和x
j
(k)+x
i
(k)；S3：针对多智能体系统精确模型未知的情形，采用Actor
‑
Critic网络结构分别近似智能体的控制动作和性能函数；S4：Critic对Actor近似的控制动作进行评价，Actor根据Critic的评价对控制动作进行调整，整个过程使用梯度下降更新，在训练神经网络参数时加入了经验回放和目标网络技术，当神经网络参数趋于稳定时，即获取到最优反同步的控制策略。2.根据权利要求1所述的多智能体系统在合作竞争关系下的反同步优化控制方法，其特征在于：所述S2设计自适应合作竞争强度函数时，使用改进后的DDPG算法近似未知精确模型进行多智能体系统的最优反同步控制。3.根据权利要求1所述的多智能体系统在合作竞争关系下的反同步优化控制方法，其特征在于：所述S2中的自适应合作竞争强度函数如下：其中，sigmoid函数的表达式为基于此，重构内部误差系统其中g
i
表示追随者是否与领导者之间有信息交互，g
i
＝1表示追随者与领导者之间有信息交互，g
i
＝0表示无；x0(k)表领导者的状态信息，a
ij
表示智能体之间的连接关系，a
ij
＝1表示智能体之间是合作关系，a
ij
＝
‑
1表示智能体之间是竞争关系。4.根据权利要求1所述的多智能体系统在合作竞争关系下的反同步优化控制方法，其特征在于：所述S2中的领导者与跟随者模式中设置了领导者的动态方程与跟随者的动态方程，其中：领导者的动态方程：x0(k+1)＝Ax0(k)追随者的动态方程：x
i
(k+1)＝Ax
i
(k)+B
i
...

【专利技术属性】
技术研发人员：张翠娟，孙宜南，何锐，黄师化，
申请(专利权)人：安庆师范大学，
类型：发明
国别省市：