一种考虑公平性原则的多智能体协同资源分配方法组成比例

本发明专利技术提出了一种考虑公平性原则的多智能体协同资源分配方法，涉及多智能体协同的技术领域，其步骤如下：每个智能体以无人机的观测值和公平性奖励作为Actor网络的输入；Actor网络将t时刻的状态和公平性奖励作为输入，输出当前时刻的动作，利用当前状态和动作用于估计Q值；根据估计Q值与实际Q值计算策略损失函数训练Critic网络，利用最大Q值作为Actor网络的反馈，输出智能体的公平动作集；利用基尼系数判断公平动作集中的动作是否满足公平性；利用训练的公平性策略，根据无人机的不同状态，进行有次序的充电。本发明专利技术保证智能体间的公平竞争，提高多智能体系统的协同能力；加强无人机的续航能力，提高工作效率。提高工作效率。提高工作效率。

【技术实现步骤摘要】
一种考虑公平性原则的多智能体协同资源分配方法


[0001]本专利技术涉及多智能体协同的
，尤其涉及一种考虑公平性原则的多智能体协同资源分配方法，在有限资源下实现资源协同分配。

技术介绍

[0002]随着人工智能技术的发展，各行各业都有智能机器人的身影，尤其是在一些特殊复杂的工作环境中，例如：海底探索、无人机勘探等。传统机器人控制方法需要对机器人系统建立严格、精确的数学模型。然而，这种传统算法的劣势比较明显，计算量大，任务单一且通用性不高。为了解决这些问题，研究人员将强化学习的决策能力和深度学习的学习能力进行结合，设计了深度强化学习算法。深度强化学习的应用，为多智能体系统的发展提供了新的机遇与挑战。
[0003]多智能体系统是通过协调各智能体的能力和目标，以求解单个智能体无法解决的问题，提高系统的工作效率。然而，效率与公平是相辅相成的，有时候只追求任务的高效性而忽略了公平性。公平性体现在机会的均等上，即团体中每个成员都有平等的机会参与竞争。在多智能体协同系统中，如何有效平衡智能体间的个体局部利益和团体全局利益是非常关键的。而在一些多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑公平性原则的多智能体协同资源分配方法，其特征在于，其步骤如下：步骤1：在多智能体系统中，每个智能体以无人机的观测值o
t
和公平性奖励r
ti
作为Actor网络的输入；步骤2：Actor网络将t时刻的状态s
t
和公平性奖励r
ti
作为输入，输出当前时刻的动作a
t
，并将当前状态s
t
和动作a
t
作为一个状态动作对(s
t
,a
t
)用于估计Q值；步骤3：根据步骤2中的估计Q值与实际Q值计算策略损失函数L(θ
i
)用以训练Critic网络，利用最大Q值作为Actor网络的反馈，并输出n个智能体的公平动作集A(a1,a2,
···
,a
n
)；步骤4：利用基尼系数判断公平动作集A(a1,a2,
···
,a
n
)中的动作是否满足公平性；利用训练的公平性策略，根据无人机的不同状态，进行有次序的充电。2.根据权利要求1所述的考虑公平性原则的多智能体协同资源分配方法，其特征在于，所述观测值o
t
为工作的无人机与环境交互得到的，观测值o
t
包括无人机坐标位置信息C
i
＝(x
i
,y
i
)、无人机飞行高度F＝(F1,F2,
···
,F
n
)、充电站位置信息C
s
＝(x
s
,y
s
)、无人机与充电站距离D
i
＝C
i
C
s
，无人机当前状态s
t
＝{C
i
,F,C
s
,D
i
}；其中，F1,F2,
···
,F
n
分别表示n个无人机的飞行高度；所述公平性奖励r
ti
表示第i个智能体在t时刻的公平性奖励，且：其中，ε表示一个极小的常数；为t时刻第i个智能体的效能，且：其中，(x
i
(t),y
i
(t))和(x
ri
(t),y
ri
(t))分别表示智能体i在t时刻的坐标位置及目标点的坐标位置；为t时刻所有智能体的平均效能，且：3.根据权利要求2所述的考虑公平性原则的多智能体协同资源分配方法，其特征在于，所述公平性奖励r
ti
与n个智能体的策略π＝[π1,
···
,π
n
]有关，第i个智能体的累计期望奖励为：其中，θ
i
为智能体的策略参数，γ为折扣系数，表示为距离当前状态s越远的地方对系统的影响越小，s～ρ
π
表示当前状态s满足概率分布函数ρ
π
，表示动作a
i
满足概率分布函数所述Actor网络在公平性奖励r
ti
和智能体策略π的驱动下选择合适的动作，策略梯度表示为：其中，o
i
表示第i个智能体的观测值，x＝[o1,
···
,o
n
]表示观测向量D为用于存放状态、动作数据的经验回放池；表示第i个智能体集中式的状态
‑
动作函数；μ
...

【专利技术属性】
技术研发人员：周毅，刘志祥，石华光，宁念文，程翔，李思，
申请(专利权)人：河南大学，
类型：发明
国别省市：