一种基于多智能体的资源分配和任务卸载优化方法技术

本发明专利技术属于移动通信技术领域，涉及一种基于多智能体的资源分配和任务卸载优化方法；所述方法包括将异构网络环境中的边缘云服务器和能量收集使能的移动设备均视为可独立决策的智能体单元，结合实际计算卸载场景，将边缘云资源分配和移动设备任务卸载的收益构造出斯塔克尔伯格博弈模型，考虑到随机时变的边缘环境和不完备的状态观测，将斯塔克尔伯格博弈模型再次建模为部分可观测马尔可夫决策过程，并建立采用多智能体的深度强化学习算法求解部分可观测马尔可夫决策过程博弈模型，以学习最优的边缘云资源协同分配策略和任务卸载策略。本发明专利技术能够有效提高边缘云服务器的任务计算成功率，并降低移动设备的任务丢弃率。并降低移动设备的任务丢弃率。并降低移动设备的任务丢弃率。

【技术实现步骤摘要】
一种基于多智能体的资源分配和任务卸载优化方法


[0001]本专利技术属于移动通信
，涉及一种基于多智能体的资源分配和任务卸载优化方法。

技术介绍

[0002]目前，第五代移动通信系统(5th Generation Mobile Communication System,5G)正快速部署并逐渐大规模商用，尽管5G移动通信系统在传输速率、连接密度、传输时延、能量效率等方面有了大幅度提升，但仍无法有力支撑如增强现实、虚拟现实、远程医疗、智慧城市、无人驾驶、在线游戏、智能工厂等以大数据和智能化为主要特征、以计算密集和时延敏感为主要特点的新兴产业的快速发展。与此同时，在物联网(Internet of Things,IoT)和移动互联网技术的推动下，网络边缘设备连接量以及数据流量急剧增长，业务计算云端化、连接泛在化和业务类型异构化的海量物联网应用对高效的移动通信网络和无线边缘网络资源分配构成一系列挑战。移动边缘计算(Mobile Edge Computing，MEC)作为一种新兴的计算模式，通过将全部或部分本地计算任务卸载到MEC服务器上，能显著提高用户的服务体验。
[0003]随着异构网络和MEC的融合，融合场景中的任务卸载和网络资源分配问题面临着新的挑战。一些主要的成果有：(1)可持续多接入边缘计算中一种新型的移动感知卸载管理方案(参考文献：Guan S,Boukerche A.A Novel Mobility
‑
aware Offloading Management Scheme in Sustainable Multi
‑
access Edge Computing[J].IEEE Transactions on Sustainable Computing,2022,7(1):1
‑
13.DOI:10.1109/TSUSC.2021.3065310)：该算法考虑了异构网络和MEC融合环境下移动设备在服务器之间的间歇性连接和负载不均衡问题，提出了一种基于优先级的移动感知计算卸载模型，以优化任务的执行效率、计算时延和能效。(2)支持MEC的5G及其他车载网络中基于SDN的服务移动性管理(参考文献：Shah S.D.A,Gregory M.A,Li S,et al.SDN
‑
based Service Mobility Management in MEC
‑
enabled 5G and Beyond Vehicular Networks[J].IEEE Internet of Things Journal(Early Access),2022,DOI:10.1109/JIOT.2022.3142157)：该算法考虑了MEC和异构网络融合中，不同的任务具有不同的计算时延和带宽需求，提出了一种基于软件定义网络(Software Defined Network,SDN)的集中式控制优化方法，以优化移动设备的任务卸载和网络资源分配。
[0004]这些工作研究了服务器之间的协同计算和任务迁移问题，卸载的任务在相邻服务器间的协助计算下，能够进一步提升网络计算性能。然而，这些工作使用传统优化方法(如凸优化理论、博弈论)，并假设深度不确定的网络模型是完全已知的，且仅在过于理想的网络环境中优化了计算卸载性能，实用性较差。少数业界研究人员利用人工智能或机器学习方法研究动态计算卸载算法，优化通信资源分配和任务卸载策略。但这些工作大多是针对通信与任务卸载之间的折中进行建模和优化，并未考虑多源、异构网络场景中算力资源分布特性以及随机时变的网络环境对任务卸载和资源分配的影响。此外，在实际的边缘云网
络中，用户往往采用自主式、随机式云接入方式，这造成边缘云资源利用不充分、不均衡，进而影响边缘云资源的利用率和用户服务体验。因此，在异构边缘网络中边缘云服务器智能协同和任务卸载优化具有重要研究价值。

技术实现思路

[0005]有鉴于此，需要设计一种基于多智能体的资源分配和任务卸载优化方法，将异构网络环境中的边缘云服务器和能量收集使能的移动设备均视为可独立决策的智能体，结合实际计算卸载场景，将边缘云资源分配和移动设备任务卸载的收益构造出斯塔克尔伯格博弈模型，考虑到随机时变的边缘环境和不完备的状态观测，将斯塔克尔伯格博弈模型再次建模为部分可观测马尔可夫决策过程，并建立采用多智能体的深度强化学习算法求解部分可观测马尔可夫决策过程博弈模型，以学习最优的边缘云资源协同分配策略和任务卸载策略。
[0006]本专利技术解决上述技术问题所采用的技术方案包括：
[0007]一种基于多智能体的资源分配和任务卸载优化方法，所述方法包括：
[0008]步骤1)针对异构网络环境中能量收集使能的边缘云服务器网络，分别建立计算任务模型，任务卸载到异构网络中的通信模型、任务执行模型和能耗模型，并根据建立的模型获得环境状态；
[0009]步骤2)将边缘云服务器视为主方，根据获得的环境状态构建出主方的即时奖励函数，并根据主方的即时奖励函数建立主方执行协同资源分配决策的长期累积奖励的收益目标函数；
[0010]步骤3)将移动设备视为从方，根据获得的环境状态构建出从方的即时奖励函数，并根据从方的即时奖励函数建立从方执行任务卸载决策的长期累积奖励的收益目标函数；
[0011]步骤4)最大化主方的收益目标函数和从方的收益目标函数，结合主方和从方的决策约束条件，构建出斯塔克尔伯格博弈模型；
[0012]步骤5)基于随机时变的网络环境和主从双方不完备的观测状态，将斯塔克尔伯格博弈模型建模为部分可观测马尔可夫决策过程博弈模型；
[0013]步骤6)采用多智能体的深度强化学习算法求解部分可观测马尔可夫决策过程博弈模型，通过集中训练和分布式执行方式，学习并优化边缘云资源协作分配决策和移动设备任务卸载决策。
[0014]本专利技术的有益效果：
[0015]本专利技术研究了异构网络场景中边缘云智能协同和任务卸载优化方法。首先，异构边缘云服务器和能量收集使能的移动设备被视为可独立决策的智能体单元，结合实际计算卸载场景，将边缘云资源分配和移动设备任务卸载问题抽象为一个典型分布式斯塔克尔伯格博弈模型，边缘云作为主方为移动设备分配计算和传输资源，移动设备作为从方进行任务卸载和本地能量管理；然后，考虑到随机时变的边缘环境和不完备的状态观测，将智能体决策问题建模为部分可观测马尔可夫决策过程，并建立基于斯塔克尔伯格动态博弈的多智能体深度确定性策略梯度模型，以学习最优的边缘云资源协同分配和任务卸载策略。本专利技术所提模型能够有效提高边缘云服务器的任务计算成功率，并降低移动设备的任务丢弃率。
附图说明
[0016]图1为本专利技术中一种基于多智能体的边缘云服务器智能协同和任务卸载优化方法流程图；
[0017]图2为本专利技术中异构边缘网络中支持能量收集的MEC卸载系统模型图；
[0018]图3为本专利技术中所采用的一种典型的DDPG框架图；
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体的资源分配和任务卸载优化方法，其特征在于，所述方法包括：步骤1)针对异构网络环境中能量收集使能的MEC网络，分别建立计算任务模型，任务卸载到异构网络中的通信模型、任务执行模型和能耗模型，并根据建立的模型获得环境状态；步骤2)将边缘云服务器视为主方，根据获得的环境状态构建出主方的即时奖励函数，并根据主方的即时奖励函数建立主方执行协同资源分配决策的长期累积奖励的收益目标函数；步骤3)将移动设备视为从方，根据获得的环境状态构建出从方的即时奖励函数，并根据从方的即时奖励函数建立从方执行任务卸载决策的长期累积奖励的收益目标函数；步骤4)最大化主方的收益目标函数和从方的收益目标函数，结合主方和从方的决策约束条件，构建出斯塔克尔伯格博弈模型；步骤5)基于随机时变的网络环境和主从双方不完备的观测状态，将斯塔克尔伯格博弈模型建模为部分可观测马尔可夫决策过程博弈模型；步骤6)采用多智能体的深度强化学习算法求解部分可观测马尔可夫决策过程博弈模型，通过集中训练和分布式执行方式，学习并优化边缘云资源协作分配决策和移动设备任务卸载决策。2.根据权利要求1所述的一种基于多智能体的资源分配和任务卸载优化方法，其特征在于，所述环境状态包括边缘云服务器的可用计算资源和无线信道增益；移动设备的位置、任务积压、可用能量以及在收集的能量。3.根据权利要求1所述的一种基于多智能体的资源分配和任务卸载优化方法，其特征在于，所构建出的斯塔克尔伯格博弈模型表示为：在于，所构建出的斯塔克尔伯格博弈模型表示为：s.t.a
i
(t)∈{
‑
1,0,1}1,0,1}1,0,1}1,0,1}其中，F(t)为边缘云服务器的计算资源分配策略集合，B(t)为边缘云服务器的带宽资源分配策略集合；a(t)为移动设备任务卸载策略集合；R
L
表示边缘云服务器的长期累积奖励的收益，r
L
(t)表示在时隙t中边缘云服务器的即时奖励；表示移动设备i的长期累积奖励的收益，r
iF
(t)表示在时隙t中移动设备i的即时奖励，表示网络中的移动设备集合；a
i
(t)表示移动设备i在时隙t的任务卸载策略；1{x}是一个指示函数，当条件x为真时等于1，否则等于0；f
i0
(t)表示MBS在时隙t中分配给移动设备i的计算资源，B
i0
(t)表示MBS在时隙t中分配给移动设备i的带宽资源；表示MBS的最大计算能力，表示MBS的可用带宽资源；f
ij
(t)表示FBSj在时隙t中分配给移动设备i的计算资源；表示FBSj的最大计算能
力；B
ij
(t)表示FBSj在时隙t中分配给移动设备i的带宽资源；表示FBSj的可用带宽资源；表示FBSj覆盖范围内的移动设备集合；m表示移动设备总数，MBS表示宏基站，FBSj表示第j个毫微微基站。4.根据权利要求1或3所述的一种基于多智能体的资源分...

【专利技术属性】
技术研发人员：夏士超，姚枝秀，左琳立，李云，吴广富，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：