移动边缘网络中基于FDQL的多维资源协同优化方法技术

现有技术中，移动边缘网络呈现出智能化、多元化、综合化的趋势，使得多维资源最优分配面临诸多挑战。为了提升多维资源优化的精确性，本发明专利技术提出一种移动边缘网络中基于FDQL的多维资源协同优化方法。本方法以最小化MOS为优化目标来构建多维资源分配模型，并设计一种双层的决策方案。首先，底层的基站利用双深度Q学习DDQL进行局部模型训练以获得短周期内最优决策；然后，上层的边缘节点利用联邦深度学习FDQL进行全局模型训练以降低长周期内分布式决策的偏差。实验结果表明，所提算法在降低内容服务时延和提高用户体验质量方面都优于其它方法。其它方法。其它方法。

【技术实现步骤摘要】
移动边缘网络中基于FDQL的多维资源协同优化方法


[0001]本专利技术属于通信
，具体是一种移动边缘网络中基于联邦深度强化学习FDQL的多维资源协同优化方法。

技术介绍

[0002]由爱立信发布的移动市场预测报告可知，到2024年5G用户将达到19亿
[1]，急剧增长的数据流量使得有限的频谱资源、计算资源和缓存资源与日益增长的资源需求之间的矛盾日渐加剧。同时，物联网(IoT，Intemet of Things)
[2]、车载网(IoV，Intemet of Vehicles)
[3]的广泛应用增加了网络环境的复杂性。目前，网络通信面临着多元化、综合化、智能化等诸多挑战，加剧了资源管理的难度。为此运营商将部分业务处理和资源调度功能部署到云平台以实现服务性能提升
[4]。
[0003]但是，面对未来100％的全球覆盖率、超大规模的终端设备接入、低于毫秒时延的海量数据传输，依托云计算的传统处理平台面临着巨大的挑战。特别是智能驾驶、虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、超高视频流等新兴业务愈加依赖于高可靠、低时延的实时数据处理能力，而远离用户和终端设备的云中心无法及时处理巨大的应用程序，并且网络阻塞和传输延迟也严重影响了用户体验。将网络资源边缘化和本地化的移动边缘计算(Mobile Edge Computing，MEC)技术
[5
‑
9]是解决上述问题的关键技术之一。
[0004]MEC技术将具有较强计算能力的服务器部署至靠近用户的边缘节点和宏基站以增加本地计算资源；同时配置较大的缓存能力，提升Web浏览、多媒体和社交网络等新型数据服务质量。计算和存储资源下沉到网络边缘，可显著缓解带宽压力、减轻回程链路负担及降低服务延迟，从而弥补云中心服务时延过长的缺点。大规模移动网络密集部署MEC服务器虽可为用户提供超低时延、高带宽的服务解决方案，但激增的用户服务请求依然存在资源使用不均衡的问题，因此如何在满足用户体验质量(Quality of Experience，QoE)的前提下优化多维资源分配方案成为MEC亟待解决的问题之一。
[0005]传统的遗传算法、粒子群算法、博弈理论和图论着色算法等可以用来解决MEC的资源优化问题。文献[10]提出了基于遗传算法的两阶段启发式优化算法，解耦计算卸载和资源分配的联合优化问题，并通过迭代更新问题的解来获得能耗最小的分配策略。针对密集小区中基站的多址特性和资源受限问题，文献[11]将计算卸载决策及频谱、功率和计算资源分配的联合优化问题建模为NP
‑
hard的混合整数非线性规划问题，并利用粒子群算法(Particle Swarm Optimization，PSO)获得系统开销低的计算卸载和资源调度方案。文献[12]根据Stackelberg博弈理论建立了一种高效的网络资源优化策略，实现了低延迟、高可靠的视频服务，缓解了传输性能和QoE之间的冲突。文献[13]提出了基于图论着色理论的网络资源共享方案，该方案以系统资源开销为优化目标，实现了高效的V2X协同缓存与计算、通信资源分配，减少了多媒体服务时延。现今MEC网络的大数据、动态化、多目标等新特征使得上述传统方法无法充分挖掘网络信息生成最优的资源分配决策。
[0006]机器学习、深度学习为代表的人工智能已从最初的算法驱动逐渐向数据、算法和算力复合驱动转变，能够有效解决应用领域的各种难题。文献[14]提出了基于边缘云计算的强化学习(Reinforcement Learning，RL)优化框架，利用RL能自适应处理环境多样性、动态性的优点，快速做出最优的任务卸载和资源分配决策，达到最小化任务延迟和用户电池能耗的目标。随着MEC网络规模和结构复杂性呈指数增长，基于RL的资源优化算法因状态空间庞大而导致算法收敛缓慢，难以寻求最优解。深度强化学习(Deep Reinforcement Learning，DRL)利用深度神经网络(Deep Neural Network，DNN)估计RL的值函数以获得精确的近似解。深度Q学习(Deep Q
‑
Learning，DQL)作为一种DRL算法，将深度学习的感知能力和强化学习的决策能力相结合，通过不断试错来解决复杂系统的感知决策问题
[15]。针对MEC服务器为用户提供直播流、缓冲流和低延迟增强移动宽带应用三种多媒体服务，文献[16]先设计QoS评价模型，再利用DQN动态分配网络资源以最大满足用户的QoS，且资源调度性能优于循环调度和优先级调度算法。文献[17]在通信、计算、缓存资源约束条件下构建任务平均能耗最小的资源分配模型，并提出了基于双深度Q学习(Double Deep Q
‑
Learning，DDQL)的多维资源分配方法。仿真结果表明，相较于随机算法、贪心算法、粒子群算法、DQL，DDQL可更好地解决多任务资源分配问题，且降低了至少5％的任务平均能耗。使用两个神经网络估计每个动作的累积延迟和奖励，文献[18]提出了基于注意的DDQL方法，可在长周期内获得延迟和能耗最小的CPU频率和传输功率调度策略。文献[19]以长期利润最大化和满足用户低延迟计算为目标，使用DDQL共同优化边缘节点的计算卸载和缓存资源分配方案，在保障业务的QoS时实现收益最大。
[0007]通常DRL的训练依赖于“大数据”，然而应用行业更易以低成本采集“小数据”，这些分布分散的小数据形成了众多“数据孤岛”，极大地制约了DRL决策的可用性。另一方面，集中式DRL训练对MEC服务器的计算和存储能力提出了巨大挑战。联邦学习(Federated Learning，FL)
[20]打破数据孤岛，通过共享网络参数，获得具有隐私安全的全局最优模型。文献[21]提出了基于联邦学习的资源管理方法，解决了MEC中计算、带宽、能量和数据等密集资源使用的瓶颈问题。针对参与者数据量差距较大导致平均聚合准确率降低的问题，文献[22]提出了一种公平的α
‑
FedAvg算法，利用α值对FL聚合过程重新加权来产生更公平的全局资源优化模型，从而提升了局部资源分配的高效性。文献[23]提出了基于联邦深度强化学习(Federated Deep Reinforcement Learning，FDRL)的协作边缘缓存框架，该框架中FDRL将接近最优的局部DRL参数上传至边缘节点，参与下一轮的全局FL训练，由此所获的局部缓存资源优化方案可有效降低回程流量和提高内容命中率。

技术实现思路

[0008]针对现有技术中，移动边缘网络呈现出智能化、多元化、综合化的趋势，使得多维资源最优分配面临诸多挑战。针对MEC中海量内容服务需求，为了提升多维资源优化的精确性，本专利技术将频谱、计算和缓存资源联合优化问题建模为一个混合整数非线性规划问题，并依据联邦深度强化学习构造一个双层的多维资源配置框架解耦原问题。底层的基站在短周期内采用DDQL获得本地资源协同优化策略，实现局部多维资本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动边缘网络中基于FDQL的多维资源协同优化方法，在移动边缘计算MEC系统中包括多个基站和一个边缘节点，基站与边缘节点以及邻居基站通信，这些基站和边缘节点具有提供计算和缓存服务的能力；其特征是移动边缘网络中基于FDQL的多维资源协同优化方法的步骤包括：1)构建多维资源分配模型表示频谱和计算源的分配以及缓存更新；2)优化多维资源分配模型；所述步骤1)中，以最小化平均意见得分MOS为优化目标来构建多维资源分配模型；MOS模型为：其中线性模型的参数C
n，1
，C
n，2
使得MOS
n
∈[1，5]，权重因子w
n，1
，w
n，2
分别表示内容获取时延和缓存更新对MOS的影响程度；CA
n
是第n小区内U
n
个用户的内容获取时延，它包括传输时延和计算时延；ps
n
是第n小区内U
n
个用户的内容请求集合中内容流行度之和，基站是根据内容请求集来更新缓存；第n小区为基站n覆盖的范围；第n个小区的MOS
n
分数越高，用户体验质量QoE越高，多维资源优化模型为maxMOS
n
；所述步骤2)中，2.1)对底层的基站利用双深度Q学习DDQL进行局部模型训练以获得短周期内最优决策：2.1.1)以基站n为智能体，将局部资源分配问题建模为一个马尔科夫决策过程MDP；2.1.2并采用DDQL以不断试错方式与环境交互，通过最大化累计奖赏寻找一个最优策略；2.2)对上层的边缘节点利用联邦深度强化学习FDQL进行全局模型训练以降低长周期内分布式决策的偏差：按照时间周期{1，
…
，t，
…
，T，T+1，
…
，t+T，
…
，2T，
…
}进行多维资源协同优化；在t≠kT的短周期内，各基站实施DDQL模型训练来获得本地最优的多维资源分配策略；在第t＝kT个长周期内由边缘节点实施FDQL模型训练来获得全局最优的多维资源分配策略，并反馈给各基站以增强局部DDQL的泛化能力，从而用更优的资源分配策略提升用户内容获取体验。2.根据权利要求1所述的移动边缘网络中基于FDQL的多维资源协同优化方法，其特征是所述步骤2.1.1)中，马尔科夫决策过程MDP表示为一个四元组＜S
n
，A
n
，PR
n
，R
n...

【专利技术属性】
技术研发人员：高志宇，王天荆，沈航，白光伟，田一博，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：