基于多智能体的边缘云可扩展任务卸载方法技术

本申请公开了一种基于多智能体强化学习的边缘云可扩展任务卸载方法，包括以下步骤：初始化每个Agent的网络结构，每个Agent根据自己观测的状态与移动边缘网络环境进行交互，将输入状态与输出行为保存至经验回放池；每个智能体对经验回放池中的数据进行采样，训练自己的actor和critic网络并优化参数；在模型收敛至满足迭代条件时生成卸载策略，并根据卸载策略进行卸载决策。本申请实施例为基于多智能体强化学习的移动边缘计算卸载方法，不但更符合真实的应用场景，更考虑了当有新的用户设备加入时系统的进一步调整和训练，避免了新智能体从零开始训练，保证了任务卸载策略的可扩展性。

【技术实现步骤摘要】
基于多智能体的边缘云可扩展任务卸载方法
本申请涉及多智能体强化学习
，特别涉及一种基于多智能体的边缘云可扩展的任务卸载方法。
技术介绍
随着5G移动网络和物联网的快速发展，大量延迟敏感的计算密集型应用任务在用户设备端产生，如增强现实和虚拟现实等新型视频应用，监控设备和自动驾驶等实时视频流服务。由于本地设备的计算能力难以满足这类任务的需求，而传统的将任务上传到远端云服务器去处理，会产生较大的传输延迟，还会造成回程网络负载过大。为解决这些问题，移动边缘计算(MobileEdgeComputing，MEC)作为一种新的计算模式被提出，它将计算资源部署在核心网络的边缘，从而更靠近任务生成的移动设备端，为用户端提供服务环境和计算能力。用户设备可以通过将一部分任务卸载到边缘服务节点进行处理，从而提供低任务延迟、减少网络通信和降低整体能耗的解决方案。其中，如何制定任务卸载策略是移动边缘计算的关键问题，不同的卸载决策导致不同的计算和通信成本。相关技术中，在移动边缘计算环境中进行边缘云任务卸载的算法还存在很多不足，例如：1)坐标下降法、线性本文档来自技高网...

【技术保护点】
1.一种基于多智能体的边缘云可扩展任务卸载方法，其特征在于，包括以下步骤：/n在创建环境并初始化多个智能体的模型参数后，初始化每个Agent的网络结构，定义状态S，行为A和奖励函数R，定义目标值函数Q，每个Agent根据自己观测的状态与移动边缘网络环境进行交互，将输入状态与输出行为保存至经验回放池；/n每个智能体对所述经验回放池中的数据进行采样，训练自己的actor和critic网络并优化参数；以及/n在模型收敛至满足迭代条件后生成卸载策略，并根据所述卸载策略进行卸载决策。/n

【技术特征摘要】
1.一种基于多智能体的边缘云可扩展任务卸载方法，其特征在于，包括以下步骤：
在创建环境并初始化多个智能体的模型参数后，初始化每个Agent的网络结构，定义状态S，行为A和奖励函数R，定义目标值函数Q，每个Agent根据自己观测的状态与移动边缘网络环境进行交互，将输入状态与输出行为保存至经验回放池；
每个智能体对所述经验回放池中的数据进行采样，训练自己的actor和critic网络并优化参数；以及
在模型收敛至满足迭代条件后生成卸载策略，并根据所述卸载策略进行卸载决策。


2.根据权利要求1所述的方法，其特征在于，还包括：
检测是否加入新设备

【专利技术属性】
技术研发人员：孙立峰，姜丽丽，黄天驰，张睿霄，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11