基于深度强化学习的分布式计算卸载方法及装置制造方法及图纸

本申请涉及一种基于深度强化学习的分布式计算卸载方法及装置。该方法：设置计算卸载框架，根据计算卸载框架建立通信模型和计算模型，通信模型用于计算终端设备的信号噪声干扰比，计算模型用于对终端设备进行本地计算和边缘计算，基于计算卸载框架、通信模型和计算模型，将计算卸载问题建模成马尔可夫决策过程，利用双Critic网络的深度确定性策略梯度算法对马尔可夫决策过程进行优化迭代求解，得到卸载决策。由于利用双Critic网络的深度确定性策略梯度算法来进行优化迭代求解，双Critic网络分别进行拟合，降低单个Critic网络进行拟合的复杂性，提高Critic网络的收敛速度，从而大大提高模型整体的收敛速度。提高模型整体的收敛速度。提高模型整体的收敛速度。

【技术实现步骤摘要】
基于深度强化学习的分布式计算卸载方法及装置


[0001]本申请涉及基于计算模型的移动边缘计算的计算卸载
，尤其涉及一种基于深度强化学习的分布式计算卸载方法及装置。

技术介绍

[0002]随着5G技术的快速发展，带动了物联网（Internet of Things，IOT）以及计算密集应用的发展，例如智能制造、虚拟现实、增强现实以及车联网等。
[0003]移动边缘计算（Mobile Edge Computing，MEC）作为5G背景下的核心技术。该技术可以在靠近用户场景一侧，通过无线通信的方式为计算任务与应用提供额外的弹性算力，能够有效减少计算任务的计算时延与代价，使得计算密集型任务在低算力设备上的运行成为可能。
[0004]移动边缘计算相对于云计算具有近距离、高节点密度的特性，其服务器通常为小型基站（Base Station，BS），可以直接部署在无线网络控制器上、蜂窝网络基站、无线接入点等位置。移动边缘计算节点与用户设备距离更近使得移动边缘计算具有低计算延迟等特点。此外，由于边缘计算节点相对于云计算，单个节点需要服务的用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的分布式计算卸载方法，其特征在于，包括：设置计算卸载框架，其中所述计算卸载框架包括至少一个终端设备、至少一个基站；根据所述计算卸载框架建立通信模型，其中所述通信模型用于计算所述终端设备的信号噪声干扰比；根据所述计算卸载框架建立计算模型，其中所述计算模型用于对所述终端设备进行本地计算和边缘计算；基于所述计算卸载框架、所述通信模型和所述计算模型，将计算卸载问题建模成马尔可夫决策过程；构造出双Critic网络的深度确定性策略梯度算法，利用所述深度确定性策略梯度算法对所述马尔可夫决策过程进行优化迭代求解，得到卸载决策。2.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述设置计算卸载框架，包括：选用多个所述终端设备
‑
单个所述基站的架构设置计算卸载框架，其中各所述终端设备均设有计算任务缓存池，各所述终端设备于每个时间片内均能独立决策卸载策略。3.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述所述通信模型用于计算当前所述终端设备的信号噪声干扰比，包括：所述通信模型采用迫零检测算法计算当前所述终端设备的信号噪声干扰比。4.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述所述计算模型用于对所述终端设备进行本地计算和边缘计算，包括：在单位时间片内计算所述终端设备执行本地计算时的任务量大小；根据所述信号噪声干扰比和传输带宽计算所述终端设备执行边缘计算时的计算卸载任务量大小。5.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述将计算卸载问题建模成马尔可夫决策过程，包括：将计算卸载问题的各项参数和指标对应典型的马尔可夫决策过程的四元组进行建模，其中所述四元组包括系统的状态空间、动作空间、奖励函数以及状态转移。6...

【专利技术属性】
技术研发人员：陆绍飞，刘伸，杨贯中，李军义，
申请(专利权)人：湖南大学，
类型：发明
国别省市：