一种基于深度强化学习的边缘计算任务卸载方法技术

本发明专利技术属于边缘计算领域，公开了一种基于深度强化学习的边缘计算任务卸载方法，包括步骤A：建立系统模型；步骤B：本地计算模式下任务都在设备上计算并且同时获取能量；步骤C：边缘计算模式下设备将任务卸载到边缘节点上计算；步骤D：卸载决策问题建模；步骤E：通过DDPG算法模型中加入一层长短期记忆网络LSTM选择最优卸载决策。本发明专利技术在DDPG主网络中加入了一层长短期记忆网络LSTM，由于LSTM网络长短期记忆功能，可以记录当前环境状态之前一段时间地环境状态，再与当前检测到的环境状态整合，就可以更加准确地得到当前环境状态，由此可以让系统做出更加准确地动作，生成我们需要的优化策略，提高了系统整体性能。提高了系统整体性能。提高了系统整体性能。

【技术实现步骤摘要】
一种基于深度强化学习的边缘计算任务卸载方法


[0001]本专利技术属于边缘计算领域，尤其涉及一种基于深度强化学习的边缘计算任务卸载方法。

技术介绍

[0002]随着智能设备的发展，生活中存在的智能设备越来越多，因此我们产生的计算任务也逐渐增多，为了降低智能设备的计算压力以及处理一些设备无法直接计算的任务，边缘计算(MEC)就应运而生。MEC架构通常包含一个云服务中心，多个边缘计算服务器和多个智能设备，MEC技术通常将边缘服务器部署在靠近智能设备的位置，这个靠近指的是物理距离或者网络距离。因此，当智能设备上有任务需要计算，而智能设备本身的计算能力无法满足需求时，可以将计算任务卸载到距离较近的边缘服务器上，边缘服务器可以快速响应用户服务请求，在降低时延方面有很大优势，对于时延要求高的应用非常适合MEC，比如网络直播，VR等等。随着越来越多的研究者加入到了边缘计算的相关研究中，边缘计算中的任务卸载问题也得到了很好的发展，对于之前的研究，大多关注在计算资源和网络资源分配方面的优化。当卸载任务较少时，系统可以简单地选择附近地边缘计算服务器卸载任务，当计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的边缘计算任务卸载方法，设置工作环境为无线充电环境，设备可通过无线接收器由访问接入点获得能量，其特征在于，包括如下步骤：步骤A：建立系统模型；步骤B：本地计算模式下任务都在设备上计算并且同时获取能量；步骤C：边缘计算模式下设备将任务卸载到边缘节点上计算；步骤D：卸载决策问题建模；步骤E：通过DDPG算法模型中加入一层长短期记忆网络LSTM选择最优卸载决策。2.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤A包括如下具体步骤：步骤A1：由一个访问接入点Access Point和N个固定无线设备fixed Wireless Devices组成的边缘计算网络MEC network，表示为集合N＝{1,2,...,N}；步骤A2：每个设备使用时分复用电路，避免通信之间的干扰；步骤A3：系统时间被划分为长度相等的连续时间帧Τ；步骤A4：每个标记时间，无线设备储存的的能量和它们之间的通信速度都与无线信道增益有关；步骤A5：在一个时间帧的开始，aΤ的时间量用于设备充电，这里a∈[0,1]；步骤A6：第i个设备收获能量：E
i
＝μPh
i
aΤ，μ∈(0,1)表示能量收集效率，P代表能量传输效率，h
i
是接入点和设备i之间的信道增益；步骤A7：每个设备利用获得的能量，在一个时间帧结束之前完成一个计算任务；步骤A8：w
i
表示分配给设备i的权重；w
i
越大，分配给设备i的计算速率就越大；步骤A9：使用一个二进制卸载策略，这个任务要么在本地计算，要么卸载到Access Point执行计算，x
i
＝1表示user
i
将计算任务卸载到Access Point，x
i
＝0表示任务在本地执行计算。3.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤B包括如下具体步骤：步骤B1：设备处理的比特数：f
i
t
i
/φ，f
i
表示设备iCPU计算速度，t
i
表示设备i计算时间，0≤t
i
≤Τ，φ表示处理1bit任务数据所需的cycles，φ>0；步骤B2：由于计算而产生的能量消耗受k
i
f
i3
t
i
≤E
i
的约束，k
i
表示计算能效系数；步骤B3：由上述内容得到本地计算速率：固定参数：4.根据权利要求1所述的基于深度强化学习的边缘计算任务卸载方法，其特征在于，所述步骤C包括如下具体步骤：步骤C1：设备在...

【专利技术属性】
技术研发人员：朱明刚，谢满德，俞军，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：