基于深度强化学习的计算卸载和资源分配方法及装置制造方法及图纸

本发明专利技术提供一种基于深度强化学习的计算卸载和资源分配方法及装置，所述方法包括：基于UE的计算任务参数、UE的性能参数、UE与AP之间的信道参数和移动边缘计算MEC服务器的总计算资源，构建优化问题模型；基于深度强化学习确定优化问题模型的最优解，确定UE的卸载决策，分别给UE所分配的计算资源的百分比数和频谱资源的百分比数。本发明专利技术提供的基于深度强化学习的计算卸载和资源分配方法及装置，同时考虑到时变的MEC系统中实际的计算卸载和资源分配特性，任务的时延阈值与系统有限的资源容量约束，基于深度强化学习，利用DNN来有效地逼近强化学习中的值函数，以确定计算卸载和资源分配的联合最优方案，进一步降低了UE的能耗。

【技术实现步骤摘要】
基于深度强化学习的计算卸载和资源分配方法及装置
本专利技术涉及移动通信
，尤其涉及一种基于深度强化学习的计算卸载和资源分配方法及装置。
技术介绍
为了缓解应用需求与资源受限的用户设备(UserEquipment,UE)之间日益严重的冲突，考虑到移动云计算(MobileCloudComputing,MCC)中所部署的云服务器的计算能力和存储能力都明显高于UE，这促使MCC作为一种有效的解决方案应运而生。但是，MCC技术不可避免地面临着部署的云服务器距离用户设备距离较远的问题，这可能导致用户设备向云服务器传输数据时产生额外的传输能量开销。此外，远距离传输也无法保证时延敏感型应用的服务质量(QualityofService,QoS)。现有技术中，提出了移动边缘计算(MobileEdgeComputing,MEC)技术，将部分网络功能引入到网络边缘来执行。MEC是新兴的5G架构中处理计算密集型任务的重要组成部分，与MCC相比，它通过将云计算服务从集中式云扩展到网络边缘来延伸MCC的能力。MEC支持用户设备通过利用基站(BS)或接入本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的计算卸载和资源分配方法，其特征在于，包括：/n基于终端UE的计算任务参数、UE的性能参数、UE与接入点AP之间的信道参数和移动边缘计算MEC服务器的总计算资源，构建优化问题模型；/n基于深度强化学习确定所述优化问题模型的最优解，所述最优解包括UE的卸载决策，MEC服务器给UE所分配的计算资源占其总计算资源的百分比数，AP给UE所分配的频谱资源占其总频谱资源的百分比数。/n

【技术特征摘要】
1.一种基于深度强化学习的计算卸载和资源分配方法，其特征在于，包括：
基于终端UE的计算任务参数、UE的性能参数、UE与接入点AP之间的信道参数和移动边缘计算MEC服务器的总计算资源，构建优化问题模型；
基于深度强化学习确定所述优化问题模型的最优解，所述最优解包括UE的卸载决策，MEC服务器给UE所分配的计算资源占其总计算资源的百分比数，AP给UE所分配的频谱资源占其总频谱资源的百分比数。


2.根据权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，所述计算任务参数包括完成计算任务所需的计算资源量、计算任务的数据大小和执行计算任务的最大可容忍时延。


3.根据权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，所述性能参数包括本地执行计算任务时CPU每一轮数所消耗的能量、上传数据时的传输功率和待机状态下的功耗。


4.根据权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，所述信道参数包括可利用的频谱的信道带宽、无线传输信道的信道增益和信道内部的高斯白噪声的功率。


5.根据权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，所述优化问题模型的目标为：最小化系统中所有UE的长期能耗。


6.根据权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，所述优化问题模型的约束条件为：
a、UE的卸载决策仅能选择本地执行或边缘执行来处理其计算任务；
b、本地或卸载计算的执行时间均不能超过某一计算任务的最大可容忍时延；
c、分配给所有UE的计算资源的总和不能超过MEC服务器所能提供的总计算...

【专利技术属性】
技术研发人员：周欢，江恺，冯阳，
申请(专利权)人：三峡大学，
类型：发明
国别省市：湖北;42