一种基于深度强化学习的任务卸载方法技术

本发明专利技术涉及无线通信技术领域，具体为一种移动边缘计算下基于深度强化学习的任务卸载方法，包括：根据移动用户到达的任务，建立一个队列模型来描述移动用户的任务卸载问题；根据任务卸载的目标服务器及任务量设定约束条件；在约束条件下，采用一种无模型的强化学习机制构建以最小化系统成本为目标的优化问题；利用深度强化学习DDPG进行求解最优卸载策略；根据本发明专利技术可以实现在不知道信道状态信息的情形下，通过探索和训练来自适应调整MEC系统的任务卸载策略，实现系统的卸载成本最小化，提升用户体验。

【技术实现步骤摘要】
一种基于深度强化学习的任务卸载方法
本专利技术涉及无线通信
，特别涉及一种基于深度强化学习的任务卸载方法。
技术介绍
近年来，随着移动互联网和物联网(InternetofThings,IoT)的快速发展和融合，使数据流量和终端设备连接量呈指数式增加。据预测，全球移动数据流量与第四代移动通信(TheFourthGenerationMobileCommunication,4G)相比增长了1000倍。面对如此大的挑战，未来无线网络需要足够的通信容量去承载和处理海量的无线设备连接和高速的数据传输。与此同时，随着4K/8K视频、虚拟现实(VirtualReality,VR)/增强现实(AugmnetedRealityz,AR)、工业物联网、车联网等新兴业务的涌现，第五代移动通信技术(TheFifthGenerationMobileCommunication,5G)正在由今天的人互联网、物联网向万物互联演进，由此产生了未来通信系统的普遍性和包容性。这使得移动边缘计算(MobileEdgeComputing,MEC)作为一种新兴和有前景的计算范式应运而本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的任务卸载方法，其特征在于：根据获取的用户信息构建任务队列模型，根据任务队列模型得到用户的卸载任务量；设定任务卸载约束条件，根据任务卸载约束条件判断是否执行任务卸载以及卸载到本地或者卸载到基站；采用有限状态马尔可夫模型模确定系统的无线信道，通过信道的信噪比表征信道状态，根据信道状态确定任务卸载的传输成本；构建任务卸载系统模型，通过任务卸载系统模型以及任务卸载的传输成本确定最小化系统成本的优化问题；采用DDPG模型求解最优的任务卸载和资源分配策略；/n其中，MEC表示移边缘计算，DDPG表示深度强化学习模型。/n

【技术特征摘要】
1.一种基于深度强化学习的任务卸载方法，其特征在于：根据获取的用户信息构建任务队列模型，根据任务队列模型得到用户的卸载任务量；设定任务卸载约束条件，根据任务卸载约束条件判断是否执行任务卸载以及卸载到本地或者卸载到基站；采用有限状态马尔可夫模型模确定系统的无线信道，通过信道的信噪比表征信道状态，根据信道状态确定任务卸载的传输成本；构建任务卸载系统模型，通过任务卸载系统模型以及任务卸载的传输成本确定最小化系统成本的优化问题；采用DDPG模型求解最优的任务卸载和资源分配策略；
其中，MEC表示移边缘计算，DDPG表示深度强化学习模型。


2.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述任务队列模型Θi为：



其中，Qj(t)、bj(t)、γj和分别表示移动用户j在时隙t的开始等待处理的任务量、移动用户j在时隙t卸载的任务量、移动用户j的计算密度、移动用户j的最大容忍计算时间。


3.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述任务卸载约束条件包括：









其中，表示移动用户j是否卸载以及卸载到哪，t表示时隙的索引，当表示移动用户j选择模式i执行计算任务计算；i∈{0,1,2,...,N}表示选择的计算模式，i＝0表示执行本地计算，i＝1表示通过MBS执行计算任务，i＞1表示通过SBSi执行计算任务，MBS表示宏基站，SBSi表示第i个小基站；bj(t)表示用户j的任务卸载量，表示移动用户j的最大任务卸载量，表示队列的稳定性，U表示用户数量。


4.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述通过信道的信噪比表征信道状态的过程包括：
将与每个基站相连的无线信道的SNR的值范围划分为d个非重叠等级，即{SNRn,n＝1,2,...,d}，其中SNRn表示SNR的一个等级；用户j在时隙t随机选择的SNR的样本空间Ωj(t)表示为所有用户在时隙t的样本空间的笛卡尔积为：



其中，SNR表示信道的信噪比，Ω(t)表示所有用户在时隙t的样本空间的笛卡尔积，Ωj(t)表示移动用户j在时隙的样本空间。


5.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述确定最小化系统成本的优化问题的过程包括：
确定用户j的计算决策当表示移动用户j选择模式i执行计算任务，表示其他；i∈{0,1,2,...,N}表示选择的计算模式，i＝0表示执行本地计算，i＝1表示通过MBS执行计算任务，i＞1表示SBSi执行计算任务；
根据计算决策、选择的计算模式以及用户信息确定卸载决策向量
计算每个用户j的卸载决策到目标服务器的任务量其中表示移动用户j在本地执行计算的任务量；根据任务量求出系统的通信成本和计算成本；对通信成本和计算成本进行优化，求出最小成本；
其中，表示用户数量，表示移动用户j选择的计算任务，MBS表示宏基站，SBSi表示第i个小基站，表示所有用户的集合，表示所有基站的集合，表示每个用户j具体决策卸载多少任务量。


6.根据权利要求5所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述获取通信成本的过程包括：









其中，表示移动用户j在时隙t传输计算任务的通信成本，αi表示用户与基站i之间每单位时间的传输数据成本...

【专利技术属性】
技术研发人员：温醒醒，夏士超，李云，黄鸿锐，苏开荣，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50