基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法技术

本发明专利技术公开了一种基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，属于移动边缘计算领域，包括：设置CF

【技术实现步骤摘要】
基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法


[0001]本专利技术涉及移动边缘
，特别涉及一种基于深度强化学习的无小区大规模MIMO下移动边缘计算(Cell
‑
Free Massive MIMO MEC，CF
‑
MEC)的分布式计算卸载算法。

技术介绍

[0002]无小区大规模MIMO(Cell
‑
Free Massive MIMO，CF
‑
MIMO)使用分散且相互协作的多个接入点(Access Point，AP)来服务整个区域内的所有用户设备(User Equipment，UE)，从而尽可能较少了用户之间的干扰，提高了网络的吞吐量。此外，分散的AP也使UE更加接近AP，从而减少了阴影衰落的概率，从而增加了网络的覆盖。也正因为这些AP和用户足够近，在这些AP上分别部署计算能力较UE稍强的服务器就能很轻易地实现移动边缘计算(Mobile Edge Computing，MEC)所需要的网络基础设施。
[0003]在MEC中，UE可以将对于自身计算能力来说十分巨大的计算任务发送给边缘服务器(Edge Server，ES)进行计算。等到计算完成之后，边缘服务器再将长度相对较少的计算结果传输给UE。这样可以间接增强UE的计算能力，同时减少UE的能量消耗。可以看到，在这一过程中，UE需要能够决定是否将计算任务进行转移以及将计算任务转移至哪一个ES上去。这就是MEC中十分重要的计算卸载(Computation Offloading)问题。
[0004]针对CF
‑
MEC这一场景下的计算卸载问题，已有文献提出了一种被称为最小负载计算模型(Minimum Load Computation Model，MLCM)的计算卸载算法。这个算法限定了每个UE都只能被以该UE为圆心的一定半径的圆形覆盖区域内的AP上部署的ES所服务。这么做可以减少和UE连接的AP的数量从而减少相关的信号处理所需要的计算开销，提高了网络的扩展性。在这个限定之上，UE选择提供服务的ES中计算任务队列最短的ES作为卸载的对象。
[0005]这一算法限制了UE能够选择的ES的范围。这就会导致这样一种情况的发生：UE的卸载请求过于频繁造成短时间内圆形覆盖区域内的ES上的计算任务队列过长，而圆形区域外的ES处的计算队列却几乎没有什么任务在排队。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007]为此，本专利技术的目的在于提出一种基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，该方法尽可能减少用户设备自身体验到的任务时延。
[0008]为达到上述目的，本专利技术实施例提出了基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，包括以下步骤：步骤S1，设置CF
‑
MEC训练环境；步骤S2，基于所述CF
‑
MEC训练环境，使用M/M/1排队论模型生成计算任务；步骤S3，在每个用户设备UE上构建深度Q网络，利用所述计算任务对被分配到任务的用户设备UE上的深度Q网络进行训练，直至贪婪策略的概率趋近于1，训练结束得到训练后的深度Q网络；步骤S4，将待测数据输入所述训练后的深度Q网络中，使所述用户设备UE对边缘服务器ES进行独立计算卸
载决策。
[0009]本专利技术实施例的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，在每个用户设备UE上都使用一个经过训练的深度Q网络来让用户进行独立的计算卸载决策，训练后的深度Q网络根据学习到的结构对输入进行处理进而产生是在本地还是远端的某一个ES上进行任务的计算，从而尽可能降低自身运行计算密集型任务的时延，提高用户体验。
[0010]另外，根据本专利技术上述实施例的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法还可以具有以下附加的技术特征：
[0011]进一步地，在本专利技术的一个实施例中，所述步骤S1具体包括：
[0012]设置系统带宽B网络的尺寸参数大小，网络中接入点AP的数量，网络中所述用户设备UE的数量，所述用户设备UE限定的圆形服务区域的半径，所述接入点AP的高度和与所述接入点AP连接的服务器的计算能力，其中，所述接入点AP的数量远大于所述用户设备UE的数量。
[0013]进一步地，在本专利技术的一个实施例中，所述步骤S2中基于所述CF
‑
MEC训练环境，利用M/M/1排队论模型使每个用户设备UE处在单位时间内产生的任务数量服从泊松分布，相邻任务之间的时间间隔λ
i
服从指数分布，由任务比特长度和生成时刻组成的二元组(b
k,i
,T
k,i
)构成每个计算任务。
[0014]进一步地，在本专利技术的一个实施例中，所述泊松分布为：
[0015][0016]其中，为单位时间内产生的任务数量，为单位时间(或单位面积)内随机事件的平均发生次数，为单位时间内产生任务量的阶乘，且当任务量为0时，0！＝1。
[0017]进一步地，在本专利技术的一个实施例中，所述指数分布为：
[0018][0019]其中，为相邻任务之间的时间间隔，为这个时间间隔的概率密度函数。
[0020]进一步地，在本专利技术的一个实施例中，所述步骤S2在生成所述计算任务后，还需考虑所述计算任务处理时延，所述处理时延包括本地计算时延和边缘计算时延。
[0021]进一步地，在本专利技术的一个实施例中，所述本地计算时延为：
[0022][0023]其中，为本地等待时间，ρ为每比特进行计算需要的CPU频率数，为本地设备的计算能力，为用户本地的计算队列中剩余任务的比特长度，T
k,i
为生成时刻信息，为本地计算队列中第一个到达任务的时刻信息，为任务的本地计
算时间，b
k,i
为任务的比特长度。
[0024]进一步地，在本专利技术的一个实施例中，所述边缘处理时延为：
[0025][0026]其中，为服务器端的等待时间，ρ为每比特进行计算需要的CPU频率数，为服务器计算能力，为服务器计算能力，为任务剩余比特长度，为任务到达服务器的时间，为第一个到达服务器任务的时刻信息，为任务在服务器的计算时间，b
k,i
为原始任务的比特长度。
[0027]进一步地，在本专利技术的一个实施例中，所述步骤S3中通过定义神经网络的状态空间、动作空间和奖励信号构建所述深度Q网络，
[0028]所述状态空间为：
[0029]s
k,i
＝(G,b
k,i
,T
k,i
)
[0030][0031]其中，s
k,i
为状态向量，G为该时刻的队列任务长度信息，b
k,i
为任务的比特长度，T
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，包括以下步骤：步骤S1，设置CF
‑
MEC训练环境；步骤S2，基于所述CF
‑
MEC训练环境，使用M/M/1排队论模型生成计算任务；步骤S3，在每个用户设备UE上构建深度Q网络，利用所述计算任务对被分配到任务的用户设备UE上的深度Q网络进行训练，直至贪婪策略的概率趋近于1，训练结束得到训练后的深度Q网络；步骤S4，将待测数据输入所述训练后的深度Q网络中，使所述用户设备UE对边缘服务器ES进行独立计算卸载决策。2.根据权利要求1所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述步骤S1具体包括：设置系统带宽B网络的尺寸参数大小，网络中接入点AP的数量，网络中所述用户设备UE的数量，所述用户设备UE限定的圆形服务区域的半径，所述接入点AP的高度和与所述接入点AP连接的服务器的计算能力，其中，所述接入点AP的数量远大于所述用户设备UE的数量。3.根据权利要求1所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述步骤S2中基于所述CF
‑
MEC训练环境，利用M/M/1排队论模型使每个用户设备UE处在单位时间内产生的任务数量服从泊松分布，相邻任务之间的时间间隔λ
i
服从指数分布，由任务比特长度和生成时刻组成的二元组(b
k,i
,T
k,i
)构成每个计算任务。4.根据权利要求3所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述泊松分布为：其中，为单位时间内产生的任务数量，为单位时间或单位面积内随机事件的平均发生次数，为单位时间内产生任务量的阶乘，且当任务量为0时，0！＝1。5.根据权利要求3所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述指数分布为：其中，为相邻任务之间的时间间隔，为当前时刻相邻任务之间的时间间隔。6.根据权利要求1所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述步骤S2在生成所述计算任务后，还需考虑所述计算任务处理时延，所述处理时延包括本地计算时延和边缘计算时延。7.根据权利要求6所述的基于深度强化学习的无小区大规模MIMO下移动边缘计算的分布式计算卸载方法，其特征在于，所述本地计算时延为：
其中，为本地等待时间，ρ为每比特进行计算需要的CPU频率数，为本地设备的计算能力，...

【专利技术属性】
技术研发人员：吴少川，章王舜，李壮，
申请(专利权)人：北京机电工程总体设计部，
类型：发明
国别省市：