车联网中基于近端策略优化的MEC任务调度方法技术

本发明专利技术公开了一种车联网中基于近端策略优化的MEC任务调度方法，建立MEC系统模型；对车联网移动边缘计算中所有任务的加权平均时延进行数学建模，以最小化所有任务的加权时延为目标进行任务调度优化，并利用深度强化学习方法解决此优化问题；然后采用近端策略优化算法作为深度强化学习模型的基本结构；然后将任务调度优化问题转化为马尔科夫决策过程，对状态空间、动作空间、奖励函数、算法的网络结构进行设计；然后形成基于近端优化策略的任务调度算法；最后对算法的任务调度优化；通过本方法可以在系统计算资源不同的情况下，在时延性能优化方面均有着显著的作用；不仅能够显著改善系统的时延性能，而且其在运行时间上也有很大优势。优势。优势。

【技术实现步骤摘要】
车联网中基于近端策略优化的MEC任务调度方法


[0001]本专利技术属于移动边缘计算领域，具体涉及车联网中基于近端策略优化的MEC任务调度方法。

技术介绍

[0002]随着先进的无线通信技术、车载计算和人工智能的不断发展，汽车的性能和智能水平也在迅速提升。同时，物联网、自动驾驶汽车和环境的集成为大量令人兴奋的新应用提供了支持，使智能汽车越来越普遍。其中大量车载应用程序都是延迟敏感、对带宽要求高和计算密集型的，对于资源受限的车辆终端来说，满足这些日益增长的新型应用的需求是一个挑战。
[0003]传统的移动云计算(Mobile Cloud Computing,MCC)是一种在远程(集中式)云服务器上为车辆用户提供计算资源的技术，基于云的车联网络通过将计算任务卸载到远程云以改善用户资源不足的情况，但由于车辆用户和云之间的传播距离过长可能导致的高延迟和抖动，MCC难以满足新兴车联网应用的需求。
[0004]多接入边缘计算(Multi
‑
Access Edge Computing,MEC)作为MCC的一种替代解决方案，分布式的将MEC服务器部署在网络边缘(如蜂窝基站)为终端提供类似云的计算，车辆用户可以将其计算密集型的任务卸载到基站进行远程执行。这种方案在减少车辆计算延迟的同时，还能够节省核心网络的带宽，减少网络拥塞的风险，克服了传统移动云计算的通信距离长且时延高的局限性。但是，不同MEC服务器和远端云的计算、存储和带宽资源往往不是完全相同的，且真实的车联网场景中往往存在任务具有异构性、用户分布不均匀的问题。目前如何设计合适的任务调度算法从车联网络中获取资源，包括计算、通信和存储资源，是亟待解决的问题。
[0005]非正交多址(Non
‑
Orthogonal Multiple Access,NOMA)技术作为5G蜂窝网络中的关键技术之一，与传统的正交频分多址技术(如频分多址和时分多址)不同，它能使多个终端在同一时间、频率、代码资源上与基站进行通信，通过在接收器处实施如串行干扰消除(Successive Interference Cancellation,SIC)等检测技术，针对不同的用户合理设计SIC解码顺序，NOMA系统能实现更高的频谱效率。所以基于NOMA的优势，NOMA有望作为一种有效的方法来进一步提高MEC的多用户计算卸载性能。

技术实现思路

[0006]本专利技术提出了一种车联网中基于近端策略优化的MEC任务调度方法，通过对NOMA技术辅助的包含远端云服务器、MEC服务器、多个路边单元和多个车辆的MEC系统建立数学模型，并考虑了远端云服务器和多个MEC服务器之间协同调度，面对车辆将任务传输至目的地进行运算的任务调度过程，将以最小化所有任务的加权平均时延为目标的任务调度优化问题转化为马尔可夫决策问题，并使用近端策略优化算法对场景中车辆的任务调度方案进行优化，为车辆找到任务调度的最佳目的地以及最佳路径，从而实现最小化车辆任务时延。
[0007]本方法是采用如下技术方案实现的：
[0008]步骤一：建立MEC系统模型；
[0009]MEC系统模型为总模型，是对完整的MEC系统建立的模型，其中包括MEC系统场景模型，MEC系统通信模型，MEC系统计算模型；
[0010](1)建立MEC系统场景模型；
[0011]MEC系统中包含一条双向的道路，M个路边单元位于道路沿线，每个路边单元都配备了一个MEC服务器，每一个路边单元与MEC服务器的组合为一个边缘节点，把这些路边单元用集合来表示；每个路边单元都有自己的可用带宽资源量B
m
、可用存储资源量S
m
和可用计算资源量F
m
，其中公路上有N辆车，车辆集合表示为每辆车在一个时间周期T内产生一个计算任务，车辆n产生的计算任务被描述为其中d
n
代表车辆n的任务的数据大小，单位为Mb，c
n
代表计算任务的每比特数据所需要的CPU周期数，每辆车的最大信号传输功率被设定为车辆n的任务所能容忍的最大延迟为
[0012](2)建立MEC系统通信模型；
[0013]每个路边单元可用的带宽被划分为多个相同的频率资源块，每个频率资源块的带宽为B，那么每个路边单元拥有的频率资源块的总数为K＝B
m
B；在同一个频率资源块上非正交通信的车辆用户形成一个NOMA集群，即每个路边单元上有K个NOMA集群，每个NOMA集群所在的频率资源块与其他资源块正交，每个路边单元中的NOMA集群集合为
[0014]本方法将MEC系统模型内与路边单元m相关的所有车辆用户的信道增益被排序为其中，表示车辆n是否与路边单元m的第k个NOMA集群相关联，且满足在经过串行干扰消除技术解码之后，车辆n在路边单元m的第k个NOMA集群上接收到的信号被表示为：
[0015][0016]式(1)第一项中的h
n
表示上行传输中路边单元m和车辆n之间的信道增益，是车辆n的传输功率，其中，α
n
∈(0，1]，x
n
为车辆n要传输的数据；式(1)第二项表示来自共享同一频谱资源的其他用户的干扰，其中，p
i
是与车辆n在同一集群中的车辆i的传输功率，x
i
表示车辆i要传输的数据；噪声项z
n
代表加性高斯白噪声；
[0017]路边单元m处车辆n可实现的数据传输速率表示为：
[0018]R
n
＝ωBlog2(1+SINR
n
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0019]具有强信道增益的车辆是通过将其他车辆的干扰视为噪声来解码其信号的，因此车辆n的信噪比表示为：
[0020][0021]式(3)中，ω是分配给一个NOMA集群的所有无线信道的数量，表示归一化信道增益，其中，σ2为噪声功率谱密度，B表示每个信道即每个频率资源块的传输带宽；那么第n辆车将其计算任务卸载到其连接的路边单元m的上行链路传输延迟为：
[0022][0023]车辆连接到哪个路边单元取决于车辆处于哪个路边单元的通信范围内；
[0024]连接到路边单元m的车辆数量为N
m
，每个NOMA集群中的车辆数量为N
k
；当车辆用户n'连接到路边单元m时，NOMA分簇模式为，根据信道增益从大到小对车辆用户进行排序，其中然后将用户分为K簇，簇的数量与路边单元m中的NOMA集群数量相同，每一簇的用户集合为：
[0025]第一个分簇＝{1,K+1,2K+1
…
,N'
m
‑
K+1}，
[0026]第二个分簇＝{2,K+2,2K+2
…
,N'
m
‑
K+2},
[0027]…
[0028]第K个分簇＝{K,2K,
…...

【技术保护点】

【技术特征摘要】
1.车联网中基于近端策略优化的MEC任务调度方法，通过对NOMA技术辅助的包含远端云服务器、MEC服务器、多个路边单元和多个车辆的MEC系统建立数学模型，并考虑了远端云服务器和多个MEC服务器之间协同调度，面对车辆将任务传输至目的地进行运算的任务调度过程，将以最小化所有任务的加权平均时延为目标的任务调度优化问题转化为马尔可夫决策问题，并使用近端策略优化算法对场景中车辆的任务调度方案进行优化，为车辆找到任务调度的最佳目的地以及最佳路径，从而实现最小化车辆任务时延，其特征在于，具体步骤如下：步骤一：建立MEC系统模型；MEC系统模型为总模型，是对完整的MEC系统建立的模型，其中包括MEC系统场景模型，MEC系统通信模型，MEC系统计算模型；(1)建立MEC系统场景模型；MEC系统中包含一条双向的道路，M个路边单元位于道路沿线，每个路边单元都配备了一个MEC服务器，每一个路边单元与MEC服务器的组合为一个边缘节点，把这些路边单元用集合来表示；每个路边单元都有自己的可用带宽资源量B
m
、可用存储资源量S
m
和可用计算资源量F
m
，其中公路上有N辆车，车辆集合表示为每辆车在一个时间周期T内产生一个计算任务，车辆n产生的计算任务被描述为其中d
n
代表车辆n的任务的数据大小，单位为Mb，c
n
代表计算任务的每比特数据所需要的CPU周期数，每辆车的最大信号传输功率被设定为车辆n的任务所能容忍的最大延迟为(2)建立MEC系统通信模型；每个路边单元可用的带宽被划分为多个相同的频率资源块，每个频率资源块的带宽为B，那么每个路边单元拥有的频率资源块的总数为K＝B
m
/B；在同一个频率资源块上非正交通信的车辆用户形成一个NOMA集群，即每个路边单元上有K个NOMA集群，每个NOMA集群所在的频率资源块与其他资源块正交，每个路边单元中的NOMA集群集合为本方法将MEC系统模型内与路边单元m相关的所有车辆用户的信道增益被排序为其中，表示车辆n是否与路边单元m的第k个NOMA集群相关联，且满足在经过串行干扰消除技术解码之后，车辆n在路边单元m的第k个NOMA集群上接收到的信号被表示为：式(1)第一项中的h
n
表示上行传输中路边单元m和车辆n之间的信道增益，是车辆n的传输功率，其中，α
n
∈(0，1]，x
n
为车辆n要传输的数据；式(1)第二项
表示来自共享同一频谱资源的其他用户的干扰，其中，p
i
是与车辆n在同一集群中的车辆i的传输功率，x
i
表示车辆i要传输的数据；噪声项z
n
代表加性高斯白噪声；路边单元m处车辆n可实现的数据传输速率表示为：R
n
＝ωBlog2(1+SINR
n
)
ꢀꢀꢀꢀ
(2)具有强信道增益的车辆是通过将其他车辆的干扰视为噪声来解码其信号的，因此车辆n的信噪比表示为：式(3)中，ω是分配给一个NOMA集群的所有无线信道的数量，表示归一化信道增益，其中，σ2为噪声功率谱密度，B表示每个信道即每个频率资源块的传输带宽；那么第n辆车将其计算任务卸载到其连接的路边单元m的上行链路传输延迟为：车辆连接到哪个路边单元取决于车辆处于哪个路边单元的通信范围内；连接到路边单元m的车辆数量为N
m
，每个NOMA集群中的车辆数量为N
k
；当车辆用户n'连接到路边单元m时，NOMA分簇模式为，根据信道增益从大到小对车辆用户进行排序，其中然后将用户分为K簇，簇的数量与路边单元m中的NOMA集群数量相同，每一簇的用户集合为：第一个分簇＝{1,K+1,2K+1
…
,N'
m
‑
K+1}，第二个分簇＝{2,K+2,2K+2
…
,N'
m
‑
K+2},
…
第K个分簇＝{K,2K,
…
,N'
m
}；(3)建立MEC系统计算模型；如果将车辆n的任务分配给路边单元m上配备的MEC服务器进行计算，则其计算延迟表示为：其中：表示路边单元m的服务器分配给车辆n生成的任务的计算资源；off
n,m
＝1,(m＝1,2,
…
,M)表示车辆n生成的任务被卸载到路边单元m的MEC服务器进行计算；如果将车辆n生成的任务卸载到远端云服务器进行计算，那么off
n,C
＝1，在远端云服务
器中计算任务的平均时延与从路边单元到远端云服务器的远程有线传输延迟之和为τ
remote
，此种情况下的计算阶段的延迟为：综上所述，第n辆车的计算延迟为：其中，表示调度策略的矩阵off
n,m
∈{0,1}和off
n,C
∈{0,1}需要满足即车辆用户的任务只能选择一个MEC服务器或一个远端云服务器进行计算；步骤二：对以最小化所有任务的加权平均时延为目标的任务调度优化问题进行数学建模；根据步骤一MEC系统通信模型中的式(4)和MEC系统计算模型中的式(8)，本方法要优化的完成车辆n的任务的总延迟为：车辆n所上传的任务权重为：任务调度优化问题的最终目标是最小化所有任务的加权平均时延，表述为：其中，off＝[off
n,m
]
N
×
M
为一个N
×
M的矩阵，off
C...

【专利技术属性】
技术研发人员：丛玉良，刘战，王超英，刘迈欧，程曦，赵静荣，
申请(专利权)人：吉林大学，
类型：发明
国别省市：