基于LSTM-DDPG的部分任务卸载及资源分配算法制造技术

本发明专利技术涉及一种基于LSTM

【技术实现步骤摘要】
基于LSTM
‑
DDPG的部分任务卸载及资源分配算法

：
[0001]本专利技术涉及深度强化学习以及车联网
，特别是一种基于LSTM
‑
DDPG的移动边缘计算部分任务卸载及资源优化分配算法。

技术介绍
：
[0002]随着近年来智能交通系统的发展，车联网由于其在自动驾驶和智能交通管理等诸多应用中的作用而引起了人们的广泛关注。这些计算密集型和延迟敏感的应用需要大量的计算资源进行实时处理，这对资源有限的车载终端提出了巨大的挑战。
[0003]为了满足车联网中计算密集和时延敏感应用的需求，将移动边缘计算(MEC)应用于车联网场景被认为是一种十分有前景的解决方案。移动边缘计算将远程云的计算资源下沉到靠近车辆用户的网络边缘，使得车辆可以将任务卸载到附近的MEC服务器进行存储和处理，可以有效减少车辆应用的时延和能耗。
[0004]任务卸载是MEC中的关键问题之一。根据对计算任务的不同处理方式可以划分出本地计算、完全任务卸载以及部分任务卸载三种计算任务卸载决策。其中，部分任务卸载策略是将任务分割后同时在本地以及周边的MEC服务器上进行处理。计算任务卸载性能在很大程度上取决于从本地车辆到MEC服务器的数据卸载的无线传输。因此，需要有效的任务卸载调度和资源分配方案来提高系统性能。
[0005]车联网MEC能够有效解决车载终端上计算资源有限的问题，但是依然存在由于车辆移动性以及资源不平衡产生的多维资源分配的问题。考虑到车联网MEC场景中的资源分配决策可以看作是一个马尔可夫决策过程(MDP)，因此使用强化学习(RL)方法解决车联网MEC网络中的任务卸载以及资源分配问题。而深度强化学习(DRL)使用神经网络来拟合策略，能够有效解决存在高维状态的问题。
[0006]DDPG是一种能够产生连续动作的深度强化学习算法，能实现连续资源分配，提高系统的实用性。考虑到网络模型中的环境状态存在时间维度上的相关性，将能够有效获取时间序列相关性的LSTM神经网络纳入DDPG的网络结构中，使用LSTM单元来获取车联网MEC场景中历史信息在时间维度上的相关性，从而进行状态预测，提升部分任务卸载决策和资源分配的性能。

技术实现思路
：
[0007]本专利技术所要解决的技术问题是克服现有技术的不足而提供一种基于LSTM
‑
DDPG的部分任务卸载及资源分配算法，实现MEC赋能的车联网系统中的任务处理时延和能耗的权衡。
[0008]本专利技术是通过如下技术方案实现的：
[0009]一种基于LSTM
‑
DDPG的部分任务卸载及资源分配算法，包括以下步骤：
[0010]一、考虑一个进行部分任务卸载和资源分配的车联网MEC网络模型。网络模型中包含一个与场景中所有RSU相连的基站，基站可以收集车辆和RSU的状态信息。部署在路口的
RSU(路侧单元)配备了MEC服务器，可以为覆盖范围内的任务车辆提供计算能力。任务车辆的集合记为C
H
＝{1,2,...,H}。将系统的运行过程划分为一系列时间长度为ξ的帧，帧的序号用l∈N
+
表示。在每帧的开始，基站将从全局的角度感知网络环境状态从而选择合适的部分任务卸载和资源分配策略。
[0011]任务车辆可以将任务分割为三个部分，分别进行本地处理、通过V2V通信卸载到周边空闲车辆以及通过V2I通信的方式卸载到MEC服务器中进行处理。车辆在进行V2V通信时可能会受到建筑物的遮挡，因此在网络模型中考虑了视距内(LOS)通信以及非视距内(NLOS)通信的影响。考虑到车联网应用对时延和可靠性的严格要求，任务的部分卸载和资源分配受到URLLC的时延和可靠性约束。
[0012]本文中的网络模型考虑两种传输方式，即V2V传输和V2I传输：
[0013]1、V2I传输：
[0014]第l帧中，任务车辆h(1≤h≤H)进行V2I任务卸载时上行链路的信干噪比可以表示为
[0015][0016]其中，表示在第l帧时任务车辆h进行V2I通信时的发射功率，表示第l帧时任务车辆h的V2I信道增益，σ2表示噪声功率。表示第l帧时不同RSU中的其他任务车辆对任务车辆h的V2I通信产生的干扰。当任务车辆x对任务车辆h的V2I通信产生干扰时，为1，否则为0。考虑有限码长(FBL)机制的影响，第l帧时任务车辆h进行V2I任务卸载时的传输速率(bit/s)为
[0017][0018]其中，V
k
表示信道色散函数，Q(
·
)表示高斯Q函数，ε表示数据传输解码错误概率，n0表示上行传输的码长。
[0019]2、V2V传输：
[0020]第l帧时，任务车辆h在V2V任务卸载时上行链路的信干噪比可以表示为
[0021][0022]其中，表示进行V2V通信时的发射功率，表示V2V信道的信道增益，表示其他任务车辆对本车V2V通信产生的干扰。表示不同RSU中的其他任务车辆对任务车辆h的V2V通信产生的干扰。当任务车辆y对任务车辆h的V2V通信产生干扰时，为1，否则为0。第l帧时，任务车辆h进行V2V任务卸载时的传输速率(bit/s)为
[0023][0024]第l帧时，任务车辆h中任务数据的计算可以划分为本地计算、MEC服务器计算以及目标空闲车辆计算三部分。
[0025]1、本地计算时延为
[0026][0027]其中，表示第l帧时任务车辆h分配在本车进行计算的任务数据量，N表示计算每比特数据所需的CPU周期数，表示第l帧时任务车辆h的计算能力。
[0028]本地计算的能耗为
[0029][0030]其中，k
′
表示芯片架构系数，取决于CPU的芯片架构。
[0031]2、V2I传输与计算(MEC服务器计算)的时延为
[0032][0033]其中，表示第l帧任务车辆h分配在MEC服务器中进行计算的任务数据量，表示第l帧时MEC服务器为任务车辆h卸载的任务数据分配的CPU计算资源。
[0034]V2I传输与计算的能耗为
[0035][0036]3、V2V传输与计算(目标空闲车辆计算)的时延为
[0037][0038]其中，表示第l帧时任务车辆h分配在目标空闲车辆中进行计算的任务数据量，表示第l帧时任务车辆h进行V2V任务卸载时选取的目标空闲车辆的计算能力。
[0039]V2V传输与计算的能耗为
[0040][0041]忽略任务结果回传到任务车辆过程中的时延和能耗，则总体时延可以表示为
[0042][0043]其中，表示第l帧时任务车辆h中任务处理时延超出的部分。当任务处理的时延超出部分大于一帧时，则该任务将被丢弃。第l帧时任务车辆h中任务处理的总体能耗可
以表示为
[0044][0045]考虑将时延以及能耗作为优化目标进行任务卸载决策以及资源分配，为了最小化系统代价，本文的优化问题可以表述为
[0046][004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM
‑
DDPG的部分任务卸载及资源分配算法，其特征在于，包括如下步骤：一、创建一个进行部分任务卸载和资源分配的车联网MEC网络模型；网络模型中包含一个与场景中所有RSU相连的基站，基站可以收集车辆和RSU的状态信息；部署在路口的RSU配备了MEC服务器，可以为覆盖范围内的任务车辆提供计算能力；任务车辆的集合记为C
H
＝{1,2,...,H}；将系统的运行过程划分为一系列时间长度为ξ的帧，帧的序号用l∈N
+
表示；在每帧的开始，基站将从全局的角度感知网络环境状态从而选择合适的部分任务卸载和资源分配策略；二、将部分任务卸载以及资源分配问题转化为强化学习模型，包括状态空间、动作空间以及奖励函数的设计；三、将LSTM神经网络引入到DDPG算法的演员网络及评论家网络中；将LSTM单元加入到全连接层之前；在评论家网络中，输入一部分由输入状态通过LSTM单元得到，另一部分则由演员网络的动作输出。2.根据权利要求1所述的基于LSTM
‑
DDPG的部分任务卸载及资源分配算法，其特征在于，步骤一中，任务车辆可以将任务分割为三个部分，分别进行本地处理、通过V2V通信卸载到周边空闲车辆以及通过V2I通信的方式卸载到MEC服务器中进行处理；通过V2I通信的方式卸载到MEC服务器具体包括：第l帧中，任务车辆h(1≤h≤H)进行V2I任务卸载时，上行链路的信干噪比可以表示为其中，表示在第l帧时任务车辆h进行V2I通信时的发射功率，表示第l帧时任务车辆h的V2I信道增益，σ2表示噪声功率，表示第l帧时不同RSU中的其他任务车辆对任务车辆h的V2I通信产生的干扰；当任务车辆x对任务车辆h的V2I通信产生干扰时，为1，否则为0；考虑有限码长(FBL)机制的影响，第l帧时任务车辆h进行V2I任务卸载时的传输速率(bit/s)为其中，V
k
表示信道色散函数，Q(
·
)表示高斯Q函数，ε表示数据传输解码错误概率，n0表示上行传输的码长；通过V2V通信卸载到周边空闲车辆具体包括：第l帧时，任务车辆h在V2V任务卸载时，上行链路的信干噪比可以表示为其中，表示进行V2V通信时的发射功率，表示V2V信道的信道增益，表示其他
任务车辆对本车V2V通信产生的干扰，表示不同RSU中的其他任务车辆对任务车辆h的V2V通信产生的干扰；当任务车辆y对任务车辆h的V2V通信产生干扰时，为1，否则为0；第l帧时，任务车辆h进行V2V任务卸载时的传输速率(bit/s)为第l帧时，任务车辆h中任务数据的计算可以划分为本地计算、MEC服务器计算以及目标空闲车辆计算三部分。3.根据权利要求2所述的基于LSTM
‑
DDPG的部分任务卸载及资源分配算法，其特征在于，(1)本地计算的时延为其中，表示第l帧时任务车辆h分配在本车进行计算的任务数据量，N表示计算每比特数据所需的CPU周期数，表示第l帧时任务车辆h的计算能力，本地计算的能耗为其中，k
′
表示芯片架构系数，取决于CPU的芯片架构；(2)MEC服务器计...

【专利技术属性】
技术研发人员：张芝，谭国平，周思源，龙关森，
申请(专利权)人：江苏智能交通及智能驾驶研究院，
类型：发明
国别省市：