一种基于分层强化学习的车联网边缘计算任务卸载方法技术

本发明专利技术属于车联网边缘计算技术领域，具体为一种基于分层强化学习的车联网边缘计算任务卸载方法。本发明专利技术首先将车联网边缘计算网络中的任务卸载问题建模为以最小化时延

【技术实现步骤摘要】
一种基于分层强化学习的车联网边缘计算任务卸载方法


[0001]本专利技术属于车联网边缘计算
，具体涉及基于分层强化学习的车联网边缘计算任务卸载方法。

技术介绍

[0002]随着车联网的不断发展，辅助驾驶、增强现实和图像处理等应用已逐步在车载设备中部署，以提升车内人员的驾驶体验[1]。这些应用通常具有两大特点：计算资源需求大和实时性要求高。然而，车载设备计算资源有限且能量供应有限，往往无法满足这些应用的需求[2]。
[0003]通过引入具有强大运算能力的云服务器，移动云计算(Mobile Cloud Computing，MCC)被视为能够解决以上所述问题的有效方式[3]。为了获取充足的计算资源和节约能量消耗，车载设备可以选择将计算密集型任务卸载至云服务器中执行。尽管移动云计算能带来丰富的计算资源，但是车载设备和云服务器之间过远的物理距离将带来较长的数据传输时延，而这恰与任务的实时性要求相悖。
[0004]为了处理移动云计算的时延问题，研究人员提出了移动边缘计算(MobileEdge Computing，MEC)的概念[4]。在移动边缘计算中，拥有高运算能力的服务器不再位于遥远的云端，而是设置于离用户端更近的边缘网络中。通过结合车联网和移动边缘计算，车联网边缘计算(Vehicular edge computing，VEC)将边缘服务器部署于道路两旁的基站中，以大幅降低数据传输时延和保证数据连接的稳定性[5]。车联网边缘计算中的任务卸载问题也成为学界的研究热点。文献[6]提出了一种基于博弈论的任务卸载算法，同时证明了多车辆任务卸载问题中纳什均衡的存在。文献[7]构建了以最小化车辆和边缘服务器的损耗和为目标的双边优化问题，并基于李雅普诺夫优化提出了相应的任务卸载和资源分配策略。文献[8]考虑到车辆的移动性，提出了“直接上传
‑
接替传输”的组合卸载方式，以大幅降低任务的处理时延和传输效率。然而，车联网边缘计算中仍存在一些关键问题未得到解决：
[0005](1)具有任务关联性的应用。前述工作均只考虑处理单个应用的计算资源和实时性需求，但依靠动态分割技术[9]，单个应用可被分解为具有执行先后顺序的多个子任务。在不破坏子任务执行关联性的前提下，如何有效处理该类应用仍具有较大挑战；
[0006](2)系统损失函数。前述工作的优化目标仅考虑了任务处理时延和能量消耗，而未考虑边缘计算服务费用[6
‑
8]。设计一种任务卸载策略以平衡时延
‑
能量
‑
费用是十分必要的；
[0007](3)计算复杂度。车联网边缘计算中任务卸载问题往往被构造为非线性混合整数问题，具有NP难的特征且无法在多项式时间内解决[10]。而过长的求解时间对于实时性要求高的任务无法接受，因此设计一种不牺牲性能且能快速求解的任务卸载算法非常重要。

技术实现思路

[0008]本专利技术的目的在于提供一种自适应的任务卸载和资源分配联合策略，从而实现降
低系统损失函数的基于分层强化学习的车联网边缘计算任务卸载策略。
[0009]本专利技术提供的基于分层强化学习的车联网边缘计算任务卸载方法，首先将车联网边缘计算网络中的任务卸载问题建模为以最小化时延
‑
能耗
‑
费用联合损失函数为目标的优化问题，其中优化参数为任务执行顺序、计算决策、本地资源分配和传输功率控制；接着，提出了深度分层任务卸载策略，以端到端的方式解决该非线性混合整数规划；将具有任务关联性的应用以有向无环图的形式表示，并利用图神经网络提取蕴含在子任务中的高维信息，同时利用分层强化学习算法处理包含两个离散动作和两个连续动作的混合动作空间。仿真实验以真实采集的车辆速度作为数据集，实验结果表明相比于启发式算法，本专利技术提出的算法在多种环境参数下均能大幅度降低系统损失函数。
[0010]本专利技术提供的基于分层强化学习的车联网边缘计算任务卸载方法，具体步骤如下。
[0011](一)首先，对车联网边缘计算进行数学建模，具体包括：
[0012]车联网边缘计算系统模型中包含M个基站和一辆汽车，边缘服务器部署于基站中；各基站均匀分布于道路两旁，且拥有相同的覆盖范围R，各基站仅能与其覆盖范围内的车载设备建立连接；汽车以动态变化的速度v行驶于道路中；
[0013]使用动态分割技术，将车载设备中的计算密集型应用分解为N个具有执行先后顺序的子任务，并以有向无环图G＝(V,E)表示，各节点i∈V代表一个任务，各有向边e(i,j)∈E代表任务i和任务j的处理顺序，即任务j需要在任务i处理完成后才能执行；
[0014]问题的优化目标为最小化时延
‑
能量
‑
费用联合损失函数，定义为任务的处理时延、能量消耗和服务费用的加权和；基于任务的计算决策k
i
(若k
i
＝0表示任务本地执行，反之若k
i
＝1表示任务本地执行)，可以得到任务i的处理时延t
i
、能量消耗e
i
和服务费用c
i
分别为：
[0015][0016][0017][0018]其中，和分别为任务i的本地处理时延和边缘处理时延，和分别为任务i的本地能量消耗和边缘能量消耗，代表任务i的边缘服务费用。由此，所有任务的损失函数和U为：
[0019][0020]其中，0≤β1，β2,β3≤1表示加权系数。
[0021]为了最小化系统损失函数U，需要联合优化任务卸载和资源分配策略；问题的优化参数分别为任务的执行顺序计算决策本地计算CPU频率和边缘计算传输功率于是，车联网边缘计算任务卸载问题建模为以下非线性混合整数规划：
[0022][0023]s.t.C1:y
i
∈{0,1,
…
,N}
[0024]C2:k
i
∈{0,1}
[0025][0026]C4:0≤p
i
≤p
max
[0027][0028]其中，约束C1限制任务编号的取值，约束C2限制任务计算决策为本地执行或者边缘执行之一，约束C3和约束C4限制本地CPU频率和传输功率的取值范围，约束C5限制任务的执行先后顺序；该非线性混合整数规划问题为非凸且NP难，优化变量包含两个整数参数向量和以及两个连续参数和
[0029](二)其次，利用图神经网络提取有向无环图特征，具体包括：
[0030]图神经网络为图注意力网络，由两层隐含层组成，并以ReLU(RectifiedLinearUnit)作为激活函数；图神经网络的输入为节点特征矢量集其中F表示各节点特征的特征维数，N为节点特征矢量集h中分量的个数；在隐含层中，各节点输入信息通过共享的线性转换矩阵转变为高维特征，其中，F
′
表示各节点新生成的高维特征的特征维数；此外，通过引入注意力机制在隐含层中，将不同相邻节赋予不同的重要性程度；以相邻节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层强化学习的车联网边缘计算任务卸载方法，其特征在于，具体步骤如下：(一)对车联网边缘计算进行数学建模，具体包括：车联网边缘计算系统模型中包含M个基站和一辆汽车，边缘服务器部署于基站中；各基站均匀分布于道路两旁，且拥有相同的覆盖范围R，各基站仅能与其覆盖范围内的车载设备建立连接；汽车以动态变化的速度v行驶于道路中；使用动态分割技术，将车载设备中的计算密集型应用分解为N个具有执行先后顺序的子任务，并以有向无环图G＝(V,E)表示，各节点i∈V代表一个任务，各有向边e(i,j)∈E代表任务i和任务j的处理顺序，即任务j需要在任务i处理完成后才能执行；问题的优化目标为最小化时延
‑
能量
‑
费用联合损失函数，定义为任务的处理时延、能量消耗和服务费用的加权和；基于任务的计算决策k
i
，即若k
i
＝0表示任务本地执行，反之若k
i
＝1表示任务本地执行，得到任务i的处理时延t
i
、能量消耗e
i
和服务费用c
i
分别为：分别为：分别为：其中，和分别为任务i的本地处理时延和边缘处理时延，和分别为任务i的本地能量消耗和边缘能量消耗，代表任务i的边缘服务费用；由此，所有任务的损失函数和U为：其中，0≤β1,β2,β3≤1表示加权系数；为了最小化系统损失函数U，需要联合优化任务卸载和资源分配策略；问题的优化参数分别为任务的执行顺序计算决策本地计算CPU频率和边缘计算传输功率于是，车联网边缘计算任务卸载问题建模为以下非线性混合整数规划：Us.t.C1:y
i
∈{0,1,
…
,N}C2:k
i
∈{0,1}C3:C4:0≤p
i
≤p
max
C5:其中，约束C1限制任务编号的取值，约束C2限制任务计算决策为本地执行或者边缘执行之一，约束C3和约束C4限制本地CPU频率和传输功率的取值范围，约束C5限制任务的执行先后顺序；该非线性混合整数规划问题为非凸且NP难，优化变量包含两个整数参数向量和以及两个连续参数和
(二)利用图神经网络提取有向无环图特征，具体包括：图神经网络为图注意力网络，由两层隐含层组成，并以ReLU(Rectified Linear Unit)作为激活函数；图神经网络的输入为节点特征矢量集其中F表示各节点特征的特征维数，N为节点特征矢量集h中分量的个数；在隐含层中，各节点输入信息通过共享的线性转换矩阵转变为高维特征，其中，F
′
表示各节点新生成的高维特征的特征维数；此外，通过引入注意力机制a:在隐含层中，将不同相邻节赋予不同的重要性程度；以相邻节点对的高维特征作为输入，计算得到注意力系数e
ij
，代表节点j的特征对于节点i的重要性程度，即：得到节点i所有相邻节点对包括节点i本身的注意力系数e
ij
后，对其进行归一化操作；具体是通过引入softmax函数，得到归一化注意力系数得到归一化注意力系数其中，表示节点i的相邻节点集合；为了更好的特征提取效果，引入多头注意力机制，即独立进行K次注意力操作a
k
后将其结果进行联立,最终得到的输出特征，其计算式为：其中||表示联立操作，K表示注意力头数，e
′
ijk
和W
k
分别表示第k次注意力才做的归一化注意力系数和权重矩阵；通过上述操作，节点的特征维度由F上升为KF
′
；(三)定义分层动作空间和强化学习建模，具体包括：智能体的动作空间为分层结构，具体分为以下三部分：(1)任务序号：车载设备需要决定任务处理的先后顺序，并不违背任务关联性；(2)计算决策：车载设备需要决定任务为本地执行或者边缘执行；(3)连续参数选择：若车载设备决定任务为本地执行，则需要确定CPU频率的分配；若车载设备决定任务为边缘执行，则需要确定传输功率；于是，问题的动作空间A表述为：A＝{a
d
,a
c
}＝{(y
i
,k
i
＝0,f
i
)∪(y
i
，k
i
＝1,p
i
)}，其中，a
d
代表离散动作集，a
c
代表连续动作集；定义智能体在时刻t选取的动作为a
t
＝(y
t
，k
t
，f
t
，p
t
)，相应的状态动作值函数为Q(s
t
，a
t
)，其中，其中，又此，得出本问题下的最优贝尔曼方程：其中，r
t
为单步奖励，γ为折扣因子；车联...

【专利技术属性】
技术研发人员：徐跃东，游新宇，戴连贵，邢万勇，
申请(专利权)人：复旦大学，
类型：发明
国别省市：