车辆云多路计算卸载方法及装置制造方法及图纸

本公开提供了一种车辆云多路计算卸载方法及装置，首先构建车载资源总体效应值的计算卸载目标函数，以该函数值的最大化为计算卸载的优化目标，针对计算资源供大于求的高密度车辆云环境，提出将计算卸载目标函数的优化，转换为对基于风险因子的多路计算卸载可靠性模型的优化，以提升多路计算卸载的成功率与资源利用率。另外，本公开还通过针对多路计算卸载可靠性模型，构建马尔科夫博弈建模，使用基于深度确定性策略梯度的多智能体深度强化学习算法实现计算卸载，同时为了避免收敛至局部最优解，提出了采用基于均值回收和扩散的奥恩斯坦

【技术实现步骤摘要】
车辆云多路计算卸载方法及装置


[0001]本公开涉及车联网
，特别涉及车辆云多路计算卸载方法及装置。

技术介绍

[0002]计算任务卸载技术的背景：随着车联网中自动驾驶、辅助驾驶、增强现实和虚拟现实等资源密集型车联网应用的增加，车联网中资源短缺问题日益严重。计算任务卸载作为一种有效的手段能够通过将计算任务由资源匮乏的车辆迁移至计算资源丰富的车辆或交通设施来完成计算任务的执行，从而在很大程度上缓解了资源短缺问题。
[0003]车联网中计算任务卸载研究背景：当前车联网中计算任务卸载方法大都是基于云计算中心、交通基础设施或者两者协同方案来实现的。对基站和交通基础设施的依赖性使得上述方案存在严重的局限性；另外，由于这些计算任务卸载服务是由第三方投资和运营，因此上述方案通常需要花费昂贵的成本；还有，在高速运动的车联网场景中，由于基站或交通基础设施的覆盖范围有限，因此上述方案中计算任务卸载通常需要进行频繁地切换，使得计算任务卸载性能不可避免地受到影响。考虑到车联网之间差异化的车载资源状态，由车辆组成的车辆云为车联网中计算任务卸载提供了新的解决方案，为此研究基于车辆云的云化车联网计算任务卸载方法具有重要意义。
[0004]5G车辆云中多路计算卸载研究背景：5G车辆云计算任务卸载是通过在车辆之间共享计算资源的方式来实现的。其面临着最大的挑战就是由资源动态变化性导致的计算任务卸载环境不稳定性。在密集型车联网应用中，计算资源供大于求的情形中，由于车联网的高速、动态性特点，计算卸载可能失败。因此，多路计算卸载方法被提出。传统的多路计算卸载方法尚未考虑多路卸载的失败风险，存在或者资源利用率低下，或者可靠性低下的问题。资源浪费是指计算任务卸载的成功率随着资源的增加已不再增加导致；可靠性低是指计算任务卸载的成功率尚未得到最大程度提升。

技术实现思路

[0005]本公开实施例提供的车辆云多路计算卸载方法及装置，用以解决相关技术中多路计算卸载方法尚未考虑多路卸载的失败风险，存在或者资源利用率低下，或者可靠性低下的问题。
[0006]一方面，本公开实施例提供了一种车辆云多路计算卸载方法，包括：
[0007]定义车辆云的通信模型，所述车辆云包括拥有空闲计算资源的服务车辆、以及自身计算资源不足的任务车辆，所述通信模型定义了任务车辆的总体效应值与计算任务卸载变量之间的关系；
[0008]以实现最大化的所述总体效应值为优化目标，并结合多个约束条件，构建计算卸载目标函数；
[0009]判断服务车辆的空闲计算资源是否大于任务车辆所需的计算资源，若是，则引入基于风险因子的多路计算卸载可靠性模型，所述多路计算卸载可靠性模型的优化目标表征
最大化的所述总体效应值，所述风险因子表征服务车辆的每个计算任务卸载的平均失败概率；
[0010]针对所述多路计算卸载可靠性模型，构建马尔科夫博弈模型，并采用基于深度确定性策略梯度的多智能体深度强化学习算法对所述马尔科夫博弈模型进行求解，得到计算任务卸载的最优解。
[0011]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，在采用基于深度确定性策略梯度的多智能体深度强化学习算法对所述马尔科夫博弈模型进行求解的同时，还包括：基于奥恩斯坦
‑
乌伦贝克过程对所述多智能体深度强化学习算法进行优化。
[0012]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，基于奥恩斯坦
‑
乌伦贝克过程对所述多智能体深度强化学习算法进行优化，具体包括：
[0013]在所述多智能体深度强化学习算法所含动作家网络的输出上增加基于奥恩斯坦
‑
乌伦贝克过程的噪声N
e
，其中噪声N
e
的公式如下：
[0014]N
e
＝κ(μ
‑
X(t))dt+σ
n
Y(t)；
[0015]其中，κ表示均值回归，μ表示均值，X(t)表示一个具有均值μ的随机变量，dt表示方差，σ
n
表示扩散的权重，Y(t)表示一个服从均值为0、方差为dt的高斯分布的随机变量。
[0016]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，基于风险因子的多路计算卸载可靠性模型，具体包括：
[0017][0018][0019]其中，表示可靠性指标抗风险能力，ε表示风险因子，ξ表示多路复用因子，K
s
表示服务车辆的数量，K
t
表示任务车辆的数量，表示服务车辆j的空闲资源，表示任务车辆i的资源需求。
[0020]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，以实现最大化的所述总体效应值为优化目标，并结合多个约束条件，构建计算卸载目标函数，具体包括：
[0021][0022][0023]其中，maxU表示最大化的所述总体效应值，L
i
表示任务车辆i的计算任务卸载变量，C1表示着所有任务车辆分配的计算资源不能超过模型中可利用资源；C2表示服务车辆j已分配的计算资源不能超过其可以提供的计算资源，L
i,j
是一个索引，其表示是否任务车辆i将卸载其计算资源到服务车辆j；C3表示分配给任务车辆i的计算资源不能超过其所需要的计算资源；C4和C5分别表示由服务车辆j和任务车辆支持的i最大的卸载连接数量不能超过最大的数量限制N1和N2；C6表示着传输速率C
i
应该高于规定的基准传输速率R
baseline
。
[0024]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，构建马尔科夫博弈模型，具体包括：采用数组(S,A,R,T,γ)表征马尔科夫博弈模型，其中，
[0025][0026][0027]R＝R
comm
+R
comp
，
[0028]S表示状态空间，H
i
为信道增益，是任务车辆i的资源需求，为服务车辆的可利用资源集合，Ω
s
是服务车辆组成的集合；K
s
表示服务车辆的数量；A表示动作空间，A
i
表示任务车辆i的动作空间，任务车辆i的子动作空间，M表示动作空间的维度；R表示奖励函数，R
comm
表示通信过程奖励函数，R
comp
表示计算过程奖励函数，K
t
表示任务车辆的数量，是任务车辆i和服务车辆j之间通信连接的信干噪比，表示分配给任务车辆i的服务车辆数量，表示分配给服务车辆j的任务车辆数量；T表示状态转移概率，γ表示折扣系数。
[0029]在一些实施例中，在本公开实施例提供的上述车辆云多路计算卸载方法中，采用基于深度确定性策略梯度的多智能体深度强化学习算法对所述马尔科夫博弈模型进行求解，具体包括：
[0030]多智能体深度强化学习算法所含评论家网络的参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆云多路计算卸载方法，其特征在于，包括：定义车辆云的通信模型，所述车辆云包括拥有空闲计算资源的服务车辆、以及自身计算资源不足的任务车辆，所述通信模型定义了任务车辆的总体效应值与计算任务卸载变量之间的关系；以实现最大化的所述总体效应值为优化目标，并结合多个约束条件，构建计算卸载目标函数；判断服务车辆的空闲计算资源是否大于任务车辆所需的计算资源，若是，则引入基于风险因子的多路计算卸载可靠性模型，所述多路计算卸载可靠性模型的优化目标表征最大化的所述总体效应值，所述风险因子表征服务车辆的每个计算任务卸载的平均失败概率；针对所述多路计算卸载可靠性模型，构建马尔科夫博弈模型，并采用基于深度确定性策略梯度的多智能体深度强化学习算法对所述马尔科夫博弈模型进行求解，得到计算任务卸载的最优解。2.如权利要求1所述的车辆云多路计算卸载方法，其特征在于，在采用基于深度确定性策略梯度的多智能体深度强化学习算法对所述马尔科夫博弈模型进行求解的同时，还包括：基于奥恩斯坦
‑
乌伦贝克过程对所述多智能体深度强化学习算法进行优化。3.如权利要求2所述的车辆云多路计算卸载方法，其特征在于，基于奥恩斯坦
‑
乌伦贝克过程对所述多智能体深度强化学习算法进行优化，具体包括：在所述多智能体深度强化学习算法所含动作家网络的输出上增加基于奥恩斯坦
‑
乌伦贝克过程的噪声N
e
，其中噪声N
e
的公式如下：N
e
＝κ(μ
‑
X(t))dt+σ
n
Y(t)；其中，κ表示均值回归，μ表示均值，X(t)表示一个具有均值μ的随机变量，dt表示方差，σ
n
表示扩散的权重，Y(t)表示一个服从均值为0、方差为dt的高斯分布的随机变量。4.如权利要求1～3任一项所述的车辆云多路计算卸载方法，其特征在于，基于风险因子的多路计算卸载可靠性模型，具体包括：子的多路计算卸载可靠性模型，具体包括：其中，表示可靠性指标抗风险能力，ε表示风险因子，ξ表示多路复用因子，K
s
表示服务车辆的数量，K
t
表示任务车辆的数量，表示服务车辆j的空闲资源，表示任务车辆i的资源需求。5.如权利要求1～3任一项所述的车辆云多路计算卸载方法，其特征在于，以实现最大化的所述总体效应值为优化目标，并结合多个约束条件，构建计算卸载目标函数，具体包括：
其中，max U表示最大化的所述总体效应值，L
i
表示任务车辆i的计算任务卸载变量，C1表示着所有任务车辆分配的计算资源不能超过模型中可利用资源；C2表示服务车辆j已分配的计算资源不能超过其可以提供的计算资源，L
i,j
是一个索引，其表示是否任务车辆i将卸载其计算资源到服务车辆j；C3表示分配给任务车辆i的计算资源不能超过其所需要的计算资源；C4和C5分别表示由服务车辆j和任务车辆支持的i最大的卸载连接数量不能超过最大的数量限制N1和N2；C6表示着传输速率C
i
应该高于规定的基准...

【专利技术属性】
技术研发人员：范潇，许世琳，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：