一种基于双延迟深度确定性策略梯度的智能计算迁移方法技术

一种基于双延迟深度确定性策略梯度的智能计算迁移方法，基于迁移决策、带宽资源分配及传输功率调节的联合考量，构建了一个最小化所有计算任务总能耗的优化问题，能够综合考虑差异化最大容忍延迟和终端电压动态可调，进一步提升系统节能效果，更加贴合动态变化的复杂网络场景；基于Actor

【技术实现步骤摘要】
一种基于双延迟深度确定性策略梯度的智能计算迁移方法


[0001]本专利技术涉及计算迁移领域，尤其涉及一种基于双延迟深度确定性策略梯度的智能计算迁移方法。

技术介绍

[0002]为了更好地响应大规模物联网设备的服务请求，弥补云计算模式的缺陷，雾计算的概念应运而生。受限于单一雾节点的任务负载压力较大，融合计算迁移思想的雾计算模式成为了新的研究焦点。进一步地，出于对多节点协同处理效率及用户低成本开销的联合考量，如何依据边缘侧资源分布动态调整迁移策略，并高效分配用户接入节点、无线信道带宽资源、设备发射功率、内外部计算资源等，成为了亟待解决的关键问题。
[0003]目前，针对这类问题的研究，大致可分为以下三类：
[0004]第一类研究方案利用牛顿迭代法、拉格朗日乘子法及遗传算法等近似算法或启发式算法来优化计算迁移决策与资源分配。虽然上述方法能够取得稳定收敛解，但是整体的收敛速度较慢，难以快速生成复杂动态网络场景下的自适应迁移决策。
[0005]第二类研究方案基于深度学习理论，构造了智能化的计算迁移方案，以满足用户对时延敏感型决策输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：所述方法包括如下步骤：步骤1，构建由用户层和服务层组成的多用户计算迁移模型，计算得到用户层产生的计算任务总能耗；步骤2，基于迁移决策、带宽资源分配及传输功率调节的联合考量，构建一个最小化所有计算任务总能耗的优化问题；步骤3，构造包含两个独立评价网络的模型架构，并引入连续变量离散化运算，以提升策略探索的随机性，从而更好地生成全局最优计算迁移策略。2.根据权利要求1所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：步骤1中，用户层由用户设备构成，服务层部署有多个雾节点组成的雾节点集和一个控制器。3.根据权利要求2所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：步骤1中，定义用户集合为I＝{1,2,...,|I|}，雾节点集合为J＝{0,1,2,...,|J|}；用户设备i向雾节点发送的任务请求信息为(D
i
,T
imax
)。其中，D
i
表示用户设备i产生的计算任务数据大小，T
imax
表示用户设备i对任务处理的最大容忍延迟；控制器根据该计算任务请求信息、雾节点可用带宽资源及最大可分配传输功率，生成能耗最小化计算迁移决策α
ij
(α
ij
∈{0,1})，当α
ij
＝0时，表示用户设备i的计算任务不在节点j处理；当α
ij
＝1时，表示用户设备i的计算任务在节点j处进行处理，其中j＝0特指用户设备本身。4.根据权利要求3所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：步骤1中，包括如下分步骤：步骤1
‑
1，将用户设备i的CPU时钟频率定义为f
il
，用户设备i处理一个比特计算任务所需的CPU周期数定义为C
i
，其中i∈{1,2,...,|I|}。当计算任务选择在用户设备本身进行处理时，其对应的本地计算时间表示为：结合CMOS电路的性质，将本地计算的能量消耗表示如下：其中，κ
l
为与设备型号相关的有效电容系数，默认所有用户设备的电容系数相等，为一个固定常数；步骤1
‑
2，将用户设备i至雾节点j(j∈{1,2,...,|J|})的上行传输速率表示如下：其中，B
ij
为雾节点j分配给用户设备i产生的计算任务的带宽资源大小，为雾节点j分配给用户设备i产生的计算任务的传输功率大小，d
ij
为用户设备i与雾节点j之间的距离，δ为无线信道的损耗系数，为无线信道的信道增益；
由此表示出将用户设备i产生的计算任务迁移至雾节点j所需要的传输时延和传输能耗能耗能耗步骤1
‑
3，在雾节点j处理用户设备i产生的计算任务所需要的计算时间和能量消耗表示如下：表示如下：其中，C
j
表示雾节点j处理一个比特计算任务所需要的CPU周期数，f
jf
表示雾节点j的CPU时钟频率，κ
f
为雾节点的有效电容系数。步骤1
‑
4，根据上述得到的本地计算的能量消耗传输能耗和雾节点j处理用户设备i产生的计算任务所需要的能量消耗将用户设备i所产生的计算任务的能量消耗表示为：5.根据权利要求1所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：步骤2中，结合物联网场景下的计算迁移决策α
ij
、带宽资源分配B
ij
及传输功率大小将最小化所有计算任务的总能耗作为优化目标，构建的优化问题P1以及约束条件具体如下所示：P1:P1:P1:P1:P1:0≤f
il
≤f
imax
上述约束条件中：约束一表示用户设备i产生的计算任务只能在一个节点处进行处理；约束二表示用户设备i的任务完成时间不能够超过用户的最大容忍延迟T
imax
；约束三表示节点的带宽资源约束，即任意节点分配给所有在该节点进行处理的计算任务的带宽总和不得超过其自身可分配的带宽资源大小；
约束四表示传输功率的可调范围；约束五表示本地用户设备的CPU时钟频率不得超过其上限。约束六表示任务的计算迁移决策，取值为0或1。6.根据权利要求5所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：步骤2中，综合考虑用户最大容忍延迟的服务差异化，动态电压调节DVS技术，依据电压与CPU时钟频率呈线性相关的特性，对目标函数进行更新。7.根据权利要求6所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法，其特征在于：目标函数的更新步骤为，根据约束条件二，得出即由于本地计算的能耗与用户设备的CPU时钟频率f
il
成正相关，出于最小化计算任务总能耗的目标，将最优CPU时钟频率(f
il
)
*
表示为：依据所得(f
il
)
*
，将用户...

【专利技术属性】
技术研发人员：陈思光，汤蓓，缪逸峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：