一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法技术

一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法，包括以下步骤：1)计算出在给出模式选择下系统中所有无线设备的速率总和；2)所有无线设备集合；3)所有无线设备的计算速率总和最大化问题；4)通过深度确定性策略梯度方法来寻找一个最优的模式选择；5)所有无线设备的模式选择M0和M1作为深度确定性策略梯度方法的状态xt，动作a则是对状态xt的更改，更改后系统的总计算速率会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt，a)设为正值，反之设为负值，同时系统进入下一状态xt+1。本发明专利技术在保证用户体验的前提下最大化所有无线设备的总和计算速率。

A method of maximizing mobile edge computing speed based on depth deterministic strategy gradient method

A rate maximization method for mobile edge computation based on depth deterministic strategy gradient method includes the following steps: 1) calculating the sum of the rates of all wireless devices in the system under given mode selection; 2) collecting all wireless devices; 3) calculating the sum of the rates of all wireless devices; 4) determining by depth. Sex policy gradient method is used to find an optimal mode selection; 5) All wireless devices choose M0 and M1 as the state XT of the deep deterministic strategy gradient method, while action a is a change of the state xt. The total computing rate of the system after the change will be compared with a set standard value, if larger than this standard value. So that the current reward R (XT, a) is set to a positive value, otherwise it is set to a negative value, and the system enters the next state xt+1. The invention maximizes the sum rate of all wireless devices under the premise of ensuring user experience.

【技术实现步骤摘要】
一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法
本专利技术属于通信领域，尤其是涉及移动边缘计算的通信系统以及基于深度确定性策略梯度方法的移动边缘计算速率最大化方法。
技术介绍
物联网技术的最新发展是迈向真正智能和自主控制的关键一步，在许多重要的工业和商业系统中尤为突出。在一个物联网网络中，部署了大量的能够进行通信和计算的无线设备(WDs)，由于设备尺寸的限制和生产成本考虑，物联网设备(如传感器)经常携带容量有限的电池和节能的低性能处理器，因此，有限的设备寿命和低计算能力无法支持越来越多需要高性能计算的可持续的新应用程序，例如自动驾驶和增强现实。无线能量传输系统(WPT)的部署可以解决前面提到的两个性能问题，但频繁的设备电池故障不仅扰乱了正常的个人无线设备操作也会显著降低整体网络性能，比如，无线传感器网络中的传感精度。传统的无线系统需要频繁手动更换电池，这很昂贵而且很不方便，由于严格的电池容量限制，在以电池供电的无线系统中，能耗最小化，延长无线设备操作生命周期是一个关键的设计。每一个能量收集的无线设备都遵循二进制计算分流策略，即，一个任务的数据集可以在本地被执行或通过远程的服务器分流来执行。为了最大化所有无线设备的总和计算速率，找到最优的单独计算模式选择是很有必要的。
技术实现思路
为了克服现有无线设备的总和计算速率较低的不足，为了最大化所有无线设备的总和计算率，找到最优的单独计算模式选择和系统传输时间分配，本专利技术提供了一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法，在保证用户体验的前提下最大化所有无线设备的总和计算速率。本专利技术解决其技术问题所采取的技术方案是：一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法，所述方法包括以下步骤：1)在一个由一个基站和多个无线设备组成由无线供电的边缘计算系统中，基站和每个无线设备都有一个单独的天线；射频能量发射器和边缘计算服务器都集成在基站中，假设基站有一个稳定的能量供给，并且能广播射频能量给所有无线设备；每一个无线设备都有一个能量收集电路和一个可充电电池，通过存储收集的能量来完成一些任务；在这个无线通信系统中，每个无线设备都需要与基站建立联系，无线设备i与基站之间的信道增益hi计算为：其中，各参数定义如下：Ad：天线增益；π：圆周率；fc：载波频率；di：无线设备i与基站之间的距离；de：路径损耗指数；2)假设每一个无线设备的计算任务在本地低性能的微处理器上执行或者分流给具有更强大的处理能力的边缘计算服务器，它将处理计算任务然后将结果发送回无线设备；假设无线设备采用二进制计算分流规则，也就是，一个无线设备必须选择是本地计算模式或者分流模式；；使用两个互不重叠的集合和分别表示在本地计算模式和分流模式的所有无线设备，所有无线设备集合表示为：3)处在集合中的无线设备能够收集能量并同时处理本地任务，而处在集合中的无线设备只能在收集能量后将任务分流至基站处理，假设基站的计算能力和传输能力要比能量采集无线设备要强大得多，在这种情况下，在任务分流过程中，无线设备耗尽了其收集的能量，所有无线设备的计算速率总和最大化问题描述为：约束条件为：式中：其中，各参数定义如下：ωi：第i个无线设备的转换权重；μ：能量收集效率；P：射频能量传输功率；Φ：处理每一位数据所需的计算循环次数；hi：第i个无线设备的信道增益；ki：第i个无线设备的能源效率系数；a：时间系数；vμ：转换效率；B：带宽；τj：第j个无线设备的时间系数；N0：本地处理模式下无线设备的个数；4)通过深度确定性策略梯度方法来寻找一个最优的模式选择，即所有无线设备的模式选择和该深度确定性策略梯度方法由执行单元，评分单元和环境所组成，所有用户的模式选择和都被编进了执行单元所需的状态xt，执行单元在当前状态下采取动作a对模式选择和进行更改并进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)，评分单元结合状态xt，动作a以及环境返回的奖励r(xt,a)给执行单元打分，即表明执行单元在状态xt下采取动作a是好是坏，执行单元的目标就是让评分单元所打的分越高越好，而评分单元的目标是让自己每次打出的分都接近真实，通过奖励r(xt,a)来调节；在执行单元，评分单元和环境不断交互更新下，模式选择和将不断被优化直到被更新到最优，评分单元的更新方式为：S(xt,a)＝r(xt,a)+γS′(xt+1,a′)(4)其中，各参数定义如下：xt：在时刻t，系统所处状态；xt+1：在时刻t+1，系统所处状态；a：在当前状态执行单元所采取的动作；a′：在下一状态执行单元所采取的动作；S(xt,a)：执行单元中的评估网络在状态xt下采取动作a所得到的分值；S′(xt+1,a′)：执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值；r(xt,a)：在状态xt下采取动作a所得到的奖励；γ：奖励衰减比重；5)所有无线设备的模式选择和作为深度确定性策略梯度方法的状态xt，动作a则是对状态xt的更改，更改后系统的总计算速率会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。进一步，所述步骤5)中，深度确定性策略梯度方法的迭代过程为：步骤5.1：初始化深度确定性策略梯度方法中的执行单元，评分单元和记忆库，当前系统状态为xt，t初始化为1，迭代次数k初始化为1；步骤5.2：当k小于或等于给定迭代次数K时，在状态xt下，执行单元预测出一个动作a；步骤5.3：动作a对状态xt进行更改，使其变成下一状态xt+1并得到环境所反馈的奖励r(xt,a)；步骤5.4：按照格式(xt,a,r(xt,a),xt+1)把历史经验保存在记忆库中；步骤5.5：评分单元接收动作a，状态xt和奖励r(xt,a)，给执行单元打出分数S(xt,a)；步骤5.6：执行单元通过更新自身参数不断去最大化分数S(xt,a)，尽可能地让自己在下次能做出高分动作；步骤5.7：评分单元抽取记忆库中的历史经验，不断学习，更新参数使得自己所打的分尽可能准确，同时k＝k+1，回到步骤5.2；步骤5.8：当k大于给定迭代次数K时，学习过程结束，得到最佳模式选择和本专利技术的技术构思为：首先，在一个物联网网络中，部署了大量的能够进行通信和计算的无线设备(WDs)，由于设备尺寸的限制和生产成本考虑，物联网设备(如传感器)经常携带容量有限的电池和节能的低性能处理器，因此，有限的设备寿命和低计算能力无法支持越来越多需要高性能计算的可持续的新应用程序，由于严格的电池容量限制，在以电池供电的无线系统中，能耗最小化，延长无线设备操作生命周期是一个关键的设计。每一个能量收集的无线设备都遵循二进制计算分流策略，即，一个任务的数据集可以在本地被执行或通过远程的服务器分流来执行。为了最大化所有无线设备的总和计算速率，提出了一种最优的单独计算模式选择方法。本专利技术的有益效果主要表现在：通过深度确定性策略梯度方法寻找出最优的模式选择方法，最大化所有无线设备的总和计算速率，能耗最小化，延长无线设备操作生命周期。附图说明图1是系统模型示意图。图2是找到最优的模式选择的方法流程图。具体实施方式下面结合附图对本专利技术作进一步详细描述。参照本文档来自技高网...

【技术保护点】
1.一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法，其特征在于，所述方法包括以下步骤：1)在一个由一个基站和多个无线设备组成由无线供电的边缘计算系统中，基站和每个无线设备都有一个单独的天线；射频能量发射器和边缘计算服务器都集成在基站中，假设基站有一个稳定的能量供给，并且能广播射频能量给所有无线设备；每一个无线设备都有一个能量收集电路和一个可充电电池，通过存储收集的能量来完成一些任务；在这个无线通信系统中，每个无线设备都需要与基站建立联系，无线设备i与基站之间的信道增益hi计算为：

【技术特征摘要】
1.一种基于深度确定性策略梯度方法的移动边缘计算速率最大化方法，其特征在于，所述方法包括以下步骤：1)在一个由一个基站和多个无线设备组成由无线供电的边缘计算系统中，基站和每个无线设备都有一个单独的天线；射频能量发射器和边缘计算服务器都集成在基站中，假设基站有一个稳定的能量供给，并且能广播射频能量给所有无线设备；每一个无线设备都有一个能量收集电路和一个可充电电池，通过存储收集的能量来完成一些任务；在这个无线通信系统中，每个无线设备都需要与基站建立联系，无线设备i与基站之间的信道增益hi计算为：其中，各参数定义如下：Ad：天线增益；π：圆周率；fc：载波频率；di：无线设备i与基站之间的距离；de：路径损耗指数；2)假设每一个无线设备的计算任务在本地低性能的微处理器上执行或者分流给具有更强大的处理能力的边缘计算服务器，它将处理计算任务然后将结果发送回无线设备；假设无线设备采用二进制计算分流规则，也就是，一个无线设备必须选择是本地计算模式或者分流模式，我们使用两个互不重叠的集合和分别表示在本地计算模式和分流模式的所有无线设备，所有无线设备集合表示为：3)处在集合中的无线设备能够收集能量并同时处理本地任务，而处在集合中的无线设备只能在收集能量后将任务分流至基站处理，假设基站的计算能力和传输能力要比能量采集无线设备要强大得多，在这种情况下，在任务卸载过程中，无线设备耗尽了其收集的能量，所有无线设备的计算速率总和最大化问题描述为：约束条件为：式中：其中，各参数定义如下：ωi：第i个无线设备的转换权重；μ：能量收集效率；P：射频能量传输功率；Φ：处理每一位数据所需的计算循环次数；hi：第i个无线设备的信道增益；ki：第i个无线设备的能源效率系数；a：时间系数；vμ：转换效率；B：带宽；τj：第j个无线设备的时间系数；N0：本地处理模式下无线设备的个数；4)通过深度确定性策略梯度方法来寻找一个最优的模式选择，即所有无线设备的模式选择和该深度确定性策略梯度方法由执行单元，评分单元和环境所组成，所有用户的模式选择和都被编进了执行单元所需的状态xt，执行单元在当前状态下采取动作a对模式选择和进行更改并进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)，评分单元结合状态xt，动作a以及环境返回的奖励r(x...

【专利技术属性】
技术研发人员：黄亮，冯旭，钱丽萍，吴远，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33