边云架构下基于深度强化学习的多目标优化卸载策略制造技术

本发明专利技术涉及一种边云架构下基于深度强化学习的多目标优化卸载策略，用于解决现有技术所存在的终端设备计算能力有限的问题，进而提高系统整体处理任务的效率。首先确定边云架构，然后根据边云架构建立系统模型、通信模型和计算模型；进一步建立联合优化模型。根据联合优化模型，结合深度强化学习算法的优点，采用深度确定性策略梯度DDPG算法求解最优的卸载策略，其中，DDPG算法的使用需要根据系统模型、计算模型和联合优化模型构建一个深度强化学习模型，模型包括四个部分，状态单元，动作单元，奖惩制和Q值函数。DDPG算法在优化深度强化学习模型得到最优卸载策略的同时，减少了系统执行任务的整体开销。执行任务的整体开销。执行任务的整体开销。

【技术实现步骤摘要】
边云架构下基于深度强化学习的多目标优化卸载策略


[0001]本专利技术属于物联网、移动边缘计算领域，具体设计一种边云架构下基于深度强化学习的多目标优化卸载策略。

技术介绍

[0002]随着互联网技术的不断发展，移动设备在现代生活中扮演着越来越重要的角色。移动设备希望运行广泛而强大的应用程序，如语音识别，图像处理，增强现实，人脸识别，车联网等等。这些应用都需要更密集的计算，更高的传输速率和更低的时延。然而，移动设备的计算能力，资源限制，电池寿命，内存容量很难满足那些消耗量大，计算量高，时延极低的应用程序。移动设备要给那些新颖的应用程序提供设备是非常具有挑战性的。虽然移动用户可以将密集型的任务发送的移动云上进行计算，以此来减轻用户的负担和解决移动设备的资源限制问题，但是通过广域网到达远程公共云不仅消耗大量的资源，也会存在数据的丢失，关键的是对于延迟敏感的任务来讲，发送任务到远程公共云上的延时是不可接受的。
[0003]当云计算不能够满足移动终端设备需求时，移动边缘计算(Mobile Edge Computing、MEC)作为一种新的计算平台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.边云架构下基于深度强化学习的多目标优化卸载策略，其特征在于包括以下步骤：步骤1.建立边云架构系统模型：边云架构下的系统模型自下而上是终端设备、边缘服务器和中心云，最底端的是终端设备，总共有N个终端设备，即{1，2，..，N}，每个设备终端都有一个计算密集型任务R
n
＝{b
n
，d
n
，τ
max
}需要执行，其中，b
n
代表用户的计算任务数据块大小，d
n
代表任务的工作负载，代表当前任务的最大容忍延迟；中间层为边缘层，即边缘服务器，边缘服务器集合为E＝{e1，e2，...，e
m
}，在整个架构中有多个基站，每个集站附近都部署一个MEC服务器，每个基站所覆盖的区域内都存在多个任务进行卸载计算；边缘架构的最上层为中心云，中心云的数量只有一个，云服务器通过交换机与基站进行通信；任务的卸载方式为0，1，2卸载，即A＝{a1，a2，...，a
N
}，a
n
∈{0，1，2}代表着用户产生的任务决定卸载到哪里，a
n
＝0表示终端任务选择本地执行，a
n
＝1表示用户任务选择边缘服务器端进行卸载执行，a
n
＝2表示选择卸载到中心云端执行该任务；每一个任务作为一个完整的任务进行卸载；步骤2.根据边云架构模型，制定详细的通信模型：当系统开始产生任务后，如果终端设备不能够满足当前任务的时延和能耗的需求，任务通过终端设备上传至边缘服务器；令H
n
表示终端设备n与其邻近边缘服务器间的信道增益，令S
n
表示终端设备n的发送功率，则本地设备n的上传速率定义为：其中σ2表示噪声功耗，B表示各设备间的无线信道带宽；当到达边缘服务器后，如果边缘服务器不能够满足当前任务的时延和能耗的需求，任务通过边缘服务器上传至云服务器；令H
m，cloud
表示边缘服务器e
m
与云服务器之间的信道增益，W
m
表示边缘服务器e
m
的发送功率，则边缘服务器e
m
与云服务器之间的传输速率定义为：步骤3.根据边云架构系统模型，制定详细的计算模型：当设备选择在本地执行其任务，定义为本地执行延迟，它只包括本地CPU处理时间，本地执行时间为：本地消耗能耗为：其中定义代表终端设备执行任务的计算能力，即终端设备单位时间运行CPU周期数；ω
local
为移动设备在每个CPU周期中的能耗系数；当任务选择通过通道卸载到边缘服务器上执行，则该任务在边缘服务器端进行处理的总时延包括任务的传输时延和任务的执行时延具体如下：该任务在边缘服务器端进行处理的总能耗包括任务的传输能耗和任务的执行能耗具体如下：
其中，任务的传输时延为：任务的传输能耗为：...

【专利技术属性】
技术研发人员：方娟，张梦媛，史佳眉，叶志远，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：