【技术实现步骤摘要】
本专利技术涉及深度神经网络(dnn)，尤其涉及一种基于强化学习的移动边缘计算环境下dnn加速推理方法。
技术介绍
1、随着无线通信网络以及移动通讯技术的发展，接入无线网络的移动设备数量呈爆炸式的增长。为了方便人们的生活，越来越多的智能化应用被研发并部署在移动设备上，比如语音识别、图片识别、虚拟现实游戏等。这些智能应用需要密集的计算能力与较大的存储能力。然而，移动设备有限的计算存储资源和电池容量并不能满足各些智能应用的需求。最自然的想法是将这些智能任务卸载到远程的云数据中心，但这会造成一系列问题，如传输延迟过高、隐私泄漏、低可靠性等。近年来，移动边缘计算(mec)已成为克服这些限制的一种有效的范例。移动边缘计算是将移动设备的数据卸载到离用户更近的边缘计算中心。更近的地理位置使得数据传输时延变小，同时也因为位于用户附近，故安全性与可靠性也有保障。然而，由于深度神经网络(dnn)层结构的复杂性，对于具有dnn推理任务的场景，卸载策略的设计较为困难。
2、具体地，dnn推理任务的特点在于，dnn特殊的层结构使得dnn可以在层之间随意切割。切割后的dnn子任务可以根据需要部署在移动设备或边缘节点上。dnn切割主要有两个挑战，首先，dnn的切割方式是强依赖于移动设备、边缘节点、网络状态等当前环境的。其次，另一个挑战是最近的最新的dnn的发展表明dnn不再局限于链拓扑，有向无环图(dag)拓扑越来越受欢迎，比如，googlenet。显然，划分dag涉及到更复杂的图论分析，这可能导致np-hard的性能优化。现有技术大多关注于单个移
3、虽然，对dnn推理任务进行划分并将其卸载到边缘站点，以跨边界的方式协同分布地处理计算任务可以减少dnn的推理时延。但不可忽视的是，调度、沟通和协调成本增加。因此，在移动设备的计算延迟与通信和协调成本之间进行权衡至关重要。除此之外，卸载延迟还伴随着移动设备的能量消耗，因为电池能量不足可能会降低性能。在很多情况下，经常充电是不合适的。对于一些户外传感器来说，充电甚至是不可能的。此外，在一个时隙中，频繁的连接和数据传输到多个边缘站点，可能会导致过度的瞬态放电，这对移动设备的电池寿命造成很大的伤害。幸运的是，对绿色计算的强烈需求促使了能源收集(eh)技术的发展，该技术收集可回收的清洁能源，包括风、太阳辐射以及人类运动能量。因此，它赋予了移动设备的自我可持续性和永续性。
4、因此，本
需要一种dnn卸载方法，能够适用于多用户多服务器的移动边缘计算(mec)系统，还需要考虑服务器的异构性和计算资源限制、用户移动性以及移动设备的电池能量水平。
技术实现思路
1、本专利技术所要解决的技术问题是克服现有技术中存在的不足，提供一种基于强化学习的移动边缘计算环境下dnn加速推理方法。
2、本专利技术是通过以下技术方案予以实现：
3、一种基于强化学习的移动边缘计算环境下dnn加速推理方法，包括以下步骤：
4、步骤1，对移动边缘计算系统建立延迟模型和能量模型；
5、步骤2，为每个配置有能源收集组件的移动设备建立能量收集模型，并基于所述移动边缘计算系统的所述能量模型与所述移动设备的所述能量收集模型建立约束条件；
6、步骤3，对所述约束条件建立cmdp模型；
7、步骤4，通过lyapunov优化技术处理cmdp模型的长期约束，并将其转化为mdp问题；
8、步骤5，通过drl算法求解mdp问题。
9、优选地，所述移动边缘计算系统的所述延迟模型包括本地延迟模型、通信延迟模型和边缘延迟模型；
10、所述移动边缘计算系统的所述能量模型包括本地能耗模型和通信能耗模型。
11、优选地，“对移动边缘计算系统建立延迟模型和能量模型”包括：
12、根据所述本地延迟模型确定本地能耗模型；
13、根据所述通信延迟模型确定通信能耗模型。
14、优选地，步骤2中的所述约束条件包括每个所述移动设备的能耗约束、能量包约束、瞬态最大放电约束、最小化边缘服务器的推理延迟且保持移动设备的电量稳定的约束。
15、优选地，“对所述约束条件建立cmdp模型”包括：
16、对最小化边缘服务器的推理延迟且保持移动设备的电量稳定的约束建立cmdp模型。
17、优选地，“通过lyapunov优化技术处理cmdp模型的长期约束，并将其转化为mdp问题”包括以下步骤：
18、设定移动设备每个时间段的起始能量状态ψ(t)；
19、根据移动设备每个时间段的起始能量状态，对于每个移动设备使用扰动参数θ来重新定义虚拟电池队列θ(t)；
20、根据每个移动设备的虚拟电池队列θ(t)，设定lyapunov函数与lyapunov漂移；
21、根据lyapunov函数与lyapunov漂移，获得所述cmdp模型的近似最优解，并将近似最优解分为能量收集策略问题和dnn协同推理问题。
22、优选地，该方法还包括以下步骤：
23、求解能量收集策略问题，获得第t时隙存储在每个移动设备中的能量单位的最优解。
24、优选地，“通过drl算法求解mdp问题”包括以下步骤：
25、在开始训练前，用于存储的过去经验随机初始化所有的神经网络参数和经验池；
26、对每个时间片执行以下步骤：
27、获得一个独立同分布的随机事件、当前时间片的能量信息、通信通道状态信息与每个服务器上的任务数；
28、求解mdp问题，获得获得第t时隙存储在每个移动设备中的能量单位的最优解与最优边缘选址指标；
29、更新电池电量。
30、优选地，所述drl算法包括以下步骤：
31、在开始训练之前，随机初始化神经网络参数和经验池；
32、在每个训练周期内执行以下操作：
33、在每个训练周期的开始，将环境状态重置为初始状态states_0；
34、在每个训练周期内，执行以下步骤，直到达到时间步的结束条件：
35、在每个时间步，执行actor神经网络，确定可用的边缘站点指示器；
36、通过dag_p算法求解移动设备上的计算任务，通信通道上的通信任务，边缘服务器上的计算任务；
37、将在当前时间步的计算结果发送给移动设备；
38、移动设备根据计算结果执行任务；
39、在执行任务后，获得奖励信号与在执行任务后的新状态；
40、将当前时间步下的状态、动作、奖励和新状态本文档来自技高网...
【技术保护点】
1.一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，所述移动边缘计算系统的所述延迟模型包括本地延迟模型、通信延迟模型和边缘延迟模型；
3.根据权利要求2所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，“对移动边缘计算系统建立延迟模型和能量模型”包括：
4.根据权利要求1所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，步骤2中的所述约束条件包括每个所述移动设备的能耗约束、能量包约束、瞬态最大放电约束、最小化边缘服务器的推理延迟且保持移动设备的电量稳定的约束。
5.根据权利要求4所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，“对所述约束条件建立CMDP模型”包括：
6.根据权利要求1所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，“通过Lyapunov优化技术处理CMDP模型的长期约束，并将其转
7.根据权利要求6所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，该方法还包括以下步骤：
8.根据权利要求7所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，“通过DRL算法求解MDP问题”包括以下步骤：
9.根据权利要求8所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，所述DRL算法包括以下步骤：
10.根据权利要求9所述的一种基于强化学习的移动边缘计算环境下DNN加速推理方法，其特征在于，所述DAG_P算法包括以下步骤：
...【技术特征摘要】
1.一种基于强化学习的移动边缘计算环境下dnn加速推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习的移动边缘计算环境下dnn加速推理方法，其特征在于，所述移动边缘计算系统的所述延迟模型包括本地延迟模型、通信延迟模型和边缘延迟模型；
3.根据权利要求2所述的一种基于强化学习的移动边缘计算环境下dnn加速推理方法，其特征在于，“对移动边缘计算系统建立延迟模型和能量模型”包括：
4.根据权利要求1所述的一种基于强化学习的移动边缘计算环境下dnn加速推理方法，其特征在于，步骤2中的所述约束条件包括每个所述移动设备的能耗约束、能量包约束、瞬态最大放电约束、最小化边缘服务器的推理延迟且保持移动设备的电量稳定的约束。
5.根据权利要求4所述的一种基于强化学习的移动边缘计算环境下dnn加速推理方法，其特征在于，“对所述...
【专利技术属性】
技术研发人员：李明楚，杨丽，
申请(专利权)人：大连理工大学人工智能大连研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。