【技术实现步骤摘要】
本专利技术属于多边服务器协同计算，具体涉及一种基于强化学习的多边服务器协同计算卸载系统。
技术介绍
1、近年来，随着物联网(iot)、人工智能、先进机器人技术和云计算技术的发展，人工智能(aiot)应运而生，成为实现智能化和远程制造的重要途径。然而，由于能量限制、带宽限制和覆盖范围狭窄，aiot关键的服务质量(qos)要求无法在资源受限的环境中得到有效保证。这些限制已经成为限制aiot应用的瓶颈。
2、因此，针对上述问题，予以进一步改进。
技术实现思路
1、本专利技术的主要目的在于提供基于强化学习的多边服务器协同计算卸载系统，通过远程云服务器、边缘云服务器和用户设备进行联动，用户设备可以将计算任务分成两部分并将一部分卸载到边缘服务器，而其余部分在本地执行。用户设备的计算任务和可用计算能力是时变的，与基于连续和离散空间决策的现有drl策略不同，本专利技术基于pdqn的算法，名为m4m-pdqn，用于混合动作空间中的任务卸载和资源分配。
2、为达到以上目的，本专利技术提供一种基于强化学习的多边服务器协同计算卸载系统，包括远程云服务器、边缘云服务器和用户设备(ue)，所述用户设备通过无线通道将任务按照预设比例卸载到所述边缘云服务器，并且不同的边缘云服务器通过不同的反馈路径将数据传输到所述远程云服务器，其中：
3、e＝{e1,e2,…,en,…,en}和u＝{u1,u2,…,um,…,um}分别表示边缘云服务器的集合和用户设备的集合，并s＝{s1,s2,
4、任务卸载：将任务的某些部分卸载到边缘云服务器，ρm,n表示任务s从用户设备到边缘云服务器的卸载率，基于卸载率，用户设备灵活地将任务一部分卸载到边缘云服务器，并且另一部分进行本地处理(以充分利用ue的计算资源)；
5、任务计算：在收集任务的各个子任务后，边缘云服务器和用户设备并行计算接收到的子任务(有助于减少计算延迟)；
6、结果反馈：任务计算完成后，边缘云服务器将计算结果传输到远程云服务器，然后通过下行链路返回用户设备(由于任务处理结果中的位数远小于初始数据的位数，因此可以忽略结果反馈中的延迟)。
7、作为上述技术方案的进一步优选的技术方案，对于无线通信：
8、当用户设备通过无线通道将任务卸载到边缘云服务器时，会产生额外的时间和能源消耗，gm表示用户设备和基站之间的信道增益，pm是用于将任务卸载到基站的发射功率，w是用户设备和基站之间信道的带宽，n0是信道的噪声功率谱密度，将任务卸载到边缘云服务器时，通道的传输速率定义为：
9、
10、任务传输过程中的时延和能耗定义为：
11、
12、
13、其中，ρm,n∈[0,1]是任务从用户设备到边缘云服务器的卸载率。
14、作为上述技术方案的进一步优选的技术方案，用户设备对任务的本地处理为：
15、(虽然ue的计算能力相当有限，但为了充分利用现有的计算资源，提升用户体验，部分任务将在本地处理)设用户设备的计算能力是一定时间内每秒的固定值，记为k代表cpu芯片的能量因数，则任务本地处理的延迟和能耗定义如下：
16、
17、
18、作为上述技术方案的进一步优选的技术方案，边缘云服务器对任务的边缘处理为：
19、(在我们的模型中，ue有多个边缘卸载目标选项，但最终卸载目标是多个边缘云服务器之一。与本地计算相比，边缘计算具有更丰富的计算资源，可以大大降低密集计算应用的计算延迟)
20、边缘处理的延迟和能耗定义如下：
21、
22、
23、其中，fn,m是分配的计算资源，pn是计算能力；
24、边缘云服务器的剩余计算资源定义为fn，分配任务的计算资源不能超过总限制，即当分配的总资源超过边缘云服务器限制时，系统会强制将任务卸载到用户设备进行本地处理。
25、作为上述技术方案的进一步优选的技术方案，(允许按一定比例卸载任务，以最大限度地利用系统的计算资源，并减少处理密集型计算任务所需的延迟，此外)本地处理和边缘处理并行执行，移动设备的延迟和能耗定义为：
26、
27、
28、综合加权总成本为：
29、cm＝αtm+(1-α)em；
30、其中，α∈[0,1]是延迟和能耗之间的权重因子；
31、(本专利的主要优化目标是在满足用户对任务处理延迟容限要求的同时，将系统的总成本降至最低。总成本包括时间和能源成本。目标是在满足用户需求的同时，通过有效利用边缘计算资源，将系统成本降至最低，从而提高系统性能和用户体验)系统的总成本定义为：
32、
33、为了保证任务的成功执行，必须满足两个条件：第一，任务处理延迟不能超过最大延迟容限τ；其次，边缘云服务器分配的的计算资源不得超过剩余的计算资源，设用户设备成功执行的任务数为y，则任务执行成功率定义为用户设备成功执行的任务数与任务总数的比值：
34、
35、在任务处理延迟和边缘云服务器资源限制的约束下，制定任务卸载决策和资源分配计划，以最大限度地提高任务执行成功率，并最小化所有移动设备的总成本，因此，优化问题表述如下：
36、min ctotal and max sul；
37、s.t.ρm,n∈[0,1]；
38、0≤tm≤τ；
39、0≤fn,m≤fn；
40、
41、作为上述技术方案的进一步优选的技术方案，通过基于drl的协同优化算法来最小化系统延迟和能源成本，其中(利用所提出的m4m-pdqn方法，从整个系统的角度学习一种任务卸载和计算资源分配策略。该策略选择一种操作，该操作涉及卸载部分ue密集型计算任务并分配边缘云服务器的有限计算资源，目的是降低整体系统延迟和能源成本。我们的讨论分为两部分：1)mdp模型公式和2)m4m-pdqn解决方案)：
42、对于mdp模型公式：
43、马尔可夫决策过程(mdp)是强化学习中常用的数学框架，用于描述顺序决策问题(mdp涉及代理与环境之间的交互，其中代理在每个时间斜率上选择一个操作来影响环境，并在过渡到新状态时获得奖励)，通过求解mdp，得到最优策略，该策略选择每个状态下的最佳动作，使长期累积奖励最大化，最优策略使用值函数或q函数表示，其中前者表示在最优策略之后给定状态下的长期累积奖励，后者表示在给定状态下按照最优策略采取特定行动的长期累积奖励，优化问题的mdp公式描述如下：
44、决策周本文档来自技高网...
【技术保护点】
1.一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，包括远程云服务器、边缘云服务器和用户设备，所述用户设备通过无线通道将任务按照预设比例卸载到所述边缘云服务器，并且不同的边缘云服务器通过不同的反馈路径将数据传输到所述远程云服务器，其中：
2.根据权利要求1所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，对于无线通信：
3.根据权利要求2所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，用户设备对任务的本地处理为：
4.根据权利要求3所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，边缘云服务器对任务的边缘处理为：
5.根据权利要求4所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，本地处理和边缘处理并行执行，移动设备的延迟和能耗定义为：
6.根据权利要求5所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，通过基于DRL的协同优化算法来最小化系统延迟和能源成本，其中：
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于强化学习的多边服务器协同计算卸载系统。
...【技术特征摘要】
1.一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，包括远程云服务器、边缘云服务器和用户设备，所述用户设备通过无线通道将任务按照预设比例卸载到所述边缘云服务器，并且不同的边缘云服务器通过不同的反馈路径将数据传输到所述远程云服务器，其中：
2.根据权利要求1所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，对于无线通信：
3.根据权利要求2所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，用户设备对任务的本地处理为：
4.根据权利要求3所述的一种基于强化学习的多边服务器协同计算卸载系统，其特征在于，边缘云服务器对任务的边缘处理为：
5.根据权利要求4所述的一种基...
【专利技术属性】
技术研发人员：陈丽，尹鼎，赵竞远，邓琨，杨俊，葛宇，赵彬彬，
申请(专利权)人：嘉兴学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。