【技术实现步骤摘要】
本专利技术涉及边缘计算，具体涉及一种基于李雅普诺夫优化的dqn算法的任务调度分配方法。
技术介绍
1、移动边缘计算(mec)是一种在无线接入网络边缘提供云服务的解决方案。通过提供更接近车辆的服务，mec可完美地保持应用的低传输延迟，并有效缓解车辆对大量计算资源的需求。此外，作为mec的一个重要用例，车载边缘计算(vehicular edge computing，vec)作为智能交通系统(its)领域的一种新计算范例，近年来受到越来越多的关注，因为它可以将云计算能力扩展到车辆附近。在vec中，为了向车辆提供高水平的服务质量，大量云服务被部署在路边装置(rsu)上，车辆可通过无线网络访问这些装置。在这种情况下，计算密集型和对延迟敏感的应用程序可被卸载到rsu上的vec服务器上执行。然而，如何使边缘计算系统更好的为具有移动性的用户提供可靠的服务，一直是一个研究热点和难点。
2、我们经过广泛和深入的调研，发现现有的车载边缘环境下的任务调度策略还存在诸多不足：(1)现有的研究多假设由独立任务组成的应用被卸载到rsu上执行，考虑任务依赖性的研究较少。(2)现有工作大多侧重于通过设计一些卸载策略来最大限度地减少系统延迟，并未考虑服务器的定价问题以及用户预算成本的影响。(3)现有的方法，较少考虑分层的系统网络架构，即将云-边-端结合起来，按照任务需求进行相应层级的调度；
3、为了弥补上述方法的不足，充分考虑边缘环境下个车载应用在系统延迟和运营成本达到最佳平衡的用户需求，本专利技术提出一种边缘环境下基于李雅普诺夫优化的dq
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于李雅普诺夫优化的dqn算法的任务调度分配方法。
2、为了实现本专利技术的上述目的，本专利技术提供了一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，包括以下步骤：
3、s1，获取移动车辆以及搭载应用的运行状态，所述移动车辆的运行状态包括车辆的运行速度和位置；
4、s2，获取移动车辆以及搭载任务的上传时延；
5、s3，将运行状态和上传时延采用基于李雅普诺夫优化的dqn算法进行计算，得到任务调度的分配方法；
6、所述基于李雅普诺夫优化的dqn算法包括：
7、定义状态空间s＝{li,α}，其中li＝{locationxi(t),locationyi(t)}表明需要做出决策的应用程序当前所在车辆的二维坐标位置，α＝{α1(t),α2(t),...,αs+2(t)}表示本地服务器、rsu服务器和云服务器的当前准备完成的时间；动作空间为a＝{ρ1,ρ2,...,ρn}，其中ρi表明决策应用程序可以部署到的服务器，而应用程序所在的车辆需要在服务器的范围内。随后，智能体根据自己的策略从动作空间中选择一个动作，然后获得环境反馈的奖励；所述奖励与最大完成时间和运行成本有关，计算公式如下：
8、
9、
10、其中，rmakespan表示最大完成时间；
11、eti,k,s(a)表示服务器s执行任务ti,k的时延；
12、makespannew表示当前时隙t做出的决策情形下的系统最大完成时间；
13、makespanold表示前一个时隙t-1做出的决策情形下的系统最大完成时间；
14、rcost表示运行成本；
15、costworst表示所有决策可能性下最多的成本；
16、ps表示任务在服务器s上的执行成本；
17、costbest表示所有决策可能性下最少的成本；
18、δ(q(t))表示李亚普诺夫漂移。
19、进一步地，所述李亚普诺夫漂移δ(q(t))的计算公式如下：
20、δ(q(t))＝l(t+1)-l(t)
21、
22、其中，q(t)是当前系统负载状态的集合；
23、l(t+1)表示将来时隙t+1的李雅普诺夫队列；
24、l(t)表示时隙t的李雅普诺夫队列。
25、进一步地，所述智能体的个数为两个，分别为用于任务时延计算的主智能体和用于任务成本计算的辅助智能体，基于李雅普诺夫优化的dqn算法将两个智能体的训练结果相结合，得到最终的任务调度的分配方法。
26、进一步地，所述获取移动车辆以及搭载应用的运行状态，是通过车载应用对路侧单元rsu发起请求从而得到的，其中车载应用i对第j个rsu发起请求的条件应满足以下条件：
27、
28、其中，rj表示第j个rsu的覆盖半径；
29、rlx(j),rly(j)分别表示第j个rsu部署位置中的横坐标和纵坐标；
30、vlx(i),vly(i)分别表示第i辆车起始位置中的横坐标和纵坐标。
31、进一步地，所述上传时延包括：
32、获取第i个车辆上车载应用上的第j个任务的上传时延，如果任务ti,k选择在rsu服务器上执行，则上传时延为：
33、
34、
35、其中，表示任务ti,k传输到rsu服务器的上传时延；
36、ti,k表示车载应用i的第k个任务；
37、di,k表示任务ti,k的数据大小；
38、表示任务ti,k传输到rsu服务器的传输速率；
39、bv2e是车辆与rsu服务器之间的带宽；
40、pi表示车辆i的传输功率；
41、表示车辆i与第j个rsu之间的链路带宽；
42、n0表示噪声功率；
43、如果任务ti,k选择在集中式云上执行，则上传时延为：
44、
45、
46、其中，表示任务ti,k传输到集中式云的上传时延；
47、表示任务ti,k传输到集中式云的传输速率；
48、bv2c表示车辆与集中式云之间的带宽；
49、表示车辆i与第j个rsu之间的链路带宽。
50、进一步地，还包括：
51、s4，获得任务开始执行时间、执行时延，以及该服务器在该任务结束后的成本；
52、所述任务开始执行时间的计算公式为：
53、sti,k,s＝max{rti,k,ati,k,s}
54、
55、其中sti,k,s表示服务器s上的任务ti,k,s的开始时间；
56、ati,k,s代表服务器s最早可用于执行任务ti,k的时间；
57、rti,k表示每一个移动车辆中的计算任务ti,k获取其就绪时间；
58、pre(ti,k)代表当前任务的所有前置任务的集合；
59、ti,h表示在当前任务ti,k之前的前置任务；
60、rfti,h代表第i个移动车辆中所有在ti,k前执行的任务的真实完本文档来自技高网...
【技术保护点】
1.一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述李亚普诺夫漂移Δ(q(t))的计算公式如下：
3.根据权利要求1所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述智能体的个数为两个，分别为用于任务时延计算的主智能体和用于任务成本计算的辅助智能体，基于李雅普诺夫优化的DQN算法将两个智能体的训练结果相结合，得到最终的任务调度的分配方法。
4.根据权利要求1所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述获取移动车辆以及搭载应用的运行状态，是通过车载应用对路侧单元RSU发起请求从而得到的，其中车载应用i对第j个RSU发起请求的条件应满足以下条件：
5.根据权利要求1所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述上传时延包括：
6.根据权利要求1所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于
7.根据权利要求6所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，通过开始执行时间和执行时延，还可求得任务的完成时间FT：
8.根据权利要求6所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述服务器在该任务结束后的成本的计算涉及到任务执行成本，本地服务器、RSU服务器和云服务器中的任一种服务器的任务执行成本计算公式为：
9.根据权利要求6所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，其特征在于，所述获得任务开始执行时间、执行时延，以及该服务器在该任务结束后的成本，是基于以下优化公式的优化模型获得的：
10.根据权利要求9所述的一种基于李雅普诺夫优化的DQN算法的任务调度分配方法，所述优化公式的约束条件为：
...【技术特征摘要】
1.一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，其特征在于，所述李亚普诺夫漂移δ(q(t))的计算公式如下：
3.根据权利要求1所述的一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，其特征在于，所述智能体的个数为两个，分别为用于任务时延计算的主智能体和用于任务成本计算的辅助智能体，基于李雅普诺夫优化的dqn算法将两个智能体的训练结果相结合，得到最终的任务调度的分配方法。
4.根据权利要求1所述的一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，其特征在于，所述获取移动车辆以及搭载应用的运行状态，是通过车载应用对路侧单元rsu发起请求从而得到的，其中车载应用i对第j个rsu发起请求的条件应满足以下条件：
5.根据权利要求1所述的一种基于李雅普诺夫优化的dqn算法的任务调度分配方法，其特...
【专利技术属性】
技术研发人员：涂佳雪，蒋荣，谢禄江，夏云霓，段立，李柯沂，甘嵩，王文宽，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。