【技术实现步骤摘要】
本专利技术属于通信领域，尤其涉及一种网络系统中的动态任务分配方法和系统。
技术介绍
1、电网项目各个运营环节的推进过程中融入生态环保理念，实现环保智慧管控的数字化和智能化水平是我国对电网建设的发展要求。研究电网项目中端边云系统的动态任务分配与资源管理调度问题具有重要意义。在端边云系统中，最小化任务服务延迟的情况下满足云服务器负载最低是一个np难问题，设计启发式的算法去解决这样的问题是过去数十年常用的方法。
2、然而近年来电网项目中涉及到数据量越来越大，数据类型越来越丰富多样，导致问题模型的求解方式不能适用于其他场景，于是基于深度强化学习的思路被引入到问题的求解。通过设计合适的深度强化学习系统架构，利用实际数据进行神经网络的训练，从而得到问题的解。然而目前大多数基于深度强化学习的方法无法保证获得的解是最优解，且无法实现服务器的负载均衡。仅有少量的研究基于博弈论的思想去实现负载均衡，但是这些研究涉及到的算法结构复杂且难以满足其他性能指标的问题。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种网络系统中的动态任务分配方法和系统。
2、本专利技术的技术方案如下：
3、一种网络系统中的动态任务分配方法，用于对网络系统接收到的任务进行动态分配，包括
4、构建由至少1个云服务器和与所述云服务器连接的m-1个边缘服务器组成的端边云系统环境，并构建以边缘服务器任务负载差异程度和任务平均服务延时的加权平均值最低为目标的神经网络模型；所述端边云系
5、基于深度强化学习算法，以随机生成的任务在线训练所述神经网络模型；
6、以训练完成的神经网络模型对网络系统接收到的任务进行在线动态调度分配。
7、进一步地，所述神经网络模型包括分别对应云服务器以及边缘服务器的m个用于任务调度的智能体。
8、进一步地，所述端边云系统中的任意两个边缘服务器之间进行相关于任务状态的通信连接。
9、进一步地，所述神经网络模型包括用于估计任务平均服务延时的任务平均服务延时网络以及根据任务状态和任务平均服务延时任务输出调度策略的任务调度策略网络。
10、进一步地，所述任务平均服务延时的计算公式如下
11、
12、
13、0<uk≤1,k＝1,2,...,t
14、式中，ψ(t)为末端延迟；t为末端时间；
15、f为服务迁移判断符；li(k)为k时刻的服务迁移时间；下标i表示第i个任务，i∈[1,n]，n为任务总数；f＝|χi(k)-χi(k+1)|，若f＝0，则k时刻的服务迁移时间li(k)为0；若f＝1，则k时刻的服务迁移时间li(k)将由k时刻的数据传输时间k时刻的数据传播时间和k时刻的网络拥塞时间组成，即
16、
17、与分别为k时刻的任务数据量和结果量；为k时刻原服务器与目标服务器之间的数据传输速率；vb为光线传输速度；为服务迁移目标服务器传输链路的负载；为服务迁移目标服务器的拥塞阈值；
18、χi(k)和χi(k+1)分别为第i个任务在k时刻和k+1时刻所在的服务器位置概率分布，为第i个任务发送到边缘服务器j的概率，j＝1,2,…,(m-1)，为第i个任务发送到云服务器的概率；
19、cli(k)为k时刻的任务计算延迟，
20、uk为k时刻的任务调度策略。
21、进一步地，所述任务平均服务延时计算公式通过gumble-softmax函数进行概率分布的转换；
22、转换后，所述任务状态采用n×(m+1)维的矩阵，k时刻的所有任务的传输延迟为lf(k)＝[(1-a)skb1+as0b1]tu(sk)r(ska)te；
23、任务传播延迟为lg(k)＝[(1-a)skb1+as0b1]tu(sk)d(ska)te；
24、网络拥塞延迟为c(k)＝[(1-a)skb1+as0b1]tu(sk)k(ska)te；
25、任务计算延迟为cl(k)＝etu(sk)g；
26、任务状态方程为f(sk,uk)＝sk+1＝skb+u(sk)m；
27、式中，r为边缘服务器和云服务器之间的数据传输速率矩阵；d为端边云系统环境的传输距离矩阵；k为端边云系统环境的网络拥塞矩阵；a为任务的结果量与处理的数据量之间的比例系数；b1为一个m+1维的常数列向量，b1＝[1,0,...,0]t；e为一个n维常数列向量，e＝[1,1,...,1]t；a,b,m是均为m×m+1维常数矩阵；
28、
29、所述任务平均服务延时的计算公式转换为下述离散时间的哈密顿雅各比贝尔曼方程：
30、
31、
32、进一步地，转换后，所述任务状态包括任务的数据量以及任务所在的服务器位置的概率分布。
33、进一步地，所述神经网络模型采用sac系统架构，分别对所述任务平均服务延时网络和所述任务调度策略网络进行估计网络和目标网络的划分，将所述任务平均服务延时网络划分成包括任务平均服务延时估计网络和目标任务平均服务延时网络，将所述任务调度策略网络划分成任务调度策略估计网络和目标任务调度策略网络。
34、进一步地，所述基于深度强化学习算法，以随机生成的动态任务在线训练所述神经网络模型中的智能体的具体步骤包括：
35、1)初始化端边云系统环境参数、神经网络模型参数、深度强化学习算法的参数和任务状态，并设置总训练轮数epochs且令当前训练轮数epoch＝1，每轮训练的当前时刻k＝0；
36、所述神经网络模型参数包括任务调度策略估计网络的参数、目标任务调度策略网络的参数、任务平均服务延时估计网络的参数、目标任务平均服务延时网络的参数和目标任务调度策略网络以及目标任务平均服务延时网络的软更新参数；
37、所述深度强化学习算法的参数包括反馈值折扣因子、策略权衡因子和加权因子；
38、2)令当前时刻k＝k+1并进行经验收集，使当前时刻的任务调度策略与当前时刻的任务状态下任务调度策略估计网络的输出相等，得到当前时刻的端边云系统环境输出以及下一时刻的任务状态，令当前时刻的任务调度与下一时刻的任务调度之间的间隔为一次任务调度间隔；
39、3)根据下一时刻的任务状态获取下一时刻的任务服务延时，再基于当前时刻的端边云系统环境输出，计算当前时刻的目标任务服务延时，计算公式如下：
40、
41、q(s(k),u(k))＝r(s(k),u(k))+γes(k+1)[v(s(k+1))]
42、式中，αlogπ(uk+1/sk+1)为第k+1时刻的任务调度策略的交叉熵；
43、v本文档来自技高网...
【技术保护点】
1.一种网络系统中的动态任务分配方法，用于对网络系统接收到的任务进行动态分配，其特征在于：包括
2.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述神经网络模型包括分别对应云服务器以及边缘服务器的m个用于任务调度的智能体。
3.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述端边云系统中的任意两个边缘服务器之间进行相关于任务状态的通信连接。
4.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述神经网络模型包括用于估计任务平均服务延时的任务平均服务延时网络以及根据任务状态和任务平均服务延时任务输出调度策略的任务调度策略网络。
5.根据权利要求4所述的网络系统中的动态任务分配方法，其特征在于：所述任务平均服务延时的计算公式如下
6.根据权利要求5所述的网络系统中的动态任务分配方法，其特征在于：所述任务平均服务延时计算公式通过gumble-softmax函数进行概率分布的转换；
7.根据权利要求6所述的网络系统中的动态任务分配方法，其特征在于：转换后，所述任务状
8.根据权利要求6所述的网络系统中的动态任务分配方法，其特征在于：所述神经网络模型采用SAC系统架构，分别对所述任务平均服务延时网络和所述任务调度策略网络进行估计网络和目标网络的划分，将所述任务平均服务延时网络划分成包括任务平均服务延时估计网络和目标任务平均服务延时网络，将所述任务调度策略网络划分成任务调度策略估计网络和目标任务调度策略网络。
9.根据权利要求8所述的网络系统中的动态任务分配方法，其特征在于：所述基于深度强化学习算法，以随机生成的动态任务在线训练所述神经网络模型中的智能体的具体步骤包括：
10.一种网络系统中的动态任务分配系统，用于对网络系统接收到的任务进行动态分配，其特征在于：包括构建模块、训练模块和分配模块；
...【技术特征摘要】
1.一种网络系统中的动态任务分配方法，用于对网络系统接收到的任务进行动态分配，其特征在于：包括
2.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述神经网络模型包括分别对应云服务器以及边缘服务器的m个用于任务调度的智能体。
3.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述端边云系统中的任意两个边缘服务器之间进行相关于任务状态的通信连接。
4.根据权利要求1所述的网络系统中的动态任务分配方法，其特征在于：所述神经网络模型包括用于估计任务平均服务延时的任务平均服务延时网络以及根据任务状态和任务平均服务延时任务输出调度策略的任务调度策略网络。
5.根据权利要求4所述的网络系统中的动态任务分配方法，其特征在于：所述任务平均服务延时的计算公式如下
6.根据权利要求5所述的网络系统中的动态任务分配方法，其特征在于：所述任务平均服务延时计算公式通过gumble-so...
【专利技术属性】
技术研发人员：胡余文，胡亚山，翟晓萌，仓敏，王球，王静怡，程曦，吴霜，孙海森，诸德律，薛磊，刘剑，武永宝，贾玉斌，
申请(专利权)人：国网江苏省电力有限公司经济技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。