一种面向云-边-端场景的任务调度方法技术

本发明专利技术公开了一种面向云

【技术实现步骤摘要】
一种面向云
‑
边
‑
端场景的任务调度方法


[0001]本专利技术属于通信
，具体涉及一种面向云
‑
边
‑
端场景的任务调度方法。

技术介绍

[0002]在数据流量的爆发式增长下，云
‑
边协同受到了研究人员的广泛关注，Kubernetes(K8s)作为容器的编排管理工具，正在成为连接云
‑
边的关键技术，但其默认的调度策略仅仅根据节点是否满足Pod部署的最低需求，因此不适合复杂的云
‑
网
‑
边系统。目前大多数任务请求调度方案依赖于服务响应时间、网络波动、请求到达模式等的准确建模或预测，但整个系统的负载均衡与系统的吞吐量是相关的。
[0003]现有技术中的一种保障边云负载比的边云协同多任务调度方法和系统，该方案以完成多任务同时调度并将边云负载比作为参数加入到目标函数中以保证调度结果的边云负载比，但该方案不能有效保证系统的吞吐量最大化，并且实施起来复杂度较高。现有技术中可以解决端边资源调度中应用无法在执行要求时限下完成以及能耗较大的问题，但该技术没有考虑负载均衡的条件，并且没有较好地实现端边任务的合理调度。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种面向云
‑
边
‑
端场景的任务调度方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]一种面向云
‑/>边
‑
端场景的任务调度方法，应用于云服务器端，将用户的任务请求部署成K8s中的Pod，包括以下步骤：
[0006]步骤一，初始化DDQN神经网络的Q网络参数θ1；
[0007]步骤二，对任意一个接入点b，将所述接入点b的Q网络参数θ
i
赋值给Q网络；接入点数量有M个，所述接入点的集合为P＝{1,2,3,
…
,b,
…
,M}；所述接入点包括基站和/或无线接入点；
[0008]步骤三，根据所述接入点b的状态s
i
和接入点b的动作a
i
进行训练并更新Q值，得到多个Q值；
[0009]其中，s
i
＝[CPU,RAM,type]，CPU,RAM表示与所述接入点b所连接的边缘服务器当前可用的CPU资源和RAM资源，type表示Pod的类型，类型包括时延敏感型和非时延敏感型，动作a
i
表示与所述接入点b相连接的服务器的索引；所述接入点b的动作集为：Actions
b
＝[0,1,2,3,
…
,a
i
,
…
,X
‑
1,X]，[0～X
‑
1]表示与接入点b相连接的边缘服务器的索引，X表示云服务器的索引；
[0010]步骤四，确定使Q值最大的状态s
i
作为目标状态；
[0011]步骤五，将目标状态输入DDQN神经网络中，输出Pod选择部署在边缘服务器和云服务器的概率集；其中，概率集与所述动作集相对应；
[0012]步骤六，选择概率集中概率最大值对应的动作的服务器作为目标部署服务器，将Pod部署在目标部署服务器上。
[0013]在本专利技术的一个实施例中，所述步骤三的具体步骤包括：
[0014]输入训练选取的预设数据样本组数、预设最大训练步数，经验池的存储量，预设最大幕数和预设拷贝周期；
[0015]进行第一步训练，将所述接入点b的状态s
i
输入到Q网络中得到接入点b的动作a
i
：
[0016]将所述状态s
i
和所述动作a
i
输入到target Q网络中，根据奖励函数得到对应的奖励r
i
和下一个状态s
i+1
；
[0017]奖励函数为其中，BL
t
表示服务器集群的负载均衡程度，且v＝0.5表示整个服务器集群的负载程度为0；
[0018]将(s
i
,a
i
,r
i
,s
i+1
)存储到经验池中；
[0019]当经验池中存储的数据的组数大于或等于p时，从经验池中随机抽取p组数据，否则进行第二步训练；
[0020]若训练步数等于预设最大训练步数K，且经验池中存储的数据的组数小于p，则执行步骤二进行幕数为2的训练，以此类推，直至经验池中存储的数据的组数大于或等于p；
[0021]当训练步数为预设拷贝周期L的整数倍时，将Q网络参数θ
i
值赋给target Q网络的参数并根据随机抽取的p组数据和公式(1)更新Q值；
[0022][0023]α表示学习率；r
i+1
表示下一个状态s
i+1
对应的奖励；γ表示折扣因子，取值范围为[0,1]，折扣因子衡量奖励对状态的影响；a
i+1
表示下一个动作，
[0024]根据随机抽取的p组数据和公式(2)更新Q网络参数θ
i
得到任意一个接入点b的Q网络更新参数θ
i+1
；
[0025][0026]将Q网络更新参数θ
i+1
上传到云服务器计算M个接入点的联邦平均参数θ'；
[0027]将联邦平均参数θ'赋值给Q网络，重复执行多轮训练，更新得到多个Q值。
[0028]本专利技术的有益效果：
[0029]本专利技术采用联邦学习和深度强化学习来实现云
‑
网
‑
边资源调度，构建负载均衡为约束条件，以完成任务调度的数量为优化目标，实现云
‑
边
‑
端任务的合理调度，提高多维资源的高效使用。
[0030]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0031]图1是本专利技术实施例提供的一种面向云
‑
边
‑
端场景的任务调度方法的云
‑
边
‑
端场景系统示意图；
[0032]图2是本专利技术实施例提供的DDQN网络架构示意图；
[0033]图3是本专利技术实施例提供的DDQN中Q网络和target Q网络的结构；
[0034]图4是本专利技术实施例提供的云服务器和边缘服务器的定义的代码示例；
[0035]图5是对接入点进行单独的DDQN算法训练和将该接入点加入到本专利技术算法训练结果示意图。
具体实施方式
[0036]下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。
[0037]资源调度即接入点(基站/无线接入点)将用户的任务请求派送到边缘节点和云计算节点。本专利技术将任务请求部署成K8本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向云
‑
边
‑
端场景的任务调度方法，其特征在于，应用于云服务器端，将用户的任务请求部署成K8s中的Pod，包括以下步骤：步骤一，初始化DDQN神经网络的Q网络参数θ1；步骤二，对任意一个接入点b，将所述接入点b的Q网络参数θ
i
赋值给Q网络；接入点数量有M个，所述接入点的集合为P＝{1,2,3,
…
,b,
…
,M}；所述接入点包括基站和/或无线接入点；步骤三，根据所述接入点b的状态s
i
和接入点b的动作a
i
进行训练并更新Q值，得到多个Q值；其中，s
i
＝[CPU,RAM,type]，CPU,RAM表示与所述接入点b所连接的边缘服务器当前可用的CPU资源和RAM资源，type表示Pod的类型，类型包括时延敏感型和非时延敏感型，动作a
i
表示与所述接入点b相连接的服务器的索引；所述接入点b的动作集为：Actions
b
＝[0,1,2,3,
…
,a
i
,
…
,X
‑
1,X]，[0～X
‑
1]表示与接入点b相连接的边缘服务器的索引，X表示云服务器的索引；步骤四，确定使Q值最大的状态s
i
作为目标状态；步骤五，将目标状态输入DDQN神经网络中，输出Pod选择部署在边缘服务器和云服务器的概率集；其中，概率集与所述动作集相对应；步骤六，选择概率集中概率最大值对应的动作的服务器作为目标部署服务器，将Pod部署在目标部署服务器上。2.根据权利要求1所述的一种面向云
‑
边
‑
端场景的任务调度方法，其特征在于，所述步骤三的具体步骤包括：输入训练选取的预设数据样本组数...

【专利技术属性】
技术研发人员：赵力强，赵春宇，李因新，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：