一种面向CPU/GPU服务器的自适应节能选择方法技术

本发明专利技术涉及异构计算技术领域，具体涉及一种面向CPU/GPU服务器的自适应节能选择方法，采用A3C算法对集群的任务分配进行优化，构建出基于A3C深度强化学习的节能调度算法，即EE

【技术实现步骤摘要】
一种面向CPU/GPU服务器的自适应节能选择方法


[0001]本专利技术涉及异构计算
，具体涉及一种面向CPU/GPU服务器的自适应节能选择方法。

技术介绍

[0002]在异构处理器系统中，一方面，可以根据不同任务的不同特征，选择合适的处理器，实现不同处理器的优势互补，从而能够以非常短的时间完成任务的执行。另一方面，在不断追求计算高性能以获得强大计算能力的过程中，大量的能量消耗已成为计算机发展中亟待解决的问题。
[0003]对于不同的任务及环境，一些针对特定场景的算法往往不能具有很好的可移植性，使得算法的节能效果大打折扣，甚至造成反效果。

技术实现思路

[0004]本专利技术的目的在于一种面向CPU/GPU服务器的自适应节能选择方法，旨在提出一种基于A3C深度强化学习的异构服务器集群节能调度方法，经过EE
‑
A3C算法对处理器频率进行适当的调整，自适应地对任务进行合理的分配，在保证效率的前提下实现最小化集群总能耗的目标。
[0005]为实现上述目的，本专利技术提供了一种面向CPU/GPU服务器的自适应节能选择方法，包括下列步骤：
[0006]将异构服务器集群的任务调度问题建模为马尔可夫决策过程；
[0007]结合异构服务器集群的特点对马尔可夫决策过程中的状态空间、动作空间和奖励函数进行详细的建模；
[0008]对最小化集群总能耗进行说明；
[0009]构建基于A3C深度强化学习的节能调度算法。
[0010]其中，将异构服务器集群的任务调度问题建模为马尔可夫决策过程，具体为使用状态s描述整个集群系统的情况，使用动作a描述任务的分配过程，在特定集群系统状态s下,使用动作a分配任务，可以产生一个奖励r并使得集群系统进入下一个新的状态，当集群系统工作完成后累加奖励计算得出回报，最后将任务调度问题表示为一个元组<S,A,P,R,γ>，即状态空间S，动作空间A，奖励函数R,状态转移概率P，折扣系数γ。
[0011]其中，在状态空间建模的过程中，状态空间S指观测到的环境状态，包括集群的状态和任务队列的状态和待分配任务状态；
[0012]在动作空间建模的过程中，动作空间A是智能体在与环境交互中所能选取的动作的集合，即可选任务分配方式的集合；
[0013]在奖励函数建模的过程中，集群环境中对应于每次任务分配完成后都会产生一个奖励，奖励函数R的主要由任务分配情况、开启服务器数量情况、集群总能耗情况决定，鼓励少开服务器、少能耗的任务分配。
[0014]其中，任务分配包括确定任务运行时的电压/频率配置问题和任务处理器分配问题，其中采用了DVFS策略解决任务运行时的电压/频率配置问题，采用处理器策略解决任务处理器分配问题。
[0015]其中，所述DVFS策略包括能耗优先策略、时限优先策略和能耗时限综合策略，所述能耗优先策略以最小化当前任务完成所需能耗为目标，而不考虑任务时限的影响，所述时限优先策略以完成任务为目标而不考虑节能效果，所述能耗时限综合策略综合考虑能耗和时限两方面的因素，适合计算资源不充裕也不紧张的场景。
[0016]其中，所述处理器策略包括首次适应策略、最小负载优先策略、偏好最小负载优先策略和后最小负载优先策略，所述处理器策略针对当前待分配的任务以及通过频率策略设定的电压/频率设置，将任务分配到合适的处理器上，实现更好的节能效果同时保证任务不会错过时限。
[0017]其中，所述最小化集群总能耗即优化目标，优化目标如公式所示：
[0018]min.E
cluster
[0019][0020]其中，E
cluster
为集群总能耗，J
i
表示第i个任务，约束条件s.t.满足即第i个任务的工作频率小于等于其时限(deadline)。
[0021]其中，所述基于A3C深度强化学习的节能调度算法包含一个全局的Actor
‑
Critic网络和若干个Worker，每个Worker都是一个完整的AC网络，包含了Actor网络、Critic网络以及一个本地的环境，可以并行运行，同时各自与本地环境进行交互学习。
[0022]本专利技术提供了一种面向CPU/GPU服务器的自适应节能选择方法，采用A3C算法对集群的任务分配进行优化，构建出基于A3C深度强化学习的节能调度算法，即EE
‑
A3C算法，其中通过A3C算法让多个线程并行执行，可以去除训练过程中过程转移样本之间的关联性，提高训练稳定性，减小对内存和GPU的要求，同时使用DVFS策略和处理器策略共同组成了任务分配方式，把所有可能的任务分配方式作为EE
‑
A3C算法的动作空间，通过不断地与环境交互学习，EE
‑
A3C算法能够针对不同类型的任务集环境，自适应地选取合适的任务分配方法以达到节能效果。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本专利技术的一种面向CPU/GPU服务器的自适应节能选择方法的流程示意图。
[0025]图2是本专利技术的任务运行时的电压/频率配置效率函数关系示意图。
[0026]图3是本专利技术的EE
‑
A3C算法的网络结构示意图。
[0027]图4是本专利技术的具体实施例中不同算法分组对比实验中A组纯CPU任务的能耗比较示意图。
[0028]图5是本专利技术的具体实施例中不同算法分组对比实验中B组偏CPU任务的能耗比较
示意图。
[0029]图6是本专利技术的具体实施例中不同算法分组对比实验中C组均衡任务的能耗比较示意图。
[0030]图7是本专利技术的具体实施例中不同算法分组对比实验中D组偏GPU任务的能耗比较示意图。
[0031]图8是本专利技术的具体实施例中不同算法分组对比实验中E组纯GPU任务的能耗比较示意图。
具体实施方式
[0032]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0033]为了使本领域技术人员对本专利技术的技术方案更加清晰的理解，先对本专利技术中的一些技术术语进行简要说明。
[0034](1)异构服务器(Heterogeneous Servers)：指使用CPU与GPU，FPGA，ASIC等多种处理器共同执行运算任务的服务器，常用于高性能计算，图形处理，机器学习等特殊用途，随着通用GPU处理器的不断发展成熟，目前云计算、人工智能等领域常用CPU/GPU异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向CPU/GPU服务器的自适应节能选择方法，其特征在于，包括下列步骤：将异构服务器集群的任务调度问题建模为马尔可夫决策过程；结合异构服务器集群的特点对马尔可夫决策过程中的状态空间、动作空间和奖励函数进行详细的建模；对最小化集群总能耗进行说明；构建基于A3C深度强化学习的节能调度算法。2.如权利要求1所述的面向CPU/GPU服务器的自适应节能选择方法，其特征在于，将异构服务器集群的任务调度问题建模为马尔可夫决策过程，具体为使用状态s描述整个集群系统的情况，使用动作a描述任务的分配过程，在特定集群系统状态s下,使用动作a分配任务，可以产生一个奖励r并使得集群系统进入下一个新的状态，当集群系统工作完成后累加奖励计算得出回报，最后将任务调度问题表示为一个元组<S,A,P,R,γ>，即状态空间S，动作空间A，奖励函数R,状态转移概率P，折扣系数γ。3.如权利要求2所述的面向CPU/GPU服务器的自适应节能选择方法，其特征在于，在状态空间建模的过程中，状态空间S指观测到的环境状态，包括集群的状态和任务队列的状态和待分配任务状态；在动作空间建模的过程中，动作空间A是智能体在与环境交互中所能选取的动作的集合，即可选任务分配方式的集合；在奖励函数建模的过程中，集群环境中对应于每次任务分配完成后都会产生一个奖励，奖励函数R的主要由任务分配情况、开启服务器数量情况、集群总能耗情况决定，鼓励少开服务器、少能耗的任务分配。4.如权利要求3所述的面向CPU/GPU服务器的自适应节能选择方法，其特征在于，任务分配包括确定任务运行时的电压/频率配置问题和任务处理器分配问题，其中采用了DVFS策略解决任务运行时的电压/...

【专利技术属性】
技术研发人员：敬超，李佳明，邱斌，胡君达，陈文鹏，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：