A scaling device for scaling multiple processing units. The scaling device includes: a learning unit for determining multiple Q values of multiple scaling actions in a given state of multiple processing units; a combining unit for combining a subset of the multiple Q values to obtain the combined Q values and storing the combined Q values and corresponding combined scaling actions in a database; and a control unit for controlling the plurality of processing units based on the said number. The database performs the preferred zooming action.
【技术实现步骤摘要】
【国外来华专利技术】用于云自动缩放应用的动作空间缩减
本专利技术涉及一种缩放设备和一种用于缩放多个处理机的方法。本专利技术还涉及一种存储程序代码的计算机可读存储介质，该程序代码包括用于执行这种方法的指令。
技术介绍
在强化学习中，存在一个与系统(环境)进行交互的代理，其施加动作并测量系统响应，从而最大化长期回报函数。学习环境提供的回报函数的值用于评估动作的质量，而不是告知代理正确的动作。由于外部环境提供的信息很少，强化学习必须依靠自身的经验来学习。通过这种方式，强化学习从动作回报评估环境中获得知识，并改进行动计划以适应环境。Q学习是强化学习中的经典算法之一，它是一种无模型学习算法。其一个重要的应用为在数据中心的自适应资源调度领域(也称为自动缩放)。自动缩放可以指数据中心根据应用负载变化实时调整(例如增加、减少和保持)当前处理单元(例如物理机器、虚拟机和容器等)的数量、或每个处理单元的分配或应用的数据中心的重配置的能力。在保证有效满足应用的服务水平协议(servicelevelagreement，简称SLA)的情况下(例如，保持满足系统平均响应时间的机器数量最少)，目标可以包括增加应用...
【技术保护点】
1.一种用于缩放多个处理单元的缩放设备(100)，其特征在于，所述缩放设备包括：学习单元(110)，用于确定多个处理单元的给定状态下多个缩放动作的多个Q值；合并单元(120)，用于合并所述多个Q值的子集以获得合并的Q值并将所述合并的Q值和对应的合并缩放动作存储在数据库中；以及控制单元(130)，用于控制所述多个处理单元基于所述数据库执行优选的缩放动作。
【技术特征摘要】
【国外来华专利技术】1.一种用于缩放多个处理单元的缩放设备(100)，其特征在于，所述缩放设备包括：学习单元(110)，用于确定多个处理单元的给定状态下多个缩放动作的多个Q值；合并单元(120)，用于合并所述多个Q值的子集以获得合并的Q值并将所述合并的Q值和对应的合并缩放动作存储在数据库中；以及控制单元(130)，用于控制所述多个处理单元基于所述数据库执行优选的缩放动作。2.根据权利要求1所述的缩放设备(100)，其特征在于，所述合并缩放动作是所述多个Q值的所述子集对应的所述多个缩放动作的子集中的资源使用率最小的缩放动作。3.根据权利要求1或2所述的缩放设备(100)，其特征在于，所述合并单元用于通过确定相似的Q值，特别是通过确定距离低于预定阈值的Q值，来确定所述多个Q值的所述子集。4.根据上述权利要求任一项所述的缩放设备(100)，其特征在于，所述合并单元(120)用于通过对所述多个Q值进行聚类来确定所述多个Q值的所述子集。5.根据上述权利要求任一项所述的缩放设备(100)，其特征在于，所述合并单元(120)用于：从所述多个Q值中确定最佳Q值和对应的最佳缩放动作；确定比所述最佳缩放动作资源利用率低的第一相邻缩放动作相对应的第一相邻Q值和比所述最佳缩放动作资源利用率高的第二相邻缩放动作相对应的第二相邻Q值；以及将所述最佳Q值、所述第一相邻Q值和所述第二相邻Q值存储在所述数据库中。6.根据上述权利要求任一项所述的缩放设备(100)，其特征在于，还包括聚合单元，用于确定包括单个动作的序列的超级动作。7.根据权利要求6...
【专利技术属性】
技术研发人员：夏伊·霍罗威茨，亚伊·阿里安，郑淼，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。