一种基于强化学习的云平台资源调度策略制造技术

本发明专利技术属于云平台资源调度领域，公开了一种基于强化学习的云平台资源调度方法，包括：构建基于强化学习的云平台资源调度策略架构；改良Q

【技术实现步骤摘要】
一种基于强化学习的云平台资源调度策略


[0001]本专利技术属于云平台资源调度领域，尤其涉及一种基于强化学习的云平台资源调度方法。

技术介绍

[0002]本专利技术涉及到的云平台资源调度策略一直以来都是云环境数据中心的主要研究方向，是学术界和产业界热衷于研究的热点。近年来，随着云计算的规模逐渐扩大，越来越多的高性能计算和大数据应用都依赖于云计算。云计算为需要大量计算和存储的应用或企业提供了底层的基础底层设施，例如：城市管理、生物医学、物流行业、智能交通等都普遍使用和推广都和云计算有着不可分割的密切关系。随着云计算与各行各业的关系愈发紧密，云用户对云服务的质量要求也抱着严格的态度，特别是一些需要实时性和低延迟的业务更要求云服务提供非常可靠的质量保证。但是随着大规模数据中心的不断升级和其本身存在的异构性，导致云计算中的资源调度问题成为了当前阻挡云计算发展的重要因素。资源调度指的是在云环境下，以多用户的多资源需要和云计算系统的可用资源为基础，为同时到达的用户分配虚拟机资源和决定资源调度的顺序。这个问题是一个涉及到多资源多类的NP<br/>‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强化学习的云平台资源调度策略，其特征在于，所述基于强化学习的云平台资源调度策略包括以下步骤：步骤一，构建基于强化学习的云平台资源调度策略架构；步骤二，改良Q
‑
leaning算法，使用改良的Q
‑
leaning算法对值函数进行优化；步骤三，预处理任务，更新值函数表，得到最优策略；步骤四，决策动态调整，用于细粒度动态调度任务以适应云环境的大规模需要，实现云平台资源动态调度。2.如权利要求1所述的基于强化学习的云平台资源调度策略，其特征在于，所述架构包括：状态空间：建立状态空间S，云平台资源自动调度要解决的问题是寻找到一个最佳的虚拟机来执行任务，所以状态空间可表示为：S＝(1，0，...，1)代表第一个虚拟机目前被一个任务占用，第二个虚拟机空闲，最后一个虚拟机被一个任务占用。动作空间：根据n个任务的请求，我们将模型动作空间设为：代表着第n个任务请求被第m个虚拟机所执行。奖惩函数：决策动作好坏的重要衡量标准。能耗是衡量资源调用的一个重要的单位，而能耗同时受限于计算节点的资源利用率，所以兼顾到提高资源利用率和降低能耗的这两个方面，可以设奖惩函数r的计算公式为：其中i代表第i个物理机，该物理机上有i_local个虚拟机，j代表该物理机上的第j个虚拟机，u
i，j
代表第i个物理机上第j个虚拟机的利用率，averw
j
代表任务在虚拟机j上的平均等待时间。如果任务被分配给一个虚拟机后，该物理机上的平均利用率比其他的高，并且该虚拟机的平均等待时间比其他的低，那么该调度程序将获得奖励，如果没有满足上述条件，则受到惩罚，其他为0。3.如权利要求1所述的基于强化学习的云平台资源调度策略，其特征在于，所述改良Q
‑
leaning算法，使用改良的Q
‑
leaning算法对值函数进行优化包含：在原本值函数上进行修改，将其优化成Q
(t+1)
(s
t
，a
t
)＝(1
‑
α)Q
(t)
(s
t
，a
t
)+α[r+γmaxQ
(t)
(s
’
，a
’
...

【专利技术属性】
技术研发人员：裴春红，王志明，张烜，
申请(专利权)人：山西西电信息技术研究院有限公司，
类型：发明
国别省市：