一种最大化资源利用率的在离线任务调度方法技术

本发明专利技术公开了一种最大化资源利用率的在离线任务调度方法，属于云计算应用、计算机技术、绿色计算领域。本发明专利技术针对目前资源利用率低，以及在调度流程中仅考虑当下资源使用量，而未加入未来资源使用量等不足，提出了一种最大化资源利用率的在离线任务调度方法。采用资源预测方法，在当下调度时间点同时考虑未来资源浪费量，并通过可性度指标适量扩大资源需求预测值，提高调度任务未来运行成功率。采用启发式与搜索剪枝的方法，在针对大量服务器状态的搜索中减少搜索次数，更快的到达搜索目标。本方法通过设定结束条件，可以更快的输出调度结果，并保证结果的优异性。本方法尤其适用于将离线任务调度到已有在线任务的集群中。将离线任务调度到已有在线任务的集群中。将离线任务调度到已有在线任务的集群中。

【技术实现步骤摘要】
一种最大化资源利用率的在离线任务调度方法


[0001]本专利技术涉及一种在数据中心中最大化资源利用率的在离线任务调度方法，属于云计算应用、计算机技术、绿色计算领域。

技术介绍

[0002]大规模数据中心是当今企业级互联网应用和云计算系统的关键支撑。为保障日益增长的互联网应用和云计算系统的计算需求，数据中心需要不断扩容，其规模和服务器总量呈现快速增长趋势。对于不同的企业用户与个人用户，其对于数据中心的需求是有差异的。企业用户偏向于在数据中心部署其开发的云应用等，个人用户则偏向于AI模型训练等。同时企业用户也和个人用户一样具有一定的大模型训练等需求，其相比个人用户来说会占用更多的资源。
[0003]从用户对数据中心的提交任务来区分，可分为两类任务，一类为在线任务，如企业所布置的云应用，另一类则为离线任务，如AI模型训练任务。并且这两类任务特征相差很大。
[0004]在线任务需要持续部署在数据中心里，时刻占据数据中心的一定资源以等待处理对应企业用户的目标客户提交的请求，但由于现实中的多种因素如上下班等，这些目标客户在一天内提交的请求数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种最大化资源利用率的在离线任务调度方法，其特征在于，所述方法包括以下步骤：A.预处理阶段：确定任务在容器的运行时间，服务器比对时间窗口，确定预测资源可性度并据此修正任务资源预测值，获取到达分布预测模型与时间分布测模型，确定两个模型的容忍值以及资源浪费值与时间浪费值上界；最后确定比较服务器的模型，建立等待搜索队列，搜索完成队列，并初始化最佳服务器；B.调度阶段：从等待搜索队列中选取比较服务器，与任务资源值匹配，如资源不足，则进入完成搜索队列，重新选取比较服务器，否则计算优先级，与模型和结束条件比较，确定是否完成搜索，如搜索结束，返回最佳服务器，否则确定该服务器是否结束搜索完成，若完成则进入完成搜索队列，否则进入等待搜索队列，并根据优先级排序，优先级大的服务器在前。2.根据权利要求1所述的一种最大化资源利用率的在离线任务调度方法，其特征在于，所述预处理阶段具体步骤如下：A1.确定任务在容器的运行时间D
t
，在线任务的运行时间以24小时为时间窗口计算；离线任务的运行时间通过下列方式确定：A101.如存在相似离线任务的记录，则取该时间为离线任务运行时间；A102.离线任务在单独的服务器上运行一分钟，确定一分钟内处理的速度，并根据总任务量预计运行时间；A2.确定服务器比对时间窗口N
t
，在线任务的比对时间窗口为24小时；离线任务的比对时间窗口从调度开始时间至离线任务截止期；A3.分别将预处理容器资源与服务器剩余资源数据聚合为24块，每块代表时长一小时内资源预测最高值，确定预处理后的资源序列；A4.确定预测资源可信度α，根据预测时间点距离当前时间点越远可信度越低的原则，增加容器资源序列中不同预测时间点的资源值，调整预测资源值为(1+αt)；A5.根据离线任务的到达情况建立到达分布预测模型β，该预测模型横坐标为离线任务资源需求量，纵坐标为到达概率；根据离线任务的运行时长建立运行时间分布预测模型γ，该预测模型横坐标为离线任务运行时间长度，纵坐标为到达概率；每小时分别更新两个模型一次；A6.确定资源浪费容忍值p
γ
，当浪费的任务运行时间长度在γ模型中对应的纵坐标y
γ
＞p
γ
时，该浪费被视为可接受，否则为不可接受；A7.确定确定资源浪费上界，分别为时间浪费值w
t
与资源浪费值w
r
；A8.建立搜索完成队列并初始化为空，建立等待搜索队列并将所有服务器加入其中，建立并初始化最佳服务器。3.根据如权利要求2所述的最大化资源利用率的在离线任务调度方法，其特征在于，B.调度阶段：具体包括以下步骤：B1.从等待搜索队列...

【专利技术属性】
技术研发人员：王爽，袁子安，李小平，陈龙，朱夏，
申请(专利权)人：东南大学，
类型：发明
国别省市：