一种支持用户QoS感知的深度学习任务调度方法技术

本发明专利技术涉及一种支持用户QoS感知的深度学习任务调度方法。解决QoS资源配置之间冲突问题，提高资源利用率问题。本方法包括离线任务分析评估和在线实时任务调度两个部分。离线任务评估是对用户提交的深度学习模型进行评估和分析，通过分析任务的性能，并构建离线的性能预测模型。在线实时任务调度，基于性能预测模型，决定任务的执行顺序和放置策略，完成调度和执行的过程。本方法可以对深度学习任务进行轻量级的离线评估，在保证用户QoS的前提下，最大化提高数据中心集群的资源利用效率。

A deep learning task scheduling method supporting user QoS awareness

【技术实现步骤摘要】
一种支持用户QoS感知的深度学习任务调度方法
本专利技术涉及任务资源调度领域，具体涉及一种支持用户QoS感知的深度学习任务调度方法。
技术介绍
随着深度学习技术不断发展成熟，在越来越多的人工智能应用中发挥着重要作用。以谷歌、微软、阿里、腾讯等为首的国内外互联网公司纷纷对外公开宣布将人工智能作为下一个战略核心。而在这些公司面向用户提供大量的服务和应用背后，都是深度学习技术作为支撑。因此在各个公司内部，除了开发各自的深度学习工具之外，也需要自建的数据中心来为大量的模型训练和验证提供足够的硬件保障。为了保证多个深度学习任务的开发效率的同时，尽可能提高数据中心的利用效率对于任务调度来说是一个极大的挑战。现有的数据中心基本上都是采用CPU+GPU的异构架构，同时采用通用调度方法来进行资源和任务管理。通用调度方法的优点是通用性强，能够适应各种大数据任务，但是缺点是忽略了任务本身的领域特征，容易导致资源的过度分配而使得资源利用效率较低。尤其是在深度学习技术和应用研发过程中，用户往往会对QoS有更加严格的要求，任务调度方法还需要尽可能满足多个用户任务的本文档来自技高网...

【技术保护点】
1.一种支持用户QoS感知的深度学习任务调度方法，包括离线任务分析评估和在线实时任务调度两个部分，离线任务评估是对用户提交的深度学习模型进行评估和分析，通过分析任务的性能，构建离线的性能预测模型；在线实时任务调度，基于上述的性能预测模型，实时监控系统当前的负载情况，结合用户提交的任务QoS，决定任务的执行顺序和放置策略，完成调度和执行的过程，其特征在于，/n具体步骤如下：/nA.提交网络模型文件以及相关应用参数信息，由任务调度器进行分析和识别，计算出最优放置策略之后，由调度器直接将任务调度到指定节点和加速器上进行执行，不需要进行人工干预；/nB. 离线评估与性能预测模型构建，对于第一次提交的深...

【技术特征摘要】
1.一种支持用户QoS感知的深度学习任务调度方法，包括离线任务分析评估和在线实时任务调度两个部分，离线任务评估是对用户提交的深度学习模型进行评估和分析，通过分析任务的性能，构建离线的性能预测模型；在线实时任务调度，基于上述的性能预测模型，实时监控系统当前的负载情况，结合用户提交的任务QoS，决定任务的执行顺序和放置策略，完成调度和执行的过程，其特征在于，
具体步骤如下：
A.提交网络模型文件以及相关应用参数信息，由任务调度器进行分析和识别，计算出最优放置策略之后，由调度器直接将任务调度到指定节点和加速器上进行执行，不需要进行人工干预；
B.离线评估与性能预测模型构建，对于第一次提交的深度网络模型，分别测试不同应用参数和不同的划分放置策略下的任务执行性能，并构建多项式拟合的性能预测模型，对于之前离线评估过的模型，直接从已有的模型数据库中调用构建好的性能预测模型，不需要再进行离线过程；
C.提出轻量级的评估策略，
D.在线实时任务调度。

【专利技术属性】
技术研发人员：陈照云，全巍，罗磊，文梅，曹壮，沈俊忠，张春元，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43