【技术实现步骤摘要】
本专利技术涉及gpu调度领域，具体而言，涉及一种图形处理器调度方法、系统、设备及存储介质。
技术介绍
1、在深度学习训练等高计算需求的场景中，图形处理器(gpu)的使用率和调度是一个重要的问题。现有的gpu调度方法主要基于先来先服务或者根据任务的优先级来进行，现有的gpu调度方法不能有效解决共享gpu时的资源利用问题，这是因为许多任务由于中央处理器(cpu)和gpu通信的问题，不会把整个gpu使用完，导致gpu资源的浪费。
技术实现思路
1、本专利技术提供一种图形处理器调度方法、系统、设备及存储介质，解决多任务共享gpu时，如何调度更多任务以有效提升gpu使用率，并且不过度影响现有任务的运行，不会显著延长任务完成时间(jct)的问题。
2、在第一方面，本专利技术实施例中提供一种图形处理器调度方法，所述方法流程如下：
3、基于原有的任务源码以及gpu使用情况进行模型训练，以得到gpu使用情况预测模型，其中，原有的任务源码作为模型训练的特征，原有的gpu使用情况作为模型训练的标签；
4、基于gpu使用情况预测模型对现有的运行任务、待调度任务进行gpu使用情况预测，以得到gpu使用情况的预测结果；
5、基于gpu使用情况的预测结果以及自定义策略进行任务调度方案制定，以得到任务调度方案；
6、基于任务调度方案进行任务调度评估。
7、于上述实施例中，基于训练模型获取gpu使用情况的预测结果，并且通过对预测结果进行计算，以
8、作为本申请一些可选实施方式，原有的任务源码通过调用文件数据库获取。
9、于上述实施例中，通过原有的任务源码的获取，可以将任务源码作为特征进行gpu使用情况预测模型的训练。
10、作为本申请一些可选实施方式，原有的gpu使用情况通过gpu使用情况采集组件获取。
11、于上述实施例中，通过原有的gpu使用情况的采集，可以将gpu使用情况标签进行gpu使用情况预测模型的训练。
12、作为本申请一些可选实施方式，原有的任务源码包括运行任务队列和待调度任务队列。
13、作为本申请一些可选实施方式，原有的gpu使用情况和预测的gpu使用情况均包括运行任务的任务完成时间、cpu使用率、gpu使用率以及待调度任务的任务完成时间、对cpu使用率的影响、对cpu使用率的影响。
14、作为本申请一些可选实施方式，基于gpu使用情况的预测结果以及自定义策略进行任务调度方案制定，以得到任务调度方案的流程如下：
15、基于运行任务、待调度任务的gpu使用情况预测结果判断在现有运行任务队列中调度新任务对现有运行任务以及现有运行任务队列的任务完成时间的影响，以得到影响参数；
16、基于自定义策略对影响参数进行校验，以生成任务调度方案。
17、于上述实施例中，通过自定义策略可以对影响参数进行综合判定，以使得生成的任务调度方案能够适用于不同的应用场景，使得方案的适应性更强。
18、作为本申请一些可选实施方式，基于运行任务、待调度任务的gpu使用情况预测结果判断在现有运行任务队列中调度新任务对现有运行任务以及现有运行任务队列的任务完成时间的影响，以得到影响参数的流程如下：
19、将gpu使用情况的预测结果抽象为区间序列，所述区间序列结构为：
20、[type,value,start_time,end_time]
21、其中，type表示类型，包括gpu和cpu，value表示使用率，start_time表示开始使用时间，end_time表示结束使用时间；
22、循环计算待调度任务与运行任务的使用时间区间[start_time,end_time]是否发生冲突，其中，待调度任务与运行任务的使用时间区间[start_time,end_time]均至少为一个；
23、如果是，则向后移动待调度任务和运行任务的start_time，以使得使用时间区间不冲突，并且计算gpu使用率的增加值、cpu使用率的增加值、运行任务对应任务完成时间的延迟值、待调度任务对应任务完成时间的延迟值；
24、如果否，则不增加额外的任务完成时间，并且计算gpu使用率的增加值、cpu使用率的增加值。
25、于上述实施例中，通过时间区间的方式对任务的相关信息进行表述，便于对任务是否冲突进行校验，与此同时，也便于对任务完成时间进行计算，以确保准确获取新增任务后的任务完成时间、gpu使用率的增加值、任务完成时间的延迟值等影响参数。
26、作为本申请一些可选实施方式，基于自定义策略对影响参数进行校验，以生成任务调度方案的流程如下：
27、当gpu在运行任务且gpu使用率或cpu使用率大于阈值t1，则不调度新任务；
28、当运行任务的任务完成时间的延迟值增加大于阈值t2，则不调度新任务；
29、当待调度任务的任务完成时间的延迟值大于阈值t3，则不调用新任务；
30、当待调度任务预测的gpu使用率的增加值不高于阈值t4，并且待调度任务的任务完成时间的延迟值大于阈值t4，则不调度新任务；
31、其它情况，则调度新任务。
32、于上述实施例中，通过结合实际情况对自定义策略进行制定，以确保制定的任务调度方案能够有效提升gpu使用率、不过度影响现有任务运行，不显著延长任务完成时间。
33、作为本申请一些可选实施方式，基于任务调度结果进行任务调度评估的流程如下：
34、在调度新任务的基础上，校验gpu使用率和cpu使用率是否符合预期要求，并且校验运行任务的任务完成时间是否符合预期要求；
35、如果不符合预期要求，则调整自定义策略，如果符合预期要求，则保留自定义策略，以生成最终的任务调度方案。
36、在第二方面，本专利技术提供一种图形处理器调度系统，所述系统包括：
37、模型训练单元，所述模型训练单元基于原有的任务源码以及gpu使用情况进行模型训练，以得到gpu使用情况预测模型，其中，原有的任务源码作为模型训练的特征，原有的gpu使用情况作为模型训练的标签；
38、模型预测单元，所述模型预测单元基于gpu使用情况预测模型对现有的运行任务、待调度任务进行gpu使用情况预测，以得到gpu使用情况的预测结果；
39、任务调度单元，所述任务调度单元基于gpu使用情况的预测结果以及自定义策略进行任务调度方案制定，以得到任务调度方案；
40、调度评估单元，所述调度评估单元基于任务调度方案进行任务调度评估。
41、在第三方面，本专利技术提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的算机程序，所述处理器执行计算机程序时实现所述一种图形本文档来自技高网...
【技术保护点】
1.一种图形处理器调度方法，其特征在于，所述方法流程如下：
2.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的任务源码通过调用文件数据库获取。
3.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的GPU使用情况通过GPU使用情况采集组件获取。
4.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的任务源码包括运行任务和待调度任务。
5.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的GPU使用情况和预测的GPU使用情况均包括运行任务的任务完成时间、CPU使用率、GPU使用率以及待调度任务的任务完成时间、对CPU使用率的影响、对CPU使用率的影响。
6.根据权利要求5所述的一种图形处理器调度方法，其特征在于，基于GPU使用情况的预测结果以及自定义策略进行任务调度方案制定，以得到任务调度方案的流程如下：
7.根据权利要求6所述的一种图形处理器调度方法，其特征在于，基于运行任务、待调度任务的GPU使用情况预测结果判断在现有运行任务队列中调度新任
8.根据权利要求7所述的一种图形处理器调度方法，其特征在于，基于自定义策略对影响参数进行校验，以生成任务调度方案的流程如下：
9.根据权利要求7所述的一种图形处理器调度方法，其特征在于，基于任务调度结果进行任务调度评估的流程如下：
10.一种图形处理器调度系统，其特征在于，所述系统包括：
11.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时实现权利要求1-9中任一项所述一种图形处理器调度方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述一种图形处理器调度方法。
...【技术特征摘要】
1.一种图形处理器调度方法，其特征在于，所述方法流程如下：
2.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的任务源码通过调用文件数据库获取。
3.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的gpu使用情况通过gpu使用情况采集组件获取。
4.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的任务源码包括运行任务和待调度任务。
5.根据权利要求1所述的一种图形处理器调度方法，其特征在于，所述原有的gpu使用情况和预测的gpu使用情况均包括运行任务的任务完成时间、cpu使用率、gpu使用率以及待调度任务的任务完成时间、对cpu使用率的影响、对cpu使用率的影响。
6.根据权利要求5所述的一种图形处理器调度方法，其特征在于，基于gpu使用情况的预测结果以及自定义策略进行任务调度方案制定，以得到任务调度方案的流程如下：
7.根据权利要求6所述的一种图形处理器调...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。