一种基于双优化模型的AI加速卡资源调度方法技术

技术编号:42372392 阅读:30 留言:0更新日期:2024-08-16 14:55
本发明专利技术属于电数字数据处理及资源调度技术领域,公开了一种基于双优化模型的AI加速卡资源调度方法。所述方法包括:构建最优资源调度总模型及对应的目标函数;将最优资源调度总模型简化成全局级的多任务执行序列排布和局部级的加速卡核分配双优化模型;分别采用改进的带精英策略的自适应遗传算法和拉格朗日乘子法优化求解,得出求解结果即加速卡资源调度方案。所述方法将AI加速卡本身特点与多任务处理的需求、优先顺序、所需计算资源结合,快速得出调度方案,提高了有限数量的加速卡应对多任务的整体计算效率,实现了AI计算资源智能、动态和高效的管理。

【技术实现步骤摘要】

本专利技术属于电数字数据处理及资源调度,具体涉及一种基于双优化模型的ai加速卡资源调度方法。


技术介绍

1、随着人工智能(artificial intelligence,ai)的快速发展,对于高性能计算资源的需求不断增加。为了满足这一需求,ai加速卡应运而生,它不同于一般计算机的cpu和gpu,而是采用了专门的处理器,通过多计算核高效地进行并行计算,擅长处理人工智能类任务,包括图像分类、自然语言处理、语音识别等。

2、现有技术中,一张ai加速卡通常每次只运行一个人工智能任务,这在需多任务处理的高峰时刻会引发计算缓慢的问题。虽然部署更多的ai加速卡可有效缓解该问题,但在很多应用场景中由于受空间、资源等条件限制,难以配备足够多数量的ai加速卡,因此有效地调度有限数量的ai加速卡资源至关重要。

3、ai加速卡资源调度的难点在于不同任务处理的优先级、所需的内存空间、计算时间都不同,难以用简单的规则进行调度。ai加速卡资源调度虽隶属于计算机资源动态调度领域, ai加速卡大小限制、很多核可以并行计算,但受限的资源条件下如何充分调动多核并行计算的本文档来自技高网...

【技术保护点】

1.一种基于双优化模型的AI加速卡资源调度方法,其特征在于,包括:

2.根据权利要求1所述的基于双优化模型的AI加速卡资源调度方法,其特征在于,在S1中:

3.根据权利要求1所述的基于双优化模型的AI加速卡资源调度方法,其特征在于,在S2中,确定最优的任务执行顺序为全局任务优化的目标;确定最优的任务执行顺序并在同一批次任务中确定最优的计算核分配方案,使得该批次任务的计算时间最短为局部核优化的目标;其中:

4.根据权利要求1所述的基于双优化模型的AI加速卡资源调度方法,其特征在于:

5.根据权利要求4所述的基于双优化模型的AI加速卡资源调度方...

【技术特征摘要】

1.一种基于双优化模型的ai加速卡资源调度方法,其特征在于,包括:

2.根据权利要求1所述的基于双优化模型的ai加速卡资源调度方法,其特征在于,在s1中:

3.根据权利要求1所述的基于双优化模型的ai加速卡资源调度方法,其特征在于,在s2中,确定最优的任务执行顺序为全局任务优化的目标;确定最优的任务执行顺序并在同一批次任务中确定最优的计算核分配方案,使得该批次任务的计算时间最短为局部核优化的目标;其中:

4.根据权利要求1所述的基于双优化模型的ai加速卡资源调度方法,其特征在于:

5.根据权利要求4所述的基于双优化模型的ai加速卡资源调度方法,其特征在于,在s34中,个体交叉时采用单点交叉的方式,第一个体交叉点后的编码与第二个体交叉点后的编码进行交换;个体变异时,随机选择2个位置的编码进行交换。

6.根据权利要求1所述的基于双优化模型的ai加速卡资源调度方法,其特征在于,在s32中,编码位置的维度为r×1;初始种群数为u×r个,u为倍数;批次任务通过如下方式获得:当第1至第j个任务所需的内存数小于显存大小c,且第1至第j+1个任务所需的内存数大于显存大小c时,则第1至第j个任务为同一批次。...

【专利技术属性】
技术研发人员:李贤玉江光德钟程亮王才红刘庆国
申请(专利权)人:中国人民解放军九六九零一部队
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1