System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 任务处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

任务处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40417917 阅读:5 留言:0更新日期:2024-02-20 22:35
本申请公开一种任务处理方法、装置、电子设备及存储介质,包括:通过主计算设备,根据各核函数中对应于待处理任务的目标核函数,生成目标核函数的核函数调用;通过多核加速卡,响应于目标核函数的核函数调用,分别从多个资源池和多个加速核中确定对应于目标核函数的目标资源池和目标加速核,利用目标资源池和目标加速核执行待处理任务,并将待处理任务的任务执行结果返回给主计算设备。借此,本申请通过对多核加速卡中的资源池和加速核进行分配生成多个核函数,以基于核函数调用方式,调用多核加速卡中的相应计算资源执行待处理任务,以提升多核加速卡的任务执行效率。

【技术实现步骤摘要】

本申请涉及大数据处理,尤其涉及一种任务处理方法、装置、电子设备及存储介质


技术介绍

1、随着互联网技术的高速发展,互联网数据的规模也越来越庞大,可使用数据库等大数据技术,以高效且条理分明地存储和管理大规模数据。

2、随着技术的发展,磁盘读写、网络带宽性能的不断提升,大数据处理领域的性能瓶颈已转移到算力上,现有的cpu方案无法提供足够的算力以支撑现有的大数据业务规模。

3、dpu加速卡是一种低功耗、低成本的专用处理单元,可用于提高cpu的处理效率,释放cpu算力,同时为cpu提供基础数据服务。

4、目前,用于处理大数据的单核加速卡(即dpu加速卡中仅包含一个加速核),虽具有较高的吞吐率,但相比主计算设备可产生的并发任务请求数,单核加速卡的任务并行度仍相对较小。基于此,业界发展出了包含多个加速核的多核加速卡,以提高任务的并行执行数量。

5、然而,在实际应用过程中,由于针对多核加速卡中各加速核的资源分配不合理,导致多核加速卡中部分加速核的使用率不足,造成了资源浪费。


技术实现思路

1、有鉴于此,本申请实施例提供一种任务处理方案,可提升多核加速卡的任务执行效率。

2、根据本申请实施例的第一方面,提供了一种任务处理方法,应用于主计算设备,所述主计算设备耦接包含多个资源池与多个加速核的多核加速卡,所述主计算设备包含多个核函数,每个核函数包含所述多核加速卡中的一个资源池和一个加速核,所述方法包括:通过所述主计算设备,根据各核函数中对应于待处理任务的目标核函数,生成所述目标核函数的核函数调用;通过所述多核加速卡,响应于所述目标核函数的核函数调用,分别从所述多个资源池和所述多个加速核中确定对应于所述目标核函数的目标资源池和目标加速核,利用所述目标资源池和所述目标加速核执行所述待处理任务,并将所述待处理任务的任务执行结果返回给所述主计算设备。

3、根据本申请实施例的第二方面,提供了一种任务处理装置,应用于主计算设备,所述主计算设备耦接包含多个资源池与多个加速核的多核加速卡,所述主计算设备包含多个核函数,每个核函数包含所述多核加速卡中的一个资源池和一个加速核,所述装置包括:调用模块,用于通过所述主计算设备,根据各核函数中对应于待处理任务的目标核函数,生成所述目标核函数的核函数调用;执行模块,通过所述多核加速卡,响应于所述目标核函数的核函数调用,分别从所述多个资源池和所述多个加速核中确定对应于所述目标核函数的目标资源池和目标加速核,利用所述目标资源池和所述目标加速核执行所述待处理任务,并将所述待处理任务的任务执行结果返回给所述主计算设备。

4、根据本申请实施例的第三方面,提供了一种电子设备,包括:存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如第一方面所述的任务处理方法。

5、根据本申请实施例的第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码被处理器运行时,使处理器执行如第一方面所述的任务处理方法。

6、综上所述,本申请各方面提供的任务处理方案,通过对多核加速卡中的资源池和加速核进行分配,创建相应的核函数,以基于核函数调用方式调用多核加速卡中的部分资源独立执行主计算设备中的各待处理任务,通过合理分配多核加速卡的全局资源,以有效提升多核加速卡的任务执行效率。

本文档来自技高网...

【技术保护点】

1.一种任务处理方法,其特征在于,应用于主计算设备,所述主计算设备耦接包含多个资源池与多个加速核的多核加速卡,所述主计算设备包含多个核函数,每个核函数包含所述多核加速卡中的一个资源池和一个加速核,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多核加速卡中的每个资源池被等分为多个资源块;

3.根据权利要求2所述的方法,其特征在于,所述主计算设备包括所述目标核函数的待处理任务队列和异构任务执行队列;

4.根据权利要求3所述的方法,其特征在于,所述响应于所述目标核函数的核函数调用,分别从所述多个资源池和所述多个加速核中确定对应于所述目标核函数的目标资源池和目标加速核,利用所述目标资源池和所述目标加速核执行所述待处理任务,包括:

5.根据权利要求3所述的方法,其特征在于,通过以下方式检测所述待处理任务队列或所述异构任务执行队列的队列状态:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求3或6所述的方法,其特征在于,所述方法还包括:

8.一种任务处理装置,其特征在于,应用于主计算设备,所述主计算设备耦接包含多个资源池与多个加速核的多核加速卡,所述主计算设备包含多个核函数,每个核函数包含所述多核加速卡中的一个资源池和一个加速核,所述装置包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码被处理器运行时,使处理器执行根据权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种任务处理方法,其特征在于,应用于主计算设备,所述主计算设备耦接包含多个资源池与多个加速核的多核加速卡,所述主计算设备包含多个核函数,每个核函数包含所述多核加速卡中的一个资源池和一个加速核,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多核加速卡中的每个资源池被等分为多个资源块;

3.根据权利要求2所述的方法,其特征在于,所述主计算设备包括所述目标核函数的待处理任务队列和异构任务执行队列;

4.根据权利要求3所述的方法,其特征在于,所述响应于所述目标核函数的核函数调用,分别从所述多个资源池和所述多个加速核中确定对应于所述目标核函数的目标资源池和目标加速核,利用所述目标资源池和所述目标加速核执行所述待处理任务,包括:

5.根据...

【专利技术属性】
技术研发人员:陈莎雄李晟耿嘉陈岩张宇鄢贵海
申请(专利权)人:中科驭数北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1