内核函数的派发方法、装置、芯片、设备、介质和产品制造方法及图纸

技术编号:46620809 阅读:0 留言:0更新日期:2025-10-14 21:15
本发明专利技术实施方式公开了内核函数的派发方法、装置、芯片、设备、介质和产品。方法包括:接收待被派发的内核函数;从包含n个优先级的优先级集合中,确定所述内核函数的优先级,其中n为至少为2的正整数;将所述内核函数的拆分任务分发到与所述n个优先级逐一对应的n个派发队列中的、与所述内核函数的优先级对应的派发队列;基于所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到人工智能芯片中的执行单元,其中所述执行单元执行被派发到的拆分任务。基于优先级实现任务派发,有效提升任务派发的灵活性与效率,还提高资源的利用率。

【技术实现步骤摘要】

本专利技术涉及人工智能芯片,更具体的说,涉及内核函数的派发方法、装置、芯片、设备、介质和产品


技术介绍

1、在芯片设计中,任务派发过程是实现高效计算的关键环节。用户编写的程序以内核函数(kernel)的形式被派发到执行单元。执行单元基于派发到的任务,执行对应的计算操作。比如,执行单元可以包含多个计算单元(cu)。cu是芯片中用于执行计算任务的基本功能模块,它能够进行各种算术和逻辑操作。

2、然而,目前的任务派发机制具有灵活性与效率不高的缺点,而且可能存在空余资源无法合理利用的场景。


技术实现思路

1、本专利技术提出内核函数的派发方法、装置、芯片、设备、介质和产品,有助于提高任务派发的灵活性与效率。

2、本专利技术实施方式的技术方案如下:

3、一种内核函数的派发方法,包括:

4、接收待被派发的内核函数;

5、从包含n个优先级的优先级集合中,确定所述内核函数的优先级,其中n为至少为2的正整数;

6、将所述内核函数的拆分任务分发到与所述n个优本文档来自技高网...

【技术保护点】

1.一种内核函数的派发方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述内核函数的拆分任务分发到与所述n个优先级逐一对应的n个派发队列中的、与所述内核函数的优先级对应的派发队列包括:

3.根据权利要求1所述的方法,其特征在于,所述内核函数包含用于表征所述内核函数的优先级的标志位;

4.根据权利要求3所述的方法,其特征在于,所述标志位是基于下列属性中的至少一个被设置的;

5.根据权利要求1所述的方法,其特征在于,所述基于所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到人工智能芯片中的执行单元包括:...

【技术特征摘要】

1.一种内核函数的派发方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述内核函数的拆分任务分发到与所述n个优先级逐一对应的n个派发队列中的、与所述内核函数的优先级对应的派发队列包括:

3.根据权利要求1所述的方法,其特征在于,所述内核函数包含用于表征所述内核函数的优先级的标志位;

4.根据权利要求3所述的方法,其特征在于,所述标志位是基于下列属性中的至少一个被设置的;

5.根据权利要求1所述的方法,其特征在于,所述基于所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到人工智能芯片中的执行单元包括:

6.根据权利要求1-5中任一项所述的方法,其特征在于,包括:

7.根据权利要求6所述的方法,其特征在于,所述切换颗粒度为内核函数,所述基于所述切换颗粒度和所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到所述执行单元包括:

8.根据权利要求6所述的方法,其特征在于,所述切换颗粒度为拆分任务,所述...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:上海壁仞科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1