【技术实现步骤摘要】
本专利技术涉及人工智能芯片,更具体的说,涉及内核函数的派发方法、装置、芯片、设备、介质和产品。
技术介绍
1、在芯片设计中,任务派发过程是实现高效计算的关键环节。用户编写的程序以内核函数(kernel)的形式被派发到执行单元。执行单元基于派发到的任务,执行对应的计算操作。比如,执行单元可以包含多个计算单元(cu)。cu是芯片中用于执行计算任务的基本功能模块,它能够进行各种算术和逻辑操作。
2、然而,目前的任务派发机制具有灵活性与效率不高的缺点,而且可能存在空余资源无法合理利用的场景。
技术实现思路
1、本专利技术提出内核函数的派发方法、装置、芯片、设备、介质和产品,有助于提高任务派发的灵活性与效率。
2、本专利技术实施方式的技术方案如下:
3、一种内核函数的派发方法,包括:
4、接收待被派发的内核函数;
5、从包含n个优先级的优先级集合中,确定所述内核函数的优先级,其中n为至少为2的正整数;
6、将所述内核函数的拆分任
...【技术保护点】
1.一种内核函数的派发方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述内核函数的拆分任务分发到与所述n个优先级逐一对应的n个派发队列中的、与所述内核函数的优先级对应的派发队列包括:
3.根据权利要求1所述的方法,其特征在于,所述内核函数包含用于表征所述内核函数的优先级的标志位;
4.根据权利要求3所述的方法,其特征在于,所述标志位是基于下列属性中的至少一个被设置的;
5.根据权利要求1所述的方法,其特征在于,所述基于所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到人工智能芯片中的
...【技术特征摘要】
1.一种内核函数的派发方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述内核函数的拆分任务分发到与所述n个优先级逐一对应的n个派发队列中的、与所述内核函数的优先级对应的派发队列包括:
3.根据权利要求1所述的方法,其特征在于,所述内核函数包含用于表征所述内核函数的优先级的标志位;
4.根据权利要求3所述的方法,其特征在于,所述标志位是基于下列属性中的至少一个被设置的;
5.根据权利要求1所述的方法,其特征在于,所述基于所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到人工智能芯片中的执行单元包括:
6.根据权利要求1-5中任一项所述的方法,其特征在于,包括:
7.根据权利要求6所述的方法,其特征在于,所述切换颗粒度为内核函数,所述基于所述切换颗粒度和所述n个优先级的顺序,依次派发所述n个派发队列中的拆分任务到所述执行单元包括:
8.根据权利要求6所述的方法,其特征在于,所述切换颗粒度为拆分任务,所述...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:上海壁仞科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。