算子融合方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43488338 阅读:21 留言:0更新日期:2024-11-29 16:58
本发明专利技术提供一种算子融合方法、装置、电子设备及存储介质,其中算子融合方法包括:响应于算子融合请求,从多个上下文程序中确定多个目标上下文程序分别为待融合算子;基于多个待融合算子对应的预设同步指令组,实现多个待融合算子的融合过程。本发明专利技术只需通过对人工智能芯片内已开发的上下文程序添加同步指令的方式进行少量修改,即可实现不同算子组合之间的算子融合目的,无需依赖开发人员专门开发融合后的算子,算子融合过程中也无需使用编译器,整个算子融合过程简单且易实现,也适用于人工智能领域中不同算子组合的算子融合场景,从而大幅提高了人工智能模型在人工智能芯片上的训练效率及推理效率,同时也提高了算子融合的通用性。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种算子融合方法、装置、电子设备及存储介质


技术介绍

1、目前,算子融合方法是人工智能算子的一种常见性能优化方法,该算子融合方法常用于深度学习和其它密集型任务中,其基本操作是将多个连续的算子合并成一个单一算子;以此可以减小计算和内存开销,也可以提高人工智能模型在人工智能芯片上的训练效率及推理效率。因此,如何对人工智能芯片上的不同算子进行高效融合就显得尤为重要。

2、相关技术中,可以由开发人员对人工智能芯片中的不同算子进行手动融合,再开发融合后的算子;或者,还可以利用编译器得到融合不同算子的循环程序,并通过将该循环程序运行于人工智能芯片中的一个上下文程序中的方式,实现多个算子的自动融合过程。

3、然而,当待融合的算子种类过多时,通过开发人员手动融合方式的开发量很大,待融合的某个算子的计算复杂度较高时通过编译器很难实现自动融合,故编译器自动融合方式很难对所有的算子组合进行自动融合,从而导致人工智能模型在人工智能芯片上的训练效率及推理效率均很低。


技术实现思

<本文档来自技高网...

【技术保护点】

1.一种算子融合方法,其特征在于,应用于同时运行多个上下文程序的人工智能芯片,所述方法包括:

2.根据权利要求1所述的算子融合方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的算子融合方法,其特征在于,所述基于多个所述待融合算子各自的执行顺序,确定每个所述待融合算子对应的预设同步指令,包括:

4.根据权利要求1至3任一项所述的算子融合方法,其特征在于,所述基于多个所述待融合算子对应的预设同步指令组,实现多个所述待融合算子的融合过程,包括:

5.根据权利要求4所述的算子融合方法,其特征在于,所述并行执行多个所述待融合算子的融合操作,...

【技术特征摘要】

1.一种算子融合方法,其特征在于,应用于同时运行多个上下文程序的人工智能芯片,所述方法包括:

2.根据权利要求1所述的算子融合方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的算子融合方法,其特征在于,所述基于多个所述待融合算子各自的执行顺序,确定每个所述待融合算子对应的预设同步指令,包括:

4.根据权利要求1至3任一项所述的算子融合方法,其特征在于,所述基于多个所述待融合算子对应的预设同步指令组,实现多个所述待融合算子的融合过程,包括:

5.根据权利要求4所述的算子融合方法,其特征在于,所述并行执行多个所述待融合算子的融合操作,包括:

6.一种人工智能芯片,其特征在于,包括同时运行多个上下文程序的处理器以及控...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:广州壁仞集成电路有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1