【技术实现步骤摘要】
本专利技术涉及人工智能,尤其涉及一种算子融合方法、装置、电子设备及存储介质。
技术介绍
1、目前,算子融合方法是人工智能算子的一种常见性能优化方法,该算子融合方法常用于深度学习和其它密集型任务中,其基本操作是将多个连续的算子合并成一个单一算子;以此可以减小计算和内存开销,也可以提高人工智能模型在人工智能芯片上的训练效率及推理效率。因此,如何对人工智能芯片上的不同算子进行高效融合就显得尤为重要。
2、相关技术中,可以由开发人员对人工智能芯片中的不同算子进行手动融合,再开发融合后的算子;或者,还可以利用编译器得到融合不同算子的循环程序,并通过将该循环程序运行于人工智能芯片中的一个上下文程序中的方式,实现多个算子的自动融合过程。
3、然而,当待融合的算子种类过多时,通过开发人员手动融合方式的开发量很大,待融合的某个算子的计算复杂度较高时通过编译器很难实现自动融合,故编译器自动融合方式很难对所有的算子组合进行自动融合,从而导致人工智能模型在人工智能芯片上的训练效率及推理效率均很低。
技术实现思
<本文档来自技高网...【技术保护点】
1.一种算子融合方法,其特征在于,应用于同时运行多个上下文程序的人工智能芯片,所述方法包括:
2.根据权利要求1所述的算子融合方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的算子融合方法,其特征在于,所述基于多个所述待融合算子各自的执行顺序,确定每个所述待融合算子对应的预设同步指令,包括:
4.根据权利要求1至3任一项所述的算子融合方法,其特征在于,所述基于多个所述待融合算子对应的预设同步指令组,实现多个所述待融合算子的融合过程,包括:
5.根据权利要求4所述的算子融合方法,其特征在于,所述并行执行多个所述待
...【技术特征摘要】
1.一种算子融合方法,其特征在于,应用于同时运行多个上下文程序的人工智能芯片,所述方法包括:
2.根据权利要求1所述的算子融合方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的算子融合方法,其特征在于,所述基于多个所述待融合算子各自的执行顺序,确定每个所述待融合算子对应的预设同步指令,包括:
4.根据权利要求1至3任一项所述的算子融合方法,其特征在于,所述基于多个所述待融合算子对应的预设同步指令组,实现多个所述待融合算子的融合过程,包括:
5.根据权利要求4所述的算子融合方法,其特征在于,所述并行执行多个所述待融合算子的融合操作,包括:
6.一种人工智能芯片,其特征在于,包括同时运行多个上下文程序的处理器以及控...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:广州壁仞集成电路有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。