一种算法模型子图划分方法、装置、设备及可读存储介质制造方法及图纸

技术编号:42773072 阅读:28 留言:0更新日期:2024-09-21 00:36
本发明专利技术公开了一种算法模型子图划分方法、装置、设备及可读存储介质,应用于编译器技术领域,包括:将AI算法模型转换成处理节点序列,处理节点序列包括若干处理节点;根据若干处理节点分别对应的划分代价最小的第一数量条划分路径以及额外的第二数量条划分路径,对处理节点序列进行划分,得到划分后的子图序列;划分代价反映按照对应的划分路径进行划分时的总硬件效率,划分路径为处理节点序列中对应的处理节点与对应的处理节点前的其他节点在划分代价相应的划分规则下组合形成的路径。本发明专利技术针对每个节点,只需记忆第一数量条和额外的第二数量条的划分路径,能够灵活平衡编译速度和编译后模型运行效率。

【技术实现步骤摘要】

本专利技术涉及编译器,特别涉及一种算法模型子图划分方法、装置、设备及可读存储介质


技术介绍

1、ai(人工智能)技术的发展,推动了ai编译器的发展。ai编译器可将ai算法模型编译为ai处理器可以高效处理的机器码。而由于ai算法模型是一种计算量大、内存占用大的程序,同时,受限于成本因素,通常情况下,ai算法模型转化成的ai算法模型图难以被整段加载到ai芯片中。

2、因此,现阶段普遍的做法是将ai算法模型图划分为一段段的子图,然后逐段被ai芯片加载并处理。目前,学术界和工业级常见的ai算法模型图划分方法有:

3、第一,基于人工划分,或者叫基于模板匹配。当编译一个ai算法模型时,编译器基于某种方式逐个匹配模板库中的模板结构,从而将大的ai算法模型图划分为一个个子图,以满足后端硬件要求。

4、该方法具有编译时速度快的优点,但是其缺点是模板划分依赖人工先验,同时,由于ai算法模型的不断发展,模板库很难覆盖到新的结构,在新的模型结构面前,编译后模型运行效率差。

5、第二,基于穷举搜索,也叫暴力搜索法。其基本思想是,逐个本文档来自技高网...

【技术保护点】

1.一种算法模型子图划分方法,其特征在于,包括:

2.根据权利要求1所述的算法模型子图划分方法,其特征在于,所述根据若干所述处理节点分别对应的划分代价最小的第一数量条划分路径以及额外的第二数量条划分路径,对所述处理节点序列进行划分,得到划分后的子图序列,包括:

3.根据权利要求2所述的算法模型子图划分方法,其特征在于,所述第一处理节点所对应的多条划分路径包括第一路径和第二路径;

4.根据权利要求2所述的算法模型子图划分方法,其特征在于,所述从所述第一处理节点所对应的多条划分路径中选择所述第一处理节点对应的划分代价最小的第一数量条划分路径,包括:

...

【技术特征摘要】

1.一种算法模型子图划分方法,其特征在于,包括:

2.根据权利要求1所述的算法模型子图划分方法,其特征在于,所述根据若干所述处理节点分别对应的划分代价最小的第一数量条划分路径以及额外的第二数量条划分路径,对所述处理节点序列进行划分,得到划分后的子图序列,包括:

3.根据权利要求2所述的算法模型子图划分方法,其特征在于,所述第一处理节点所对应的多条划分路径包括第一路径和第二路径;

4.根据权利要求2所述的算法模型子图划分方法,其特征在于,所述从所述第一处理节点所对应的多条划分路径中选择所述第一处理节点对应的划分代价最小的第一数量条划分路径,包括:

5.根据权利要求2所述的算法模型子图划分方法...

【专利技术属性】
技术研发人员:曾印权刘云飞禹治祥
申请(专利权)人:湖南国科微电子股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1