张量排布变化的编译方法及其编译装置和存储介质制造方法及图纸

技术编号:46587168 阅读:2 留言:0更新日期:2025-10-10 21:23
本发明专利技术公开了一种张量排布变化的编译方法及其编译装置和计算机可读存储介质。其中,编译方法应用于人工智能模型,编译方法包括:获取人工智能模型的计算图;对计算图进行动态分析,识别出已有的张量排布转换操作以及需要插入张量排布转换的位置,并在对应位置插入排布转换算子,以更新计算图;对更新后的计算图进行分析,获取分析结果;依据分析结果简化冗余的张量操作,并形成对应的算子需求;结合算子需求和硬件设计生成的优化算子;依据优化算子形成对计算图的编译指令。本申请的技术方案能够有效的提升张量转换效率。

【技术实现步骤摘要】

本专利技术涉及模型编译,具体涉及一种张量排布变化的编译方法及其编译装置和计算机可读存储介质。


技术介绍

1、在深度学习、高性能计算等领域,张量作为多维数据的核心载体,其布局转换是计算图编译与执行的关键环节。随着人工智能模型的复杂化和数据规模的扩大,张量排布转换的效率直接影响模型训练与推理的性能。

2、然而,现有的张量布局转换方法效率较低,一般采用逐元素复制的策略,一个一个连续的搬运数据,尤其是在面对大规模张量转换时,由于数据规模较大,使得转换效率显著降低。


技术实现思路

1、针对现有技术中的缺陷,本专利技术提供一种张量排布变化的编译方法能够有效的提升张量转换效率。

2、本申请提供的一种张量排布的编译方法,所述编译方法应用于人工智能模型,所述编译方法包括:

3、获取所述人工智能模型的计算图;

4、对所述计算图进行动态分析,识别出已有的张量排布转换操作以及需要插入张量排布转换的位置,并在对应位置插入排布转换算子,以更新计算图;

5、对更新后的计算图进行分本文档来自技高网...

【技术保护点】

1.一种张量排布变化的编译方法,其特征在于,所述编译方法应用于人工智能模型,所述编译方法包括:

2.根据权利要求1所述的编译方法,其特征在于,依据所述分析结果简化冗余的张量操作的步骤之后,包括:

3.根据权利要求2所述的张量排布的编译方法,其特征在于,所述双缓存并行处理策略为计算与调度并行。

4.根据权利要求1所述的编译方法,其特征在于,依据所述分析结果简化冗余的张量操作的步骤至少包括:

5.根据权利要求4所述的编译方法,其特征在于,所述合并连续张量转换的步骤,包括:

6.根据权利要求1所述的编译方法,其特征在于,对所述计算图进...

【技术特征摘要】

1.一种张量排布变化的编译方法,其特征在于,所述编译方法应用于人工智能模型,所述编译方法包括:

2.根据权利要求1所述的编译方法,其特征在于,依据所述分析结果简化冗余的张量操作的步骤之后,包括:

3.根据权利要求2所述的张量排布的编译方法,其特征在于,所述双缓存并行处理策略为计算与调度并行。

4.根据权利要求1所述的编译方法,其特征在于,依据所述分析结果简化冗余的张量操作的步骤至少包括:

5.根据权利要求4所述的编译方法,其特征在于,所述合并连续张量转换的步骤,包括:

6.根据权利要求1所述的编译方法,其特征在于,对所述计算图进行动态分析,识别出已有的张量排布...

【专利技术属性】
技术研发人员:黄玺鹣裴贺园张祥建
申请(专利权)人:北京谦合益邦云信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1