一种基于多裸片的计算方法及相关设备技术

本申请实施例公开了一种基于多裸片的计算方法及相关设备。该方法包括：获取第一计算图，所述第一计算图包括M个第一算子；对所述M个第一算子分别进行切分，得到所述M个第一算子的切分结果；基于所述M个第一算子的切分结果对所述第一计算图进行切分，得到对应的N个第二计算图；所述N个第二计算图中的每一个第二计算图包括被切分后的第一算子；N、M为大于或者等于1的整数；将所述N个第二计算图分配至N个裸片上执行；所述N个第二计算图与所述N个裸片一一对应。采用本申请实施例可以提升多裸片封装芯片的计算效率。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种基于多裸片的计算方法及相关设备。

技术介绍

1、随着摩尔定律的放缓，单个裸片(die)内的晶体管数量无法再持续快速的增长，但是人工智能(artificial intelligent，ai)芯片的算力需求仍然在高速发展。为解决这个问题，业内提出了多die封装的技术，即在一个芯片(chip)内封装多个aidie，从而提供更大的算力。

2、采用多die封装技术时，存在两种不同的网络体系结构：统一内存访问(uniformmemory access，uma)和非统一内存访问(non-uniform memory access，uma)。在uma架构下，chip中的每个die可以平等的使用chip内所有的存储，基于此，uma架构通常要求die间的互连带宽能够和存储器带宽持平，以实现不同位置的存储访问的性能一致。然而，为了提供尽可能高的算力密度，chip内会尽可能的将面积用于ai算力，使得chip内的die间互连可用的面积非常小，并且由于ai芯片通常会使用高宽带存储器(high bandwidth memory，hbm)，即ch本文档来自技高网...

【技术保护点】

1.一种基于多裸片的计算方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述M个第一算子分别进行切分，得到所述M个第一算子的切分结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述第i个第一算子包括K个切分轴；所述确定所述M个第一算子中的第i个第一算子的最优切分轴，包括：

4.根据权利要求3所述的方法，其特征在于，所述第i个第一算子的第j个切分轴对应的计算收益为第一计算耗时与第二计算耗时的差值；所述第一计算耗时为单个裸片执行所述第i个第一算子所需的时间，所述第二计算耗时为多个裸片并行执行被所述第j个切分轴切分后...

【技术特征摘要】

1.一种基于多裸片的计算方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述m个第一算子分别进行切分，得到所述m个第一算子的切分结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述第i个第一算子包括k个切分轴；所述确定所述m个第一算子中的第i个第一算子的最优切分轴，包括：

4.根据权利要求3所述的方法，其特征在于，所述第i个第一算子的第j个切分轴对应的计算收益为第一计算耗时与第二计算耗时的差值；所述第一计算耗时为单个裸片执行所述第i个第一算子所需的时间，所述第二计算耗时为多个裸片并行执行被所述第j个切分轴切分后的所述第i个第一算子所需的时间；j为大于或者等于1，且小于或者等于k的整数。

5.根据权利要求4所述的方法，其特征在于，所述第i个第一算子的第j个切分轴对应的通信耗时为第p个裸片从其他裸片上获取目标数据所需的时间；所述第p个裸片为所述第i个第一算子被所述第j个切分轴切分后对应分配的多个裸片中的一个；所述目标数据为所述第p个裸片执行被所述第j个切分轴切分后的所述第i个第一算子时所需的数据；所述通信耗时与所述目标数据的数量以及所述目标数据的内存排布相关；p为大...

【专利技术属性】
技术研发人员：刘锡明，朱思宇，林惠敏，葛根华，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：