【技术实现步骤摘要】
本专利技术实施例涉及芯片技术，尤其涉及一种多npu芯粒的互连架构。
技术介绍
1、随着人工智能(artificial intelligence，ai)技术的发展，许多关键应用均需要使用ai计算生成内容，这对神经处理单元(neural processing unit，npu)的高处理能力的需求很高。由于ai计算需求的不断升级，需要在主板上集成多个npu芯片插槽，或者在一个npu芯片插槽内集成多个npu芯粒(chiplet)。
2、更大的芯片(或者称为硅片)尺寸可以在单个芯片上容纳更多的处理单元(processing unit，pe)，且所有pe都通过与同一芯片关联的存储器来处理数据，这种架构被称为用于多npu处理的统一内存架构。然而，单个芯片尺寸过大无法以合理的成本制造，因此，可以通过多个单个芯片协作提高计算能力。然而，若需要使多个芯片内的所有pe一起工作，无论各pe位于同一芯片内还是不同芯片内，各芯片内的pe之间均需要相互通信。不同芯片内的pe之间可以通过统一内存架构实现协作，也可以通过非同一内存架构实现协作。
3、统一内存架构为软件执行提供了重组的内存池，并简化了并行处理的同步。非统一架构要求同一芯片上的所有pe使用与该芯片相关的专用存储器进行并行处理。在非统一内存架构中，当一个芯片上的pe需要访问另一个芯片的存储器时，或者当芯片之间需要同步或进行数据交换时，pe必须跨越芯片边界来访问另一芯片相关的存储器。
4、然而，无论多npu的统一内存架构还是非统一内存架构，如何实现高效的pe并行处理，
技术实现思路
1、本专利技术提供一种多npu芯粒的互连架构，实现了多npu芯粒扩展时的内存扩展访问
2、第一方面，本专利技术实施例提供了一种多npu芯粒的互连架构，包括：
3、至少两个npu芯粒，每个npu芯粒包括至少两个pe、控制单元、内存池和互连管道，每个npu芯粒中的至少两个pe、控制单元和内存池通过片内总线连接；
4、所述至少两个npu芯粒之间通过互连管道相互连接进行数据交换，相互连接的两个npu芯粒的内存池映射为集中内存池，并由任一npu芯粒中的控制单元控制所在npu芯粒的pe访问集中内存池。
5、在第一方面一种可能的实现方式中，所述集中内存池包括统一内存池或非统一内存池，所述统一内存池中不同npu芯粒的内存池的物理地址是连续的，所述非统一内存池中不同npu芯粒的内存池的物理地址是非连续的。
6、在第一方面一种可能的实现方式中，所述片内总线包括控制总线和数据总线，每个npu芯粒中的至少两个pe、控制单元和内存池通过控制总线和数据总线连接。
7、在第一方面一种可能的实现方式中，所述控制总线为apb总线，所述数据总线为axi总线。
8、在第一方面一种可能的实现方式中，相互连接的两个npu芯粒的内存池映射为统一内存池的情况下，其中一个npu芯粒中的控制单元控制所述统一内存池的访问，另一个npu芯粒中的控制单元处于睡眠状态。
9、在第一方面一种可能的实现方式中，当第一npu芯粒中的控制单元通过延伸连接的控制总线控制所述统一内存池的访问时，第二npu芯粒中的控制单元处于睡眠状态，两个npu芯粒的内存池通过延伸连接的数据总线将物理地址连续映射。
10、在第一方面一种可能的实现方式中，相互连接的两个npu芯粒的内存池映射为非统一内存池的情况下，每个npu芯粒中的控制单元控制所在npu芯粒的pe对所述非统一内存池的访问。
11、在第一方面一种可能的实现方式中，当第一npu芯粒中的pe访问的非统一内存池中的物理地址位于第二npu芯粒时，第一npu芯粒中的控制单元协调第一npu芯粒和第二npu芯粒的时钟同步。
12、在第一方面一种可能的实现方式中，还包括内存交互芯粒，所述内存交互芯粒包括内存交叉开关、中央内存池、中央控制单元和互连管道，所述内存交叉开关、中央内存池和中央控制单元通过片内总线连接；
13、所述至少两个npu芯粒通过与所述内存交互芯粒之间的互连管道与所述内存交叉开关连接，所述中央内存池与所述至少两个npu芯粒中的内存池存在映射关系。
14、在第一方面一种可能的实现方式中，所述内存交叉开关包括用于在所述至少两个npu芯粒之间进行一一连接的多个内存通道。
15、本专利技术实施例提供的多npu芯粒的互连架构，包括至少两个npu芯粒，每个npu芯粒包括通过片内总线连接的至少两个处理单元、控制单元、内存池，以及互连管道，所述至少两个npu芯粒之间通过互连管道相互连接进行数据交换，相互连接的两个npu芯粒的内存池映射为集中内存池，并由任一npu芯粒中的控制单元控制所在npu芯粒的处理单元访问集中内存池，实现了多npu芯粒扩展时的内存扩展访问。
本文档来自技高网...【技术保护点】
1.一种多NPU芯粒的互连架构，其特征在于，包括：
2.根据权利要求1所述的多NPU芯粒的互连架构，其特征在于，所述集中内存池包括统一内存池或非统一内存池，所述统一内存池中不同NPU芯粒的内存池的物理地址是连续的，所述非统一内存池中不同NPU芯粒的内存池的物理地址是非连续的。
3.根据权利要求2所述的多NPU芯粒的互连架构，其特征在于，所述片内总线包括控制总线和数据总线，每个NPU芯粒中的至少两个PE、控制单元和内存池通过控制总线和数据总线连接。
4.根据权利要求3所述的多NPU芯粒的互连架构，其特征在于，所述控制总线为APB总线，所述数据总线为AXI总线。
5.根据权利要求3所述的多NPU芯粒的互连架构，其特征在于，相互连接的两个NPU芯粒的内存池映射为统一内存池的情况下，其中一个NPU芯粒中的控制单元控制所述统一内存池的访问，另一个NPU芯粒中的控制单元处于睡眠状态。
6.根据权利要求5所述的多NPU芯粒的互连架构，其特征在于，当第一NPU芯粒中的控制单元通过延伸连接的控制总线控制所述统一内存池的访问时，第二NPU芯
7.根据权利要求3所述的多NPU芯粒的互连架构，其特征在于，相互连接的两个NPU芯粒的内存池映射为非统一内存池的情况下，每个NPU芯粒中的控制单元控制所在NPU芯粒的PE对所述非统一内存池的访问。
8.根据权利要求7所述的多NPU芯粒的互连架构，其特征在于，当第一NPU芯粒中的PE访问的非统一内存池中的物理地址位于第二NPU芯粒时，第一NPU芯粒中的控制单元协调第一NPU芯粒和第二NPU芯粒的时钟同步。
9.根据权利要求1～8任一项所述的多NPU芯粒的互连架构，其特征在于，还包括内存交互芯粒，所述内存交互芯粒包括内存交叉开关、中央内存池、中央控制单元和互连管道，所述内存交叉开关、中央内存池和中央控制单元通过片内总线连接；
10.根据权利要求9所述的多NPU芯粒的互连架构，其特征在于，所述内存交叉开关包括用于在所述至少两个NPU芯粒之间进行一一连接的多个内存通道。
...【技术特征摘要】
1.一种多npu芯粒的互连架构，其特征在于，包括：
2.根据权利要求1所述的多npu芯粒的互连架构，其特征在于，所述集中内存池包括统一内存池或非统一内存池，所述统一内存池中不同npu芯粒的内存池的物理地址是连续的，所述非统一内存池中不同npu芯粒的内存池的物理地址是非连续的。
3.根据权利要求2所述的多npu芯粒的互连架构，其特征在于，所述片内总线包括控制总线和数据总线，每个npu芯粒中的至少两个pe、控制单元和内存池通过控制总线和数据总线连接。
4.根据权利要求3所述的多npu芯粒的互连架构，其特征在于，所述控制总线为apb总线，所述数据总线为axi总线。
5.根据权利要求3所述的多npu芯粒的互连架构，其特征在于，相互连接的两个npu芯粒的内存池映射为统一内存池的情况下，其中一个npu芯粒中的控制单元控制所述统一内存池的访问，另一个npu芯粒中的控制单元处于睡眠状态。
6.根据权利要求5所述的多npu芯粒的互连架构，其特征在于，当第一npu芯粒中的控制单元通过延伸连接的控制总线...
【专利技术属性】
技术研发人员：李晓均，李杰荣，韩国伟，
申请(专利权)人：芯砺智能科技江苏有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。