【技术实现步骤摘要】
本公开通常涉及用于人工智能(artificial intelligence，ai)应用的具有超高数据传输带宽、灵活性和可扩展性的神经形态设备和系统。
技术介绍
1、神经形态芯片或系统由于其高能效计算(power-efficient computing)和认知计算而具有成为下一代人工智能(artificial intelligence，ai)架构的潜力。然而，现有的神经形态芯片和系统的架构面临着扩展(scaling out)的挑战。从性能角度来看，典型的神经形态芯片或系统是基于总线、交叉开关矩阵(crossbar)、片上网络或网格的架构，其数据传输带宽有限，可扩展性差。从硬件角度来看，现有的神经形态芯片或系统依赖单片处理器(例如cpu、gpu)来提供计算资源。尽管单片处理器具有更高的密度，因此潜在地具有更好的性能(因为处理单元彼此更接近)，但制造单片处理器的成本随着裸片(die)尺寸的增加而增加(例如，较大的裸片将导致较低的生产收益率)。此外，下一代ai模型和应用需要大量的处理单元，因此构建单片芯片变得越来越不切实际。
技术实现思路
1、为了解决上述挑战，本公开描述了一种新的基于芯粒(chiplet)的分层树状拓扑架构。
2、本说明书的各种实施例可包括具有基于芯粒的分层树状拓扑架构的硬件电路、系统和设备。这种架构可以应用于宏观层面(例如，数据中心)和微观层面(例如，芯片)。
3、根据一个方面，描述了一种基于芯粒的神经形态系统。该系统可包括:多个内插件(inte
4、在一些实施例中，一组神经元处理实体中的每个神经元处理实体包括作为本地存储器的寄存器堆(register files)。
5、在一些实施例中，每个内插件内的一组芯粒与一个或多个微凸块(micro-bumps)相连接。
6、在一些实施例中，该系统还包括多个机架级交换机(rack-level switch)，每个机架级交换机与多个内插件中的一组内插件相连接，其中多个机架级交换机被组织在树状拓扑中。
7、在一些实施例中，多个芯粒中的每个芯粒包括可配置的芯粒级时钟，以协调每个芯粒内的一组神经元处理实体。
8、在一些实施例中，一个芯粒的芯粒级时钟独立于另一个芯粒的芯粒级时钟。
9、在一些实施例中，多个内插件中的每个内插件包括可配置的内插件级时钟，以协调每个内插件内的一组芯粒，其中内插件级时钟独立于芯粒级时钟。
10、在一些实施例中，每个芯粒内的组织在树状拓扑中的多个交换机包括：根级别的根级交换机，其中根级别是树状拓扑中的最高级别；叶级别的多个叶级交换机，其中叶级别是树状拓扑中的最低级别；以及根级别和叶级别之间的多个中间级交换机，其中多个中间级交换机中的每个中间级交换机与两个或多个更低级交换机和一个更高级交换机相连接。
11、在一些实施例中，多个中间级交换机中的一个中间级交换机包括：第一输入接口，被配置为接收来自更高级交换机的一个或多个第一请求；第一优先级队列，被配置为存储接收到的一个或多个第一请求；第二输入接口，被配置为接收来自两个或多个更低级交换机中的一个更低级交换机的一个或多个第二请求；第二优先级队列，被配置为存储接收到的一个或多个第二请求；以及第三输入接口，被配置为接收一个或多个全局命令，该一个或多个全局命令控制存储在第一优先级队列中的一个或多个第一请求和存储在第二优先级队列中的一个或多个第二请求的转发顺序。
12、在一些实施例中，从更高级交换机接收的一个或多个第一请求包括从与更高级交换机相连接的一组神经元处理实体中的一个或多个神经元处理实体接收的数据。
13、在一些实施例中，每个芯粒内的一组神经元处理实体与用于本地数据通信的本地总线相连接。
14、根据另一方面，描述了一种基于芯粒的树状拓扑的神经形态芯片。基于芯粒的树状拓扑的神经形态芯片包括：多个芯粒，每个芯粒包括多个交换机和一组神经元处理实体(neuron processing entity,npe)，其中每个芯粒中的多个交换机中的每个交换机与每个芯粒中的一组神经元处理实体中的一个或多个神经元处理实体相连接，每个芯粒中的多个交换机被组织在树状拓扑中，并且使用一个或多个微凸块将多个芯粒封装到内插件(interposer)中。
15、根据又一方面，描述了一种基于树状拓扑的芯粒设备。基于树状拓扑的芯粒可以包括：多个神经元处理实体(neuron processing entity,npe)；多个交换机，每个交换机与多个神经元处理实体中的一个或多个神经元处理实体相连接；其中，多个交换机被组织在树状拓扑中，多个交换机包括：根级别的根级交换机，其中根级别是树状拓扑中的最高级别；叶级别的多个叶级交换机，其中叶级别是树状拓扑中的最低级别；以及根级别和叶级别之间的多个中间级交换机，其中多个中间级交换机中的每个中间级交换机与两个或多个更低级交换机和一个更高级交换机相连接。
本文档来自技高网...【技术保护点】
1.一种用于神经形态计算的系统，包括：
2.根据权利要求1所述的系统，其中，每个所述神经元处理实体包括作为本地存储器的寄存器堆。
3.根据权利要求1所述的系统，其中，用于将所述一个或多个芯粒连接到所述路由器的所述第三组接口包括一个或多个微凸块。
4.根据权利要求1所述的系统，其中，还包括：
5.根据权利要求1所述的系统，其中，每个所述芯粒包括可配置的芯粒级时钟，以协调每个所述芯粒内的所述一组神经元处理实体。
6.根据权利要求5所述的系统，其中，一个芯粒的所述芯粒级时钟独立于另一个芯粒的所述芯粒级时钟。
7.根据权利要求5所述的系统，其中，所述多个内插件中的每个内插件包括可配置的内插件级时钟，以协调每个所述内插件内的所述一组芯粒，其中所述内插件级时钟独立于所述芯粒级时钟。
8.根据权利要求1所述的系统，其中，每个所述芯粒内的组织在树状拓扑中的所述多个交换机包括：
9.根据权利要求8所述的系统，其中，所述多个中间级交换机中的一个中间级交换机包括：
10.根据权利要求9所述的系统
11.根据权利要求1所述的系统，其中，每个所述芯粒中的一组神经元处理实体与用于本地数据通信的本地总线相连接，而不需要经过所述芯粒中的所述多个交换机。
12.一种用于神经形态计算的芯粒，包括：
13.根据权利要求12所述的芯粒，其中，还包括：
14.根据权利要求13所述的芯粒，其中，一个芯粒的所述芯粒级时钟独立于另一个芯粒的所述芯粒级时钟。
15.根据权利要求12所述的芯粒，其中，所述多个中间级交换机中的一个中间级交换机包括：
16.根据权利要求15所述的芯粒，其中，从所述更高级交换机接收的所述一个或多个第一请求包括从与所述更高级交换机相连接的一组神经元处理实体中的一个或多个神经元处理实体接收的数据。
17.一种用于神经形态计算的芯片，包括：
18.根据权利要求17所述的芯片，其中，所述多个芯粒中的每个芯粒包括可配置的芯粒级时钟，以协调每个所述芯粒内的所述一组神经元处理实体。
19.根据权利要求18所述的芯片，其中，一个芯粒的所述芯粒级时钟独立于另一个芯粒的所述芯粒级时钟。
20.根据权利要求17所述的芯片，其中，每个所述芯粒内的组织在树状拓扑中的所述多个交换机包括：
...【技术特征摘要】
1.一种用于神经形态计算的系统，包括：
2.根据权利要求1所述的系统，其中，每个所述神经元处理实体包括作为本地存储器的寄存器堆。
3.根据权利要求1所述的系统，其中，用于将所述一个或多个芯粒连接到所述路由器的所述第三组接口包括一个或多个微凸块。
4.根据权利要求1所述的系统，其中，还包括：
5.根据权利要求1所述的系统，其中，每个所述芯粒包括可配置的芯粒级时钟，以协调每个所述芯粒内的所述一组神经元处理实体。
6.根据权利要求5所述的系统，其中，一个芯粒的所述芯粒级时钟独立于另一个芯粒的所述芯粒级时钟。
7.根据权利要求5所述的系统，其中，所述多个内插件中的每个内插件包括可配置的内插件级时钟，以协调每个所述内插件内的所述一组芯粒，其中所述内插件级时钟独立于所述芯粒级时钟。
8.根据权利要求1所述的系统，其中，每个所述芯粒内的组织在树状拓扑中的所述多个交换机包括：
9.根据权利要求8所述的系统，其中，所述多个中间级交换机中的一个中间级交换机包括：
10.根据权利要求9所述的系统，其中，从所述更高级交换机接收的所述一个或多个第一请求包括从与所述更高级交换机连接的所述一组神经元处理实体中的一个或多个神经元处...
【专利技术属性】
技术研发人员：罗竣文，王圣诚，张健松，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。