用于加速器中多个并行数据路径通道的存储体式存储器架构制造技术

本公开涉及用于将存储体式存储器结构与加速器一起使用的设备和方法。这些设备和方法可以对加速器的数据路径和存储器中的数据流进行分段和隔离。这些设备和方法可以为每个数据通道提供其自己的寄存器存储器库。这些设备和方法可以使用存储器地址解码器来将局部变量放置在适当的存储器库中。量放置在适当的存储器库中。量放置在适当的存储器库中。

【技术实现步骤摘要】
【国外来华专利技术】用于加速器中多个并行数据路径通道的存储体式存储器架构

技术介绍

[0001]扩展深度神经网络(DNN)加速器时，会出现常见的存储器带宽问题。缩放加速器的计算吞吐量的一种方法是通过缩放独立数据路径的数目来增加数据并行度，每个独立数据路径对数据的不同部分(例如，矩阵中的不同行或不同的输入向量)并行操作。然而，如果这些数据路径中的每一个都必须从单个逻辑统一的存储器结构访问数据，那么支持对该结构的越来越多的独立访问的复杂度变得过高地昂贵。

技术实现思路

[0002]提供本
技术实现思路
是为了以简化形式介绍一组概念，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用作确定所要求保护的主题的范围的辅助。
[0003]一个示例实现涉及一种与加速器一起使用的存储体式存储器(banked memory)结构。该存储体式存储器结构可以包括多个本地存储器，其中多个本地存储器包括存储器解码器。该存储体式存储器结构可以包括多个计算单元；以及多个通道，其中多个通道中的每个通道与多个本地存储器中的单独的本地存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于与加速器一起使用的存储体式存储器结构，包括：多个本地存储器，其中所述多个本地存储器包括存储器解码器；多个计算单元；以及多个通道，其中所述多个通道中的每个通道与所述多个本地存储器中的单独的本地存储器和所述多个计算单元中的一个计算单元配对，其中所述存储器解码器接收针对所述加速器的数据，其中所述数据包括多个向量，并且所述多个向量中的每个向量由所述存储器解码器分配给所述多个通道中的一个通道，以用于由与所述通道相关联的所述计算单元进行处理。2.根据权利要求1所述的存储体式存储器结构，其中每个计算单元被配置为处理被提供给该计算单元的所述数据而不访问来自其他通道的数据或与所述其他通道共享所述数据。3.根据权利要求1所述的存储体式存储器结构，其中每个计算单元被配置为将所述数据写入与所述通道相关联的所述单独的本地存储器，并且从与所述通道相关联的所述单独的本地存储器读取所述数据，并且其中所述存储器解码器被配置为在由所述计算单元进行所述处理之后将所述数据发送回以下一项或多项：动态随机存取存储器(DRAM)、所述本地存储器中的任何向量寄存器文件(VRF)、或网络。4.根据权利要求1所述的存储体式存储器结构，其中所述存储器解码器被配置为使用存储器地址策略，以通过迭代通过所述多个向量中的每个向量来将所述多个向量中的每个向量映射到所述单独的本地存储器的存储器地址，并且在每次迭代中，所述存储器解码器顺序地将所述多个向量中的每个向量映射到所述多个本地存储器中的下一单独的本地存储器。5.根据权利要求1所述的存储体式存储器结构，其中所述多个计算单元中的每个计算单元被配置为在被分配给每个计算单元的所述数据上并行操作。6.根据权利要求1所述的存储体式存储器结构，其中所述单独的本地存储器包括向量寄存器文件(VRF)，并且每个通道包括矩阵
‑
向量乘法器(MVM)。7.根据权利要求1所述的存储体式存储器结构，其中所述加速器是深度神经网络(DNN)加速器。8.一种由加速器的存储器解码器执行的方法，包括：接收用于与...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：