运用交叉开关矩阵实施多层神经网络制造技术

本公开披露了运用交叉开关矩阵实施多层神经网络的系统和方法。在一些实施方法中，该装置包括：多个第一个器件、多个第二个器件，以及连接多个第一个器件和多个第二个器件的多个第一个流量控制器。多个第一个流量控制器中的每一个均独立于其他多个第一个流量控制器。在一些实施方法中，该装置还包括：多个第三个器件；连接多个第二个器件和多个第三个器件的多个第二个流量控制器；以及分隔多个第一个流量控制器和多个第二个流量控制器的第一条共用接地线。多个第二个流量控制器中的每一个均独立于多个第一个流量控制器中的每一个。

Using cross switch matrix to implement multilayer neural network

【技术实现步骤摘要】
运用交叉开关矩阵实施多层神经网络
本公开涉及交叉开关矩阵电路，更具体一点说，是涉及运用一个或多个交叉开关矩阵实施多层神经网络。
技术介绍
高性能神经网络通常包括深度和宽度神经层，其实施涉及按序列执行大量大规模矩阵乘法。交叉开关矩阵可包括相互交叉的横行金属线和纵列金属线(或电极)，在交叉点处形成交叉点器件。然而，单个交叉开关矩阵可执行单个向量矩阵乘法。因此，实施涉及大规模矩阵乘法的多层神经网络仍然是一项技术挑战。
技术实现思路
一种装置，包括：多个第一个器件；多个第二个器件；以及连接多个第一个器件和多个第二个器件的多个第一个流量控制器，其中多个第一个流量控制器中的每一个均独立于其他多个第一个流量控制器。在一些实施方法中，多个第一个器件中的一个和/或多个第二个器件中的一个包括：忆阻器、忆阻系统、浮栅器件、相变随机存取存储器(PCRAM)器件、电阻式随机存取存储器(RRAM或ReRAM)、磁阻随机存取存储器(MRAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(静态RAM或SRAM)或带可调电阻的其他器件。在一些实施方法中，该装置还包括：多个第三个器件；连接多个第二个器件和多个第三个器件的多个第二个流量控制器；以及分隔多个第一个流量控制器和多个第二个流量控制器的第一条共用接地线，其中多个第二个流量控制器中的每一个均独立于多个第一个流量控制器中的每一个。在一些实施方法中，该装置还包括：多个第四个器件；连接多个第三个器件和多个第四个器件的多个第三个流量控制器；以及分隔多个第二个流量控制器和多个第三个流量控制器的第二条共用接地线，其中多个第三个流量控制器中的每一个均独立于多个第二个流量控制器中的每一个。在一些实施方法中，该装置还包括：多个第一个金属层；多个第二个金属层；以及连接到多个第一个金属层和多个第二个金属层的信号源，其中多个第一个金属层和多个第二个金属层在多个第二个流量控制器的两端形成。一种方法包括：为装置准备一个输入信号，该配置包括多个第一个器件、多个第二个器件、多个第三个器件、多个第四个器件、连接多个第一个器件和多个第二个器件的多个第一个流量控制器、连接多个第二个器件和多个第三个器件的多个第二个流量控制器、连接多个第三个器件和多个第四个器件的多个第三个流量控制器；选择多个第二个流量控制器中的一个作为选定的第二个流量控制器；将位于选定的第二个流量控制器两端的多个第二个器件中的一个和多个第三个器件中的一个变为导通状态；对选定的第二个流量控制器进行编程，其中多个第二个器件和多个第三个器件为行式器件。一种方法包括：为装置准备一个输入信号，该配置包括多个第一个器件、多个第二个器件、多个第三个器件、多个第四个器件、连接多个第一个器件和多个第二个器件的多个第一个流量控制器、连接多个第二个器件和多个第三个器件的多个第二个流量控制器及连接多个第三个器件和多个第四个器件的多个第三个流量控制器；选择多个第二个流量控制器中的一个作为选定的第二个流量控制器；将位于选定的第二个流量控制器两端的多个第二个器件中的一个和多个第三个器件中的一个变为导通状态；将与多个第二个器件中的一个位于同一列上的多个第二个器件中的其他器件变为关断状态；将与多个第三个器件中的一个位于同一列上的多个第三个器件中的其他器件变为关断状态；对选定的第二个流量控制器进行编程，其中多个第二个器件和多个第三个器件为列式器件。一种装置，包括：多个第一个器件；多个第二个器件；多个第三个器件；多个第四个器件；连接多个第一个器件和多个第二个器件的多个第一个流量控制器；连接多个第二个器件和多个第三个器件的多个第二个流量控制器；连接多个第三个器件和多个第四个器件的多个第三个流量控制器；以及连接多个第四个器件和多个第一个器件的多个第四个流量控制器，其中多个第一个流量控制器、多个第二个流量控制器、多个第三个流量控制器和多个第四个流量控制器中的每一个均独立于其他流量控制器。在一些实施方法中，该装置还包括：第一条共用接地线；第二条共用接地线，其中第一条共用接地线将多个第二个流量控制器和多个第三个流量控制器、和/或多个第三个流量控制器和多个第四个流量控制器分开。在一些实施方法中，第二条共用接地线将多个第二个流量控制器和多个第三个流量控制器、和/或多个第一个流量控制器和多个第四个流量控制器分开。附图说明图1是方框图，展示了示例性神经网络。图2是方框图，展示了从4D卷积到2D密集矩阵乘法的示例性转换。图3A是方框图，根据一些实施方法，展示了使用交叉开关矩阵电路实施的示例性多层神经网络。图3B和3C是方框图，根据一些实施方法，展示了两个示例性流量控制器。图4是方框图，根据一些实施方法，展示了示例性双瓦片交叉开关矩阵。图5是方框图，根据一些实施方法，展示了示例性三瓦片交叉开关矩阵。图6是方框图，根据一些实施方法，展示了示例性带行式存取晶体管的四瓦片交叉开关矩阵。图7是方框图，根据一些实施方法，展示了示例性带列式存取晶体管的四瓦片交叉开关矩阵。图8A是方框图，根据一些实施方法，展示了示例性十二瓦片交叉开关矩阵。图8B是方框图，根据一些实施方法，展示了示例性十二瓦片交叉开关矩阵。图9是方框图，根据一些实施方法，展示了示例性五层神经网络。图10是方框图，展示了由图9所示五层神经网络产生的示例性模拟结果。图11是方框图，根据一些实施方法，展示了示例性五层神经网络。图12是流程图，根据一些实施方法，展示了运用交叉开关矩阵实施多层神经网络的示例性方法。图13是方框图，根据一些实施方法，展示了运用交叉开关矩阵实施多层神经网络的示例性计算系统。本公开所公开的实施通过举例而非限制的方式在附图中进行说明。参考数字是指图纸上相应的零件。具体实施方式系统和方法可以使用一个或多个交叉开关矩阵来实施高性能和高效率的多层神经网络。本公开中所述技术可以带来以下技术优势。首先，用于控制交叉开关矩阵内流量控制器的编程信号和用于控制交叉点器件的编程信号可具有不同的信号阈值，从而减少流量控制器和交叉点器件之间的扰动和干扰。其次，用于流量控制器的编程信号可单独编程并彼此独立，这使得多个交叉开关矩阵能够更加紧凑地连接，并且可显著提高功率效率和电路速度。第三，可使用交叉开关矩阵来实施需要快捷路径的神经网络，例如残差网络(ResNet)。图1是方框图，展示了示例性神经网络100。神经网络通常包含多层，例如图1所示的神经网络100。在一些实施方法中，数据从最左侧层(例如输入层)流入，结果从最右侧层(例如输出层)流出，其中每层均可能涉及类似于以下的计算：Yn+l＝Fn(Gn(Wn5Yn))在这里,Yn表示第n层的输出矩阵，Wn表示第n层的权重矩阵，Wi,j表示第n层的第i个输出与第(n+1)层的第j个输入之间的权重。Gn表示描述Yn如何使用第n层的Wn进行计算的函数：在完全连接的层中，Gn可以是矩阵本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n多个第一个器件；/n多个第二个器件；以及/n连接多个第一个器件和多个第二个器件的多个第一个流量控制器，其中/n多个第一个流量控制器中的每一个均独立于其他多个第一个流量控制器。/n

【技术特征摘要】
20180907 US 16/125,4541.一种装置，包括：
多个第一个器件；
多个第二个器件；以及
连接多个第一个器件和多个第二个器件的多个第一个流量控制器，其中
多个第一个流量控制器中的每一个均独立于其他多个第一个流量控制器。


2.如权利要求书1中所述装置，其中多个第一个器件中的一个和/或多个第二个器件中的一个包括：忆阻器、忆阻系统、浮栅器件、相变随机存取存储器(PCRAM)器件、电阻式随机存取存储器(RRAM或ReRAM)、磁阻随机存取存储器(MRAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(静态RAM或SRAM)或带可调电阻的其他器件。


3.如权利要求书1中所述装置，其中还包括：多个第三个器件；
连接多个第二个器件和多个第三个器件的多个第二个流量控制器；以及
分隔多个第一个流量控制器和多个第二个流量控制器的第一条共用接地线，其中
多个第二个流量控制器中的每一个均独立于多个第一个流量控制器中的每一个。


4.如权利要求书3中所述装置，其中还包括：多个第四个器件；
连接多个第三个器件和多个第四个器件的多个第三个流量控制器；以及
分隔多个第二个流量控制器和多个第三个流量控制器的第二条共用接地线，其中多个第三个流量控制器中的每一个均独立于多个第二个流量控制器中的每一个。


5.如权利要求书4中所述装置，其中还包括：多个第一个金属层；
多个第二个金属层；以及
连接到多个第一个金属层和多个第二个金属层的信号源，其中
多个第一个金属层和多个第二个金属层在多个第二个流量控制器的两端形成。


6.一种方法包括：
为装置准备一个输入信号，该配置包括：
多个第一个器件、多个第二个器件、多个第三个器件、多个第四个器件、
连接多个第一个器件和多个第二个器件的多...

【专利技术属性】
技术研发人员：葛宁，
申请(专利权)人：特忆智能科技，
类型：发明
国别省市：美国;US