一种基于忆阻交叉阵列的LSTM神经网络系统技术方案

本发明专利技术公开了一种基于忆阻交叉阵列的LSTM神经网络系统，包括：输入层、特征提取层和分类输出层，特征提取层包括：数据存储器、第一忆阻交叉阵列、第一DA转换器和AD转换器，所述分类输出层包括：第二DA转换器、第二忆阻交叉阵列和电压比较器；所述第一忆阻交叉阵列，用于进行特征提取；所述第二忆阻交叉阵列，用于进行特征分类，所述电压比较器，用于对多个模拟电压进行比较，得到多个模拟电压的比较结果；将比较结果中的最大值作为输入层的数字信号的分类结果。本发明专利技术系统尺寸更小，功耗更低。

【技术实现步骤摘要】
一种基于忆阻交叉阵列的LSTM神经网络系统
本专利技术属于神经网络领域，更具体地，涉及一种基于忆阻交叉阵列的LSTM神经网络系统。
技术介绍
卷积神经网络(CNN)，全卷积网络(FCN)和长期短期记忆(LSTM)等深度神经网络的发展促进了深度神经网络硬件设计的研究。在深度神经网络硬件电路设计领域，由于大量的输入数据(例如图像或文本)、网络结构复杂、网络参数众多等原因，常见的CMOS设计深度神经网络面临电路的尺寸太大，功耗高等问题。2008年，惠普公司的研究员首次做出纳米尺寸的忆阻器，神经形态计算系统现实的基本挑战是人工突触的发展，而忆阻器的发现为我们设计神经形态计算架构提供了完美契合的元件。忆阻器，由于其纳米级尺寸，非易失性，高密度，低功耗以及与CMOS技术的兼容性等优异性能，已经展现出其在神经网络硬件设计的广泛应用前景。然而，由于LSTM神经网络在结构和运行原理上与CNN存在很大的差异性，因此整个基于卷积神经网络的硬件电路结构在LSTM中不再实用，同时现有技术存在尺寸较大，功耗较大的技术问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于忆阻交叉阵列的LSTM神经网络系统，由此解决现有技术存在尺寸较大，功耗较大的技术问题。为实现上述目的，本专利技术提供了一种基于忆阻交叉阵列的LSTM神经网络系统，包括：输入层、特征提取层和分类输出层，所述特征提取层包括：数据存储器、第一忆阻交叉阵列、第一DA转换器和AD转换器，其中，数据存储器，用于存储输入层的数字信号和特征提取后的数字信号；第一DA转换器，用于将输入层的数字信号转化为第一模拟电压；第一忆阻交叉阵列，用于对第一模拟电压进行特征提取，得到第一电流；AD转换器，用于将第一电流转化为特征提取后的数字信号；所述分类输出层包括：第二DA转换器、第二忆阻交叉阵列和电压比较器；其中，第二DA转换器，用于将特征提取后的数字信号转化为第二模拟电压；第二忆阻交叉阵列，用于对第二模拟电压进行特征分类，得到多个模拟电压；电压比较器，用于对多个模拟电压进行比较，得到多个模拟电压的比较结果；将比较结果中的最大值作为输入层的数字信号的分类结果。进一步地，第一忆阻交叉阵列包括电压输入端口、阈值忆阻器、电压反相器、运算放大器和乘法器，任意相邻的两个电压输入端口中，一个电压输入端口与阈值忆阻器之间通过电压反相器连接，一个电压输入端口与阈值忆阻器直接相连，运算放大器与阈值忆阻器并联；电压反相器的一端与运算放大器的输出端连接，另一端与乘法器的输入端连接。进一步地，运算放大器与阈值忆阻器并联，用于实现Sigmoid激活函数的运算功能以及将电流信号转换为电压信号。进一步地，运算放大器与阈值忆阻器并联，用于实现双曲正切激活函数的运算功能以及将电流信号转换为电压信号。进一步地，第二忆阻交叉阵列包括电压输入端口、阈值忆阻器和电压反相器，任意相邻的两个电压输入端口中，一个电压输入端口与阈值忆阻器之间通过电压反相器连接，一个电压输入端口与阈值忆阻器直接相连。进一步地，为了避免阈值忆阻器短路，第一忆阻交叉阵列的交点无电气连接，所述第二忆阻交叉阵列的交点无电气连接。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)由于忆阻的纳米级尺寸和交叉阵列的高密度，使得本专利技术的硬件电路体积小、易于集成以及更适宜大范围在深度神经网络硬件设计中推广。另外，忆阻器的低功耗特性使得整个系统的功耗相比CMOS等材料功耗明显降低。(2)通常一个阈值忆阻器只能表达一个正权值，而本专利技术中任意相邻的电压输入端口中，一个电压输入端口与阈值忆阻器之间通过电压反相器连接，一个电压输入端口与阈值忆阻器直接相连，如此设计两个相邻阈值忆阻器可以表达一个具有正负的权值。附图说明图1是本专利技术实施例提供的长短期记忆神经网络原理图；图2是本专利技术实施例提供的一种基于忆阻交叉阵列的LSTM神经网络系统的结构图；图3是本专利技术实施例提供的长短期记忆神经网络特征提取层单元原理图；图4是本专利技术实施例提供的第一忆阻交叉阵列的电路图；图5是本专利技术实施例提供的第二忆阻交叉阵列的电路图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，长期短期记忆(LSTM)神经网络包括：输入层、特征提取层和分类输出层。如图2所示，一种基于忆阻交叉阵列的LSTM神经网络系统，包括：输入层、特征提取层和分类输出层，所述特征提取层包括：数据存储器、第一开关、第一读电路、写电路、第一忆阻交叉阵列、第一DA转换器和AD转换器，所述分类输出层包括：第二开关、第二读电路、第二DA转换器、第二忆阻交叉阵列和电压比较器；当第一开关闭合、第二开关断开时，系统进行特征提取；当第一开关断开、第二开关闭合时，系统进行分类输出；所述数据存储器，用于存储输入层的数字信号和特征提取后的数字信号；所述第一读电路，用于读取数据存储器中的输入层的数字信号，并传输至第一DA转换器；所述第一DA转换器，用于将输入层的数字信号转化为第一模拟电压；所述第一忆阻交叉阵列，用于对第一模拟电压进行特征提取，得到第一电流；所述AD转换器，用于将第一电流转化为特征提取后的数字信号；所述写电路，用于将特征提取后的数字信号写入数据存储器；所述第二读电路，用于读取数据存储器中的特征提取后的数字信号，并传输至第二DA转换器；所述第二DA转换器，用于将特征提取后的数字信号转化为第二模拟电压；所述第二忆阻交叉阵列，用于对第二模拟电压进行特征分类，得到多个模拟电压；所述电压比较器，用于对多个模拟电压进行比较，得到多个模拟电压的比较结果；将比较结果中的最大值作为输入层的数字信号的分类结果。图3展示了LSTM神经网络内部单元(LSTMcell)的原理图，图中ct是LSTMcell的状态，ct-1是上一时刻LSTMcell的状态，ht是LSTMcell的输出，ht-1是上一时刻LSTMcell的输出。ct-1的数据宽度为1，ct的数据宽度为64，Sigmoid表示Sigmoid激活函数，Tanh表示双曲正切激活函数，f表示遗忘门的输出，i表示输入门，j表示更新门，o表示输出门，f_b表示遗忘偏置，bt表示遗忘门的偏置，bi表示输入门的偏置，bj表示更新门的偏置，bo表示输出门的偏置，Whf表示遗忘门的状态权重，Wxf表示遗忘门的输入权重，Whi表示输入门的状态权重，Wxi表示输入门的输入权重，Whj表示更新门的状态权重，Wxj表示更新门的输入权重，Who表示输出门的状态权重，Wxo表示输出门的输入权重，X表示LSTMcell的输入。LSTMcell的原理图中特征提取部分转化为数学表达式如下：f＝sigmoid(x*Wxf+ht-1*Whf+bf+f_b)i＝sigmoid(x*Wxi+ht-1*Whi+bi)j＝tanh(x*Wxj+ht-1*Whj+bj)o＝sigmoid(x*Wxo+ht-1*Who+bo)以上数据计算对应交叉阵列的功能，以下是交叉阵列下面辅助电路的本文档来自技高网...

【技术保护点】
1.一种基于忆阻交叉阵列的LSTM神经网络系统，包括：输入层、特征提取层和分类输出层，其特征在于，所述特征提取层包括：数据存储器、第一忆阻交叉阵列、第一DA转换器和AD转换器，其中，数据存储器，用于存储输入层的数字信号和特征提取后的数字信号；第一DA转换器，用于将输入层的数字信号转化为第一模拟电压；第一忆阻交叉阵列，用于对第一模拟电压进行特征提取，得到第一电流；AD转换器，用于将第一电流转化为特征提取后的数字信号；所述分类输出层包括：第二DA转换器、第二忆阻交叉阵列和电压比较器；其中，第二DA转换器，用于将特征提取后的数字信号转化为第二模拟电压；第二忆阻交叉阵列，用于对第二模拟电压进行特征分类，得到多个模拟电压；电压比较器，用于对多个模拟电压进行比较，得到多个模拟电压的比较结果；将比较结果中的最大值作为输入层的数字信号的分类结果。

【技术特征摘要】
1.一种基于忆阻交叉阵列的LSTM神经网络系统，包括：输入层、特征提取层和分类输出层，其特征在于，所述特征提取层包括：数据存储器、第一忆阻交叉阵列、第一DA转换器和AD转换器，其中，数据存储器，用于存储输入层的数字信号和特征提取后的数字信号；第一DA转换器，用于将输入层的数字信号转化为第一模拟电压；第一忆阻交叉阵列，用于对第一模拟电压进行特征提取，得到第一电流；AD转换器，用于将第一电流转化为特征提取后的数字信号；所述分类输出层包括：第二DA转换器、第二忆阻交叉阵列和电压比较器；其中，第二DA转换器，用于将特征提取后的数字信号转化为第二模拟电压；第二忆阻交叉阵列，用于对第二模拟电压进行特征分类，得到多个模拟电压；电压比较器，用于对多个模拟电压进行比较，得到多个模拟电压的比较结果；将比较结果中的最大值作为输入层的数字信号的分类结果。2.如权利要求1所述的一种基于忆阻交叉阵列的LSTM神经网络系统，其特征在于，所述第一忆阻交叉阵列包括电压输入端口、阈值忆阻器、电压反相器、运算放大器和乘法器，任意相邻的两个电压输入端口中，一个电压输入端口...

【专利技术属性】
技术研发人员：温世平，魏华强，黄廷文，曾志刚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42