一种基于忆阻的神经网络联想记忆方法技术

本发明专利技术针对目前基于电阻实现的神经网络电路联想记忆精度和可靠性方面的缺陷，提出一种基于忆阻实现的神经网络联想记忆方法，以解决目前神经网络电路连接权不能达到最优解造成的联想记忆精度和可靠性受到限制的问题。本发明专利技术借助忆阻器自身阻值可变的特性，解决了基于电阻实现的神经网络电路连接权不可调整的缺陷，具有更好的灵活性；以忆阻实现的神经网络电路由于权值可调整，可实现神经网络连接权的最优解，进而提高了神经网络联想记忆的精度；由于神经网络输出精度提高，从而使得神经网络联想记忆的可靠性性和准确性都得到提升；由于忆阻器是纳米级材料，因此将传统神经网络电路中的电阻替换为忆阻将使得神经网络电路更加微型化。

【技术实现步骤摘要】
一种基于忆阻的神经网络联想记忆方法
本专利技术属于人工智能领域，更具体地，涉及一种基于忆阻特性和神经网络稳定性实现的联想记忆方法，可应用于模式识别。
技术介绍
在过去的几十年，神经网络已经成功的应用在图像处理、模式识别和优化控制等领域，其中联想记忆由于在分类识别方面的广泛应用而成为模式识别领域的热点之一。值得注意的是，目前关于神经网络电路的硬件实现是使用电阻来模拟生物神经元之间突触的连接强度，然而生物突触的连接强度是可变的，电阻的阻值却是固定的，这表明目前神经网络电路连接权并不能达到最优解。由于神经网络电路的连接权直接决定神经网络的精度和可靠性，因此目前基于电阻的神经网络电路联想记忆精度和可靠性都存在不足。1971年，蔡少棠教授从对称性的角度预测除了电容、电感和电阻，电子电路还存在第四种基本元件，并将其命名为忆阻器。2008年5月，惠普实验室宣布制造出这种纳米级双端可变电阻。后来，忆阻器又被发现可同时进行布尔逻辑运算、数据处理和信息存储。忆阻器的优良特性暗示可以将忆阻器作为生物突触的电子等价物，从而实现类脑神经网络以弥补目前基于电阻实现的神经网络电路联想记忆精度和可靠性方面的缺陷。
技术实现思路
本专利技术的目的是针对目前基于电阻实现的神经网络电路联想记忆精度和可靠性方面的缺陷，提出一种基于忆阻实现的神经网络联想记忆方法，以解决目前神经网络电路连接权不能达到最优解造成的联想记忆精度和可靠性受到限制的问题。与现有技术比较，本专利技术的优点是：1、借助忆阻器自身阻值可变的特性，解决了基于电阻实现的神经网络电路连接权不可调整的缺陷，具有更好的灵活性。2、以忆阻实现的神经网络电路由于权值可调整，可实现神经网络连接权的最优解，进而提高了神经网络联想记忆的精度。3、由于神经网络输出精度提高，从而使得神经网络联想记忆的可靠性性和准确性都得到提升。4、由于忆阻器是纳米级材料，因此将传统神经网络电路中的电阻替换为忆阻将使得神经网络电路更加微型化。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是忆阻神经网络电路图；图2是忆阻器Simulink电气建模图；图3是忆阻器电压-电流特性曲线图；图4是忆阻器二值切换特性曲线；图5是自联想记忆图；图6是自联想记忆状态曲线轨迹图；图7是自联想记忆输出曲线轨迹图；图8是自联想记忆动态过程演化图；图9是异联想记忆图；图10是异联想记忆状态曲线轨迹图；图11是异联想记忆输出曲线轨迹图；图12是异联想记忆动态过程演化图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。在经典的联想记忆案例巴普洛夫的狗实验中，给狗喂食物时狗会分泌唾液；而只打铃不喂食物，狗不会分泌唾液；在喂食物的同时打铃，经过一段时间后，即使只打铃不喂食物，狗也会分泌唾液。巴普洛夫的狗实验展现了一个联想记忆的完整过程。巴普洛夫的狗的实验中展现的完整联想记忆过程可分为自联想记忆和异联想记忆。自联想记忆定义为外部输入字母“L”，在任意初始条件下，神经网络都能联想记忆输出字母“L”。异联想记忆定义为外部输入字母“T”，在任意初始条件下，神经网络都能联想记忆输出字母“L”。其中喂食物产生唾液展现了自联想记忆过程，只打铃不喂食物则展现了异联想记忆过程。本专利技术的基于忆阻的神经网络联想记忆方法具体包含如下步骤。步骤1.通过用忆阻替换传统神经网络电路中的电阻获得基于忆阻的神经网络电路如图1所示。如图1标注所示，CR的忆阻所代表的神经网络连接权矩阵为D，CP框的忆阻所代表的神经网络连接权矩阵为A，CG框的忆阻所代表的神经网络连接权矩阵为B。其中连接权D表示与电容并联的忆阻，连接权A表示激活函数项fn(xn(t))与电容电压xn(t)之间的忆阻，连接权B表示激活函数时滞项fn(xn(t-τ))与电容电压xn(t)之间的忆阻。其中，n表示神经元的个数。步骤2.根据基尔霍夫电流定律导出忆阻神经网络数学模型如下：移项化简：各符号名词的解释为：Mi＝Mi(qi(t)):表示连接权矩阵D的子元素，即与电容并联的忆阻。表示连接权矩阵A的子元素，即只有激活函数项fj(xj(t))的忆阻。表示连接权矩阵B的子元素，即只有激活函数时滞项fj(xj(t-τj(t)))的忆阻。表示外部输入。xi(t)：表示电容Ci两端电压。τj(t):表示传输时变时滞。并定义sgnij函数为：步骤3.上述神经网络数学模型可改写为如下分量形式：其中di(qi(t))，和是基于忆阻的连接权并且被定义如下：步骤4.可知与基于忆阻的神经网络数学模型的分量形式对应的矩阵形式为：y(t)＝f(x(t))sgnij。步骤5.根据惠普实验室制造出的忆阻器的数学模型，在Simulink中搭建忆阻器的电气模型，如图2所示。其中simout模块输出忆阻器电压变化过程数据到工作站，simout1模块输出忆阻器电流变化过程数据到工作站，simout2模块输出忆阻器电压的积分即磁通变化过程数据到工作站，simout3模块输出忆阻器电流的积分即电荷变化过程数据到工作站。步骤6.根据输出到工作站中的电压和电流数据绘制HPmemristor电压-电流特性曲线，由HPmemristor电压-电流特性曲线可抽象出用于二值切换的Typicalmemristor电压-电流特性曲线，如图3所示。步骤7.忆阻器是一个非线性无源二端元件，其忆阻值被定义为并且磁通和电荷分别定义为电压和电流对时间的积分(说明：电气建模图中的1/s即为积分环节用于对电压电流积分，输出磁通与电荷)，其计算表达式为：为了使我们的说明更加通俗易懂，下面以忆阻器二值切换作为特例进行具体说明。步骤8.与HPmemristor电压-电流特性曲线相对应，利用simout2模块和simout3模块导出的磁通电荷数据绘制HPmemristor磁通-电荷特性曲线；根据忆阻值的定义电荷-磁通特性曲线在某一时刻的斜率即为当前时刻的忆阻值；根据HPmemristor磁通-电荷特性曲线，忆阻器的忆阻值任意连续可变，故可用忆阻器代替传统神经网络电路中的电阻构成精度更高的忆阻神经网络电路；同理，抽象出用于二值切换特例的Typicalmemristor磁通-电荷特性曲线。如图4所示这里必然存在着一个阈值电荷，这个阈值电荷将实现忆阻器的阻值切换。根据忆阻器二值切换特性曲线知二值切换规则为：步骤9.根据忆阻神经网络连接权表达式知连接权是关于忆阻M(q(t))的函数，因此可导出忆阻神经网络连接权模型为：步骤10.根据忆阻神经网络电路，可获得忆阻神经网络电路中忆阻两端电压通式为：Vij＝fj(xj(·))sgnij-xi(t)；(1)对于连接权矩阵D来说，根据神经网络电路，由于D没有激活函数项fj(xj(t))sgnij和时滞激活函数项fj(xj(t-τ(t)))sgnij，因此f(xj(·))j＝0，故对于D所属的忆阻的两端电压为Vij(t)＝0-xi(t)；(2)对于连接权矩阵A来说，根据神经网络电路，由于A只有激活函数项fj(xj(t))sgnij，因此f(xj(·))j＝fj(xj(t))sgnij，故对于A所属的忆阻的两端电压为Vij(t)＝fj(xj(t))sgnij-xi(t)；(3)对于连接权矩阵B来说，根据本文档来自技高网...

【技术保护点】
1.一种基于忆阻的神经网络联想记忆方法，其特征在于，包含如下步骤：步骤1.通过用忆阻替换传统神经网络电路中的电阻获得基于忆阻的神经网络电路；D为忆阻所代表的神经网络连接权矩阵，A为忆阻所代表的神经网络连接权矩阵为A，B为忆阻所代表的神经网络连接权矩阵，其中连接权D表示与电容并联的忆阻，连接权A表示激活函数项fn(xn(t))与电容电压xn(t)之间的忆阻，连接权B表示激活函数时滞项fn(xn(t‑τ))与电容电压xn(t)之间的忆阻；n表示神经元的个数；步骤2.根据基尔霍夫电流定律导出忆阻神经网络数学模型如下：

【技术特征摘要】
1.一种基于忆阻的神经网络联想记忆方法，其特征在于，包含如下步骤：步骤1.通过用忆阻替换传统神经网络电路中的电阻获得基于忆阻的神经网络电路；D为忆阻所代表的神经网络连接权矩阵，A为忆阻所代表的神经网络连接权矩阵为A，B为忆阻所代表的神经网络连接权矩阵，其中连接权D表示与电容并联的忆阻，连接权A表示激活函数项fn(xn(t))与电容电压xn(t)之间的忆阻，连接权B表示激活函数时滞项fn(xn(t-τ))与电容电压xn(t)之间的忆阻；n表示神经元的个数；步骤2.根据基尔霍夫电流定律导出忆阻神经网络数学模型如下：移项化简：各符号名词的解释为：Mi＝Mi(qi(t))：表示连接权矩阵D的子元素，即与电容并联的忆阻；表示连接权矩阵A的子元素，即只有激活函数项fj(xj(t))的忆阻；表示连接权矩阵B的子元素，即只有激活函数时滞项fj(xj(t-τj(t)))的忆阻；表示外部输入；xi(t)：表示电容Ci两端电压；τj(t)：表示传输时变时滞；并定义sgnij函数为：步骤3.获取上述神经网络数学模型的分量形式：其中di(qi(t))，和是基于忆阻的连接权并且被定义如下：步骤4.获取与基于忆阻的神经网络数学模型的分量形式对应的矩阵形式：y(t)＝f(x(t))sgnij；步骤5.根据惠普实验室制造出的忆阻器的数学模型，在Simulink中搭建忆阻器的电气模型，其中simout模块输出忆阻器电压变化过程数据到工作站，simout1模块输出忆阻器电流变化过程数据到工作站，simout2模块输出忆阻器电压的积分即磁通变化过程数据到工作站，simout3模块输出忆阻器电流的积分即电荷变化过程数据到工作站；步骤6.根据输出到工作站中的电压和电流数据绘制HPmemristor电压-电流特性曲线，由HPmemristor电压-电流特性曲线抽象出用于二值切换的Typicalmemristor电压-电流特性曲线；步骤7.忆阻器是一个非线性无源二端元件，其忆阻值被定义为并且磁通和电荷分别定义为电压和电流对时间的积分，其计算表达式为：步骤8.与HPmemristor电压-电流特性曲线相对应，利用simout2模块和simout3模块导出的磁通电荷数据绘制HPmemristor磁通-电荷特性曲线；根据忆阻值的定义电荷-磁通特性曲线在某一时刻的斜率即为当前时刻的忆阻值；根据HPmemristor磁通-电荷特性曲线，忆阻器的忆阻值任意连续可变，故可用忆阻器代替传统神经网络电路中的电阻构成精度更高的忆阻神经网络电路；同理，抽象出用于二值切换特例的Typicalmemristor磁通-电荷特性曲线；然后根据忆阻器二值切换特性曲线得到二值切换规则；步骤9.根据忆阻神经网络连接权表达式知连接权是关于忆阻M(q(t))的函数，因此导出忆阻神经网络连接权模型为：步骤10.根据忆阻神经网络电路，获得忆阻神经网络电路中忆阻两端电压通式为：Vij＝fj(xj(·))sgnij-xi(t)；步骤11.在每一个忆阻周期内曲线没有交叉点，因此在任意时刻t，忆阻的忆阻值被唯一确定，并且每一个忆阻...

【专利技术属性】
技术研发人员：王雷敏，邬杰，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42