当前位置: 首页 > 专利查询>王剑专利>正文

一种联想记忆神经网络制造技术

技术编号:4844027 阅读:295 留言:0更新日期:2012-04-11 18:40
本发明专利技术涉及人工神经网络,是一种联想记忆神经网络,此网络实现了大存储容量、完全消除了假模式、具有多模式回忆能力,同时具有较高的记忆可靠性;希望记忆的模式被存储在网络的一组连接中,这些连接构成一个通过网络中所有神经元的单环回路;网络中处理和传递的信号为主要由神经元编号组成的序列,神经元执行一组处理这种序列的符号和逻辑运算;连接包括“连接状态”和“禁止路径”,前者用于存储信息,后者用于抑制网络中出现的假模式。(*该技术在2023年保护过期,可自由使用*)

【技术实现步骤摘要】

本专利技术涉及人工神经网络,具体来说就是涉及一种用于存储信息的新型联想记忆神经网络及其记忆方法。
技术介绍
联想记忆神经网络具有很好的容错性,非常适合于不完整或畸变信息的识别与分类。已有多种不同形式的联想记忆神经网络,如Hopfield联想记忆神经网络、双向联想记忆神经网络等。但现有联想记忆神经网络存在如下问题1)每记忆一个模式都要重新确定网络中所有的连接权重,致使寻求合适连接权重的方法变得复杂而困难,从而导致联想记忆性能不理想,如存储容量小,存在假模式等,象Hopfield网络,若联想准确度大于99%时,则采用外积法的存储容量为0.138N,虽然采用伪逆法的存储容量可达0.5N,却是以容错能力下降为代价的。2)所有的连接都参与每个模式的记忆,这虽然降低了记忆对每个连接的依赖,但并不能完全消除这种依赖,而且每个连接对存储在网络中的不同模式的影响程度也不同,所以如果断掉一个连接,一部分存储模式可能完全不受影响,而另一部分存储模式则可能不能被正确回忆出来,而若断掉多个连接,则可能使网络完全丧失回忆能力,因此可靠性有待提高。3)当输入模式不曾被记忆在网络中时,网络中可能存在多个与输入模式具有最小汉明(Hamming)距的模式,但上述联想记忆网络一般只能回忆出其中一个模式,显然,通常人们总是希望网络具有多模式回忆能力(即全部或部分地回忆出这些最小汉明距模式)。4)回忆时,要求输入模式必须是完全确定的,但就实际使用而言,总是希望用于回忆的模式可以是不完整的,即允许其中部分信息是不确定的,因为回忆的目的往往就是希望根据残缺的信息来获得完整的信息。本专利技术的目的就是针对现有联想记忆神经网络的上述缺点提出一种新型的联想记忆神经网络及其记忆方法,与现有联想记忆神经网络相比,其优点是存储容量大、可完全消除假模式、具有多模式回忆能力、回忆时允许输入不完整模式,记忆的可靠性高。
技术实现思路
本说明书中的网络均指联想记忆神经网络。本专利技术的主要思路可概括为1)采用Hopfield网络拓扑结构,但将实数连接权重改为连接权向量(也称连接状态),连接权向量的分量为逻辑值;2)不同于现有网络那样让所有连接参与存储每个模式,而是每个模式都各自存储在一个或多个所谓“模式环”的环路中;3)如果某个模式环中存储的模式不是希望记忆的模式(即假模式),则在该模式环中设置“禁止路径”,使该假模式不会被回忆出来;4)现有网络的神经元对输入求加权和,再将其减去一偏置量后作为激活函数的自变量,激活函数的输出就是神经元的输出,而本专利技术中神经元进行的是符号逻辑运算,输入、输出均为一组主要由神经元编号构成的序列。下面结合附图详细说明本
技术实现思路
。附图简单说明附图说明图1是本专利技术提出的联想记忆神经网络的拓扑结构;图2是本专利技术的五神经元联想记忆网络举例;图3是说明图2中模式存储方式的树状图;图4是设置禁止路径的方法示意图,用于说明记存过程中将一个空连接转变为非空连接时在由此而产生的存储非希望记忆的模式的模式环中设置禁止路径的方法;图5是设置禁止路径的方法示意图,用于说明记存过程中撤销一条禁止路径时在由此而产生的存储非希望记忆的模式的模式环中设置禁止路径的方法;图6是本专利技术的一个实施例;图7是图6中神经元的内部结构及与其他神经元的连接示意图;图8、图9是实施例中负责监控神经元及作为与外部设备接口的微处理器CI的工作程序框图;图10、图11、图12、图13是实施例中神经元微处理单元NK的工作程序框图。本专利技术联想记忆神经网络结构详细说明图1所示是本专利技术的连想记忆神经网络拓扑结构,它与无自反馈的Hopfield网络完全相同,其中si=[si1,si2,…,siM]是神经元i的状态(向量),i=1,2,…,N,N为网络中神经元的个数,sik∈{-1,0,1},其中-1、1是sik的逻辑状态,sik=0表示该分量的状态不确定,k=1,2,…,M,M表示神经元状态(向量)所包含的状态分量个数,lij为神经元i到神经元j的连接,i,j=1,2,…,N,lii总是断开的,Xi(t)是神经元i的输出。下面参照图1对本专利技术网络结构作进一步的描述。1)存储在网络中的信息用模式表示,模式形式为P=[p1,p2,…,pM],pi=[pi1,pi2,…,piN], Pik∈{-1,1},i=1,2,…,M,k=1,2,…,N。为便于叙述,称P为一级模式,pi为P的第i个二级模式。2)神经元i到神经元j的连接lij中存储着向量qij和一组禁止路径wij,表示为lij=[qij,wij](1)其中qij=[qij1,qij2,···,qijM],qijk∈{-1,1},]]>k=1,2,…,M,Wij=[wij1,wij2,···,wijζ]]]>表示lij中存储了ζ条禁止路径,wijη表示其中的第η条禁止路径,称qij=0的连接为空连接,它是连接的初始状态,表示该连接还没有被用来存储向量,lij=qij表示lij中没有存储禁止路径。为了便于叙述,称qij为lij的状态或权向量。网络中每个连接都有一个时间单位的延迟,即信号通过一个连接需花一个时间单位。3)禁止路径是网络中按顺序排列的一串神经元编号所表示的一段路径,这段路径不允许信号通过,禁止路径的表示方法如下设n1,n2,…,nl为神经元的编号,则wijη=n1]]>表示n1→i→j为禁止路径,即由神经元n1出发经连接lnli到神经元i再经连接lij到神经元j的这段路径为禁止路径,同理,wijη=n1n2···nl]]>表示的禁止路径为n1→n2→…→nl→i→j。4)网络中每个模式存储在一个或多个称为“模式环”的回路中,模式环是由网络中N个连接和所有神经元组成的单向单环回路,其中“单向”是指回路中信号只能向一个方向传递,“单环”表示回路通过网络中每个神经元一次。设p,q,r,s,…,t是神经元编号,且{p,q,r,s,…,t}={1,2,…,N},即等式两边的集合相等,显然p≠q≠r≠s≠…≠t,则模式环用连接表示为lpqlqrlrs…ltp模式环也可以直接用神经元编号表示为pqrs…tp。若pqrs…tp不包含空连接,则存储在其中的模式P=[p1,p2,…,pM]可由式(2)得到 其中第二个等式左边集合是将右边集合中的元素按下标第一个数字由小到大重排的结果。5)网络中所有神经元的状态所构成的状态(向量)表示为S=[s1,s2,…,sN]。由上述模式环的含义可见,对于有N个神经元的联想记忆神经网络,从任意神经元出发的信号可以到达的第一个神经元是其它N-1个神经元之一,而可以到达的第二个神经元是剩余的N-2个神经元之一,依此类推,可见网络中最多有(N-1)!个模式环。N个神经元所能表示的模式数最多为2MN个,由式(2)可见,如本文档来自技高网
...

【技术保护点】
一种联想记忆神经网络,采用Hopfield网络拓扑结构,其特征在于神经元的状态包含多个状态分量,可表示为:s↓[i]=[s↓[i1],s↓[i2],…,s↓[iM]]其中i=1,2,…,N,N为网络中神经元的个数,s↓[i] 为神经元i的状态,s↓[ik]∈{-1,0,1},其中-1、1是s↓[ik]的状态,s↓[ik]=0表示该分量的状态不确定,k=1,2,…,M,M表示神经元状态所包含的状态分量个数,网络中的每个连接存储一个向量和一组禁止路径,可表示为: l↓[ij]=[q↓[ij],w↓[ij]]其中l↓[ij]是神经元i到神经元j的连接,q↓[ij]=[q↓[ij]↑[1],q↓[ij]↑[2],…,q↓[ij]↑[M]]是存储在l↓[ij]中的向量,q↓[ij]↑[k]∈{ -1,1},k=1,2,…,M,w↓[ij]=[w↓[ij]↑[1],w↓[ij]↑[2],…,w↓[ij]↑[ζ]]表示l↓[ij]中存储了ζ条禁止路径,w↓[ij]↑[η]表示其中的第η条禁止路径,q↓[ij]=0的连接为空连接,它是连接的初始状态,表示该连接还没有被用来存储向量,i↓[ij]=q↓[ij]表示l↓[ij]中没有存储禁止路径。...

【技术特征摘要】
1.一种联想记忆神经网络,采用Hopfield网络拓扑结构,其特征在于神经元的状态包含多个状态分量,可表示为si=[si1,si2,…,siM]其中i=1,2,…,N,N为网络中神经元的个数,si为神经元i的状态,sik∈{-1,0,1},其中-1、1是sik的状态,sik=0表示该分量的状态不确定,k=1,2,…,M,M表示神经元状态所包含的状态分量个数,网络中的每个连接存储一个向量和一组禁止路径,可表示为lij=[qij,wij]其中lij是神经元i到神经元j的连接,qij=[qij1,qij2,···,qijM]]]>是存储在lij中的向量,qijk∈{-1,1},]]>k=1,2,…,M,Wij=[wij1,wij2,···,wijξ]]]>表示lij中存储了ζ条禁止路径,wijη表示其中的第η条禁止路径,qij=0的连接为空连接,它是连接的初始状态,表示该连接还没有被用来存储向量,lij=qij表示lij中没有存储禁止路径。2.权利要求1中所述禁止路径的表示方法如下设n1,n2,…,nl为神经元的编号,则wijη=n1]]>表示n1→i→j为禁止路径,即由神经元n1出发经连接ln1i到神经元i再经连接lij到神经元j的这段路径为禁止路径,同理,wijη=n1n2···nl]]>表示的禁止路径为n1→n2→…→nl→i→j。3.权利要求1所述网络的特征在于每个模式存储在一个或多个模式环中,模式环是由网络中N个连接和所有神经元组成的单向单环回路,其中“单向”是指回路中信号只能向一个方向传递,“单环”表示回路通过网络中每个神经元一次,设p,q,r,s,…,t是神经元编号,且{p,q,r,s,…,t}={1,2,…,N},即等式两边的集合相等,则模式环可用连接表示为lpqlqrlrs…ltp模式环也可以直接用神经元编号表示为pqrs…tp,存储在pqrs…tp中的模式P=[p1,p2,…,pM]可由下式得到 其中第二个等式左边集合是将右边集合中的元素按下标第一个数字由小到大重排的结果。4.一种联想记忆方法,这种方法由回忆方法和记存方法两个部分组成,其特征在于要求网络中传递和处理的信号是序列。5.权利要求4所述序列的特征在于序列可表示为h(t)n0n1…nt,其中t是离散时间,ni(i=0,1,…,t)是神经元的编号,h(t)是附加信息,它表示该序列所经过的路径中具有不同于源神经元状态的连接的个数。6.权利要求4所述回忆方法的特征在于回忆包括0≤t<N和N≤t<2N两个阶段;0≤t<N阶段1)根据输入模式P设置所有神经元的状态S,即令sij=pji,i=1,2,…,N,j=1,2,…,M;2)网络从t=0时刻开始运行,每个神经元发出一个仅含神经元自身编号的初始序列,且附加信息为0,即神经元i发出的初始序列为h(0)i,h(0)=0,i=1,2,…,N;3)任何序列只能到达同一个神经元不超过一次,例外情况是,当t=N-1时,序列中的第一个编号正好是所要到达的神经元的编号,即序列第二次到达该神经元时将构成一个模式环;4)序列不能通过禁止路径;5)序列不能通过空连接;6)如果连接的状态与源神经元的状态不同(比较二者状态是否相同时,总是视源神经元中状态不确定的分量与相应连接的状态分量相同),则序列经过该连接时附加信息加1;7)每个神经元在接收到的序列中,按附加信息由小到大的顺序选择L个序列(如果接收到的序列不足L个,则选择全部这些序列),并在其中每个序列之后加上自身的编号从而将它们变为新的序列,然后输出这些新的序列;N≤t<2N阶段1)每个神经元在接收到的序列中,按附加信息由小到大的顺序选择并输出L个序列(如果接收的序列不足L个,则选择并输出全部这些序列),如果是t=N,则在其中每个序列之后加上神经元自身的编号再输出;2)序列只能在自身所表示的模式环中传递,即序列通过连接lij的条件是序列所表示的模式环中包含‘ninj’,即该序列曾经通过lij,同时序列所表示的模式环不包含存储在lij中的任何禁止路径。7.权利要求4所述回忆方法的特征在于回忆时允许输入不完整的模式。8...

【专利技术属性】
技术研发人员:王剑毛宗源
申请(专利权)人:王剑
类型:发明
国别省市:81[中国|广州]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1