带有监督和非监督簇分析的似真神经网络制造技术

似真神经网络（ＰＬＡＮＮ）是一种带有由交互信息给定的权重连接的人工神经网络，其具有学习能力，并还保留了生物神经网络的许多特征。学习算法（３００，３０１，３０２，３０４，３０６，３０８）基于统计估计，这比当前使用的梯度下降方法快。训练之后的网络成为模糊置信网络；推理和权重是可交换的，其结果是知识的抽取变得简单。ＰＬＡＮＮ在单个的网络结构中执行相关的存储，监督的，半监督的，非监督的学习和功能／关系逼近。这一网络结构能够易于通过模拟ＶＬＳＩ电路设计实现。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及神经网络。特别地，本专利技术涉及使用统计推理模型的神经网络模型，在这种模型之下模型的计算和推理既是可能的又是概率的。
技术介绍
神经计算与推理的关系已研究了很长时间(例如参见McCulloch，W.S.和Pitts，“A logical Calculus of Ideas Immanent in NeuronActivity，”Bulletin of Mathematical Biology 5，pp.115-133(1943)；Baum，E.B.和Wilczek，F.，“Supervised Learning of ProbabilityDistributions by Neural Networks，”Neural Information ProcessingSystems，pp.52-61(1988)；and Hopfield，J.J.，“Learning Algorithm andProbability Distribution in Feed-Forward and Feed-BackNetwork，”Proceeding of National Academy of Science，pp.8429-8433(1987))。许多这些研究者使用神经网络计算来解释布尔逻辑的起源或与概率推理的连接。当处理命题的逻辑真或假设的置信时，有许多与其相关的项，包括确信因子，支持，证实和置信度。历史上这些被认为是主观的或认识上的，这与同随机变量相关的机会或偶然性概率不同。虽然概念上不同，但认识上的概率应当遵循与在辩论中心偶然性概率相同的规则。如果认识概率有不同的规则，那么其必然来自思考的规律，或更确切地说神经计算的突现。神经处理常在于检测动作电位差而不是绝对值。例如，神经处理检测对比度而不是纯粹的亮度，边缘而非区域等。在证据推理中动作电位的差意味着证据权重支持假设，其转而能够转换为可能性度量的置信。神经元活动的竞争性质诱导置信判断。这里描述了能够计算概率的和可能的与其他类型的模糊逻辑的似真神经网络(PLANN)模型。在U.S.Patent Application SerialNo.09/808,101中讨论了PLANN的学习算法，该文献在此总体结合以资对比。本申请描述了一种更详细的PLANN结构与活化模型，其便于PLANN推理的计算。
技术实现思路
许多研究者已观察到神经元是以不精确的方式处理信息的。如果逻辑推理出自神经计算，其充其量是不精确的。这样，在置信逻辑与神经网络之间必然有严重深刻的关系。本申请中，描述了能够计算概率和模糊逻辑的一种似真神经网络模型。以下描述作为似然思考机主要组件的网络结构及其硬件设计。根据本专利技术的一实施例，PLANN计算基于计算系统中合作和竞争过程的交互作用。合作性是由于线性耗散系统中熵增加的结果；竞争性是由于非线性无源系统中能量守恒的结果(例如参见Elfadel，I.M.和Wyatt，J.L.，“The Softmax NonlinearityDerivation UsingStatistical mechanics and Useful Properties as a Multi-TerminalAnalog Circuit Element，”Advances in Neural Information ProcessingSystem 6，pp.882-887(1994))。两者都能从统计力学推导出。根据本专利技术的一实施例，描述了以模拟VLSI实现的PLANN。当然，业内一般专业人员容易看到，本专利技术不限于这里描述的实施例。本专利技术也能够以允许这两个计算原理的其他类型计算介质实现。附图说明参照以附图所展示的实施例将更容易理解本专利技术，其中图1示出根据本专利技术的一实施例交互信息与神经元权重连接的关系；图2示出根据本专利技术的一实施例的非监督神经网络结构；图3是表示根据本专利技术一实施例的非监督的学习算法的一流程图；图4示出根据本专利技术的一实施例的监督的神经网络结构；图5示出根据本专利技术的一实施例扩散过程与置信逻辑之间的关系；图6A-6C以本专利技术的实施例获得的实验结果与来自动物园数据库的数据的表；图7是以本专利技术的实施例获得的实验结果与来自原发性肿瘤数据集的数据的表；以及图8示出以本专利技术的实施例获得的实验结果。附图中，应当注意的是相似的标号表示相似的特征和构造。具体实施例方式现在将参照附图描述本专利技术的优选实施例。图1示出交互信息与神经元权重连接的关系。PLANN模型是带有如下给出的神经元X和神经元Y之间权重连接的神经网络ω12＝ln(P(X，Y)/P(X)P(Y))， (1)其包含两个神经元的激发历史或交互信息内容。如图1所示，从方程式(1)我们看出ω12＞0，如果X与Y正相关，ω12＜0，如果X与Y负相关，(2)ω12＝0，当且仅当X与Y统计无关。神经元常常可组成为相邻的组。神经元的激发方式依赖于其组中其他神经元的相对强度，这种强度是通过全局反馈禁止诱导竞争达到的。通过标称化，神经元全体的激发方式可解释为模糊集合的α-切割操作；并根据统计力学重新调节信号强度。图2示出根据本专利技术的一实施例一非监督神经网络的结构。在非监督学习中，网络最好包含一个输入数据层202，以及一个自由运行的隐藏层200。自由运行意味着该层是随机初始化的。输入神经元202产生信号，而隐藏神经元200接收聚集输入信号(动作电位)。隐藏神经元200为激活而竞争，然后产生信号(标称化的动作电位或激活水平)并向输入神经元202发送回该信号。输入神经元202从隐藏神经元200接收动作电平信号，但是被“箝位”的，于是它们的值不变(除非省略初始输入值)。反馈过程在输入与隐藏神经元之间继续进行，直到网络稳定。竞争的神经元y1，y2，...yn的组200接收来自属性神经元x1，x2，...xn组202的输入信号。神经元总体200的激活是如下给出的yi＝s(∑iωijxi)，j，exp(∑iωijxi)/supjexp(∑iωijxi)＞αyi＝0，其他情形下，(3)其中s(tj)＝exp(∑iωijxi)/∑jexp(∑iωijxi)，其通常称为softmax。方程式(3)跟踪模式信息并使用相关的措施净化噪声。这一过程使得神经元能够在宽广的动态范围敏感地响应；并还降低了大规模网络的计算负荷。在文献中已经讨论过带有用于激活和学习的选择的过程的神经网络。例如参见Fukai，T.and Tanaka，S.，“A Simple Neural NetworkExhibiting Selective Activation of Neural EnsemblesFromWinner-Take-All to Winner-Share-All，”Neural Computation 9，pp.77-97(1997)，以及Krding，K.P.and Knig，P.，“A Learning Rule forDynamic Recruitment and Decorrelation，”Neural Network 13，pp.1-9(2000)。这些网络通常称为竞争网络或“软胜者取全部”。采用计算软胜者取全部的模块的网络具有类似于带有S形门的网络本文档来自技高网...

【技术保护点】
一种训练神经网络的方法，该神经网络包括多个神经元，在各所述神经元之间具有权重连接，以便基于数据信息计算似然推理，该过程包括以下步骤：（ａ）使用值在０与１之间的模拟信号，把多个输入神经元的每一个激发为与每一被激发的输入神经元连接的神经 元组；（ｂ）在多个隐藏神经元接收作为动作电位的信号加权和；（ｃ）在所述多个隐藏神经元之中竞争激活；（ｄ）对于每一隐藏神经元，如果其动作电位与最高动作电位的比通过一个阈值，则激发所述隐藏神经元，否则保持休息；以及　 　（ｅ）标称化隐藏神经元组中的动作电位，所述标称化动作电位包括神经元输出的信号。

【技术特征摘要】
US 2001-11-16 60/331,4761.一种训练神经网络的方法，该神经网络包括多个神经元，在各所述神经元之间具有权重连接，以便基于数据信息计算似然推理，该过程包括以下步骤(a)使用值在0与1之间的模拟信号，把多个输入神经元的每一个激发为与每一被激发的输入神经元连接的神经元组；(b)在多个隐藏神经元接收作为动作电位的信号加权和；(c)在所述多个隐藏神经元之中竞争激活；(d)对于每一隐藏神经元，如果其动作电位与最高动作电位的比通过一个阈值，则激发所述隐藏神经元，否则保持休息；以及(e)标称化隐藏神经元组中的动作电位，所述标称化动作电位包括神经元输出的信号。2.如权利要求1的方法，其中所述神经网络并行分布式计算机器，包括至少一个输入层和至少一个输出层；输入层包括多个输入神经元，和输出层包括多个输出神经元，使得每一神经元具有一个与至少一个其他神经元的权重连接。3.如权利要求2的方法，其中输出节点的信号包括表示一事件概率的逻辑值，一命题的真值或模糊集合成员资格函数。4.一种似真神经网络中数据编码的方法，该方法包括以下步骤(a)以具有与其相关的变量的训练数据训练所述网络，所述变量包括一个神经元的总体；其中所述总体中的每一神经元表示所述变量的一模糊子集；以及(b)以基于所述训练数据的数据值的一定等级激活所述总体中每一所述神经元，其中在所述总体中每一神经元的激活水平是0与1之间的模糊集合成员资格函数，且所述神经元总体的激活水平之和相加为1。5.一种训练似真神经网络的方法，该神经网络包括属性神经元的至少一个输入层，以及簇神经元的至少一个隐藏，用于非监督学习或簇分析，该方法包括以下步骤(a)随机激发隐藏层中所述多个簇神经元；(b)计算所述簇神经元与属性神经元之间的权重连接；(c)再次输入属性神经元并计算簇神经元的激活；(d)更新簇神经元与属性神经元之间的权重连接；以及(e)重复步骤(c)和(d)直到网络稳定。6.一种训练和测试神经网络的方法，包括至少一个输入层和至少一个隐藏层，所述输入层包括多个属性神经元和多个类别神经元，所述隐藏层包括多个簇神经元，用于监督学习和半监督学习，该方法包括以下步骤训练神经网络...

【专利技术属性】
技术研发人员：陈垣洋，陈镜峰，
申请(专利权)人：陈垣洋，陈镜峰，
类型：发明
国别省市：US[美国]