本发明专利技术的实施例采用动态纳米级器件，包括纳米线之间的忆阻连接（１１０２），来构建并行分布式动态计算网络和系统，包括感知器网络（图９）和神经网络（图８）。在本发明专利技术的许多实施例中，类似神经元的计算器件（２００２）由基于硅的微米级和／或亚微米级部件构建，并通过包括纳米线（１１０４，１１０６）以及纳米线之间的忆阻连接（１１０２）的动态互连彼此互连。在包括人脑的许多大规模并行分布式动态计算系统中，可能存在比类似神经元的计算节点数量更大的互连。将动态纳米级器件用于这些连接得到了巨大的设计、空间、能量和计算效率。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及各种类型的基于连接的并行动态分布式处理网络的设 计和实现，更具体地说，涉及采用动态纳米器件作为计算节点之间的连 接的基于连接的并行分布式动态网络的设计和实现。
技术介绍
在计算历史的早期，计算机科学家就对生物计算结构(包括人脑)产生了兴趣。虽然在过去的50年期间，顺序指令处理引擎已经在技术上取得了突飞猛进的发展，处理器速度和部件密度极大提高，并且这些 进步伴随着大容量存储器件和随机存取存储器的容量和存取速度的甚 至更大的提高，并且虽然基于顺序指令处理引擎的现代计算机系统提供 了巨大的实用性，并诞生了在开发数字计算机之前不可想象的全新工 业，但是许多表面上简单的问题仍不能通过甚至最大和最高速度的分布 式计算机系统和网络而有效地解决。 一 个平常的例子是照片和视频图像 的解释。人类通常能够在一转眼的功夫就扫一眼照片并且准确地解释对 象、对象之间的相互关系以及由该二维照片所表示的对象的空间组织， 而摄影图像的这种解释超出了运行最聪明算法的最大计算机系统的能 力。已经在调查研究人脑的结构和功能方面进行了大量的研究工作。这 种生物系统中的许多基础计算实体已经被识别并且在微米级尺度以及 分子级在生理上进行了表征。例如，神经元(一种在人脑内负责信号处 理和信号传输的细胞类型)被较好地理解和较好地表征，但是还有许多 要获知。这种对神经元功能的理解已经启发了计算机科学中的许多领 域，包括人工智能的神经网络和感知器网络网络子领域。已经开发了神 经网络的许多成功的软件实现来解决各种不同的应用，包括模式识别、 复杂现象原因的诊断、各种类型的信号处理和信号去噪以及其它应用。 然而，从结构角度来看，人脑是大规模并行的，并且虽然这种并行性可 以通过软件实现和神经网络来模拟，但是这些模拟通常受处理器周期的 限制，因为这些模拟必定运行在一个或较小数量的顺序指令处理引擎上，更确切地说(rather)利用计算系统内的物理并行性。由此，神经 网络可提供对噪声的容限、学习能力以及其它期望特性，但目前不能提 供大规模并行生物计算结构的极高速和高带宽计算能力。为了在物理制造器件中实现生物计算结构的极高速和高带宽计算 能力，需要在计算节点的大规模并行且互连的网络上执行计算任务。已 经提出了实现物理神经网络的许多不同方法，但是这些实现目前还达不 到甚至比较简单生物结构的速度、并行性和计算能力。此外，大规模并 行硬件的设计和制造充满了许多不同的实际问题，包括大数量动态连接 的可靠制造、尺寸和功率限制、热耗散、可靠性、灵活性(包括可编程 性)以及许多其它这种考虑因素。然而，不像许多不清楚是否能够对其 找到解决方案的理论问题，包括人脑的计算生物结构存在并经常执行惊 人的计算技能的事实，暗示了设计和构建具有类似计算能力和效率的计 算器件的目标是十分可能的。聚焦在人工智能、生物智能以及计算机科 学和信息科学内的各种不同领域的计算机科学家、硬件设计者、研究人 员都已经认识到需要开发适合于发生在人脑和其它计算生物结构内的 大规才莫并行分布式动态处理的类型的新的物理硬件器件。
技术实现思路
本专利技术的实施例采用动态纳米级器件，包括纳米线之间的忆阻 (memristive )连接，来构建并行分布式动态计算网络和系统，包括感 知器网络和神经网络。在本专利技术的许多实施例中，类似神经元的 (neutron-l ike )计算器件由基于珪的微米级和/或亚微米级部件构建，在包括人脑的许多大规模并行分布式动态计算系统中，可能存在比类似 神经元的计算节点数量大得多的互连。将动态纳米级器件用于这些连接 得到了巨大的设计、空间、能量和计算效率。附图说明图1示出神经元的一般化和程式化的示例说明。 图2示出神经元的更抽象表示。图3是神经元细胞的抽象表示，示出了神经元的外膜中的不同类型 的电化学梯度和通道，所述通道控制并响应于电化学梯度和信号并用于6触发神经元输出信号发射(signal firing)。图4A-B示例说明神经元放电(neuron firing)。图5示例说明动态突触强度现象的模型。图6示出典型的神经网络节点。图7A-7B示例说明了激活函数的两个不同示例。图8示出简单的三级神经网络。图9示例说明特殊类型的单节点层神经网络，称为"感知器网络"。 图IO示出图9所示感知器网络的训练数据。图11A-B示例说明了可通过当前可用技术制造的纳米线结的忆阻特性。图12A-E示例说明了相对于施加到由忆阻纳米线结连接的两个信号 线的电压信号的随时间的忆阻纳米线结电导。图13示出了由动态边缘连接的两个计算节点的抽象模型。图14示出了边缘权重关于时间的变化率相对于Ssi和Ss。的曲线图。图15示例说明了计算节点的数学模型。图16示出表示本专利技术一个实施例的计算节点所产生的尖峰或输出 信号。图17示出了在称为"处理模式"的静止或非尖峰形成状态期间的 表示本专利技术一个实施例的计算节点。图18示出了处于尖峰形成模式的表示本专利技术一个实施例的图17的 计算节点。图19示出表示本专利技术一个实施例的计算节点的状态转变图。图20示出了表示本专利技术一个实施例的计算节点的示意图。图21示出了计算网络内的表示本专利技术实施例的计算节点。图22示例说明了根据本专利技术一个实施例的由穿过边缘的前向和后向尖峰引起的边缘权重转变。图23示出根据本专利技术的一个实施例的、作为对和输入信号的响应的随时间的表示计算节点状态的漏泄积分器(leaky-integrator )输出。 图24-25示例说明了表示本专利技术实施例的适合于用在模式识别和各种其它计算任务中的示范计算节点网络。图26A-C示例说明表示本专利技术实施例的诸如图24-25所示的多层计算节点网络的硬件实现。图27示出根据本专利技术一个实施例的根据图26A-C示例说明的体系结构制造的计算节点网络的一部分的侧一见图(edge-on view)。图28-30示例说明了表示本专利技术一个实施例的计算节点网络中的节点之间的三种不同类型连接。图31示例说明了计算节点网络为问题域所产生的期望输出。图32示出了表示本专利技术实施例的实验计算节点网络。图33示出了含有本专利技术实施例的默认网络参数的表格。图34示出表示本专利技术一个实施例的被计时进行5 000 000个周期的无缺陷且器件不变网络的感受域。图35示出了根据本专利技术一个实施例的图32所示网络的右下象限的演化。图36示出了根据本专利技术一个实施例的网络对缺陷和器件变化的敏 感性的实验结果。具体实施例方式本专利技术的实施例提供了计算节点的并行分布式动态网络(包括感知 器网络和神经网络)的物理实现。下面在第一'J、部分，来回顾生物神经 元，因为神经元已经为人工智能和并行硬件设计方面的许多努力提供了 冲莫型和目标。在下一'J、部分，概括地讨论人工神经网络和感知器网络。 在第三小部分，讨论表示本专利技术一个实施例的基本的类似神经元的计算 节点。在第四小部分，讨论代表本专利技术附加实施例的基于本专利技术的类似 神经元的计算节点的各种并行分布式动态计算系统的体系结构。最后， 在第五小部分，提供了初步的实验结果。 生物一巾经元神经元是在动物脑中发现的 一种类型的细胞。神经元被认为是基本 生物计算实体之一或者就是基本生物计算实体。据估计，人脑含有大约 1 000亿(1011)的神经元和神经元之间本文档来自技高网...
【技术保护点】
一种计算节点（２００２），包括： 输入信号线（２００６－２００９），其通过忆阻纳米线结（１１０２）连接到一个或多个输入提供计算节点； 输出信号线（２０１２），其通过忆阻纳米线结（１１０２）连接到一个或多个输出接收计算节点； 漏泄积分器（２０３０），其对通过所述输入信号线和所述输出信号线接收的输入信号进行积分； 阈限器（２０３２），其将漏泄积分器输出与阈值（２０３４）相比较； 时钟输入（２００４）；以及 状态机（２０２４），其基于接收的阈限器 输出和时钟输入引导状态转变（１９０４，１９０８，１９１１，１９１４）并生成计算节点尖峰信号（１６２２，１６２４和１６２６，１６２８）。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：GS斯奈德，
申请(专利权)人：惠普开发有限公司，
类型：发明
国别省市：US[美国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。