对神经网络进行组织制造技术

用于对训练的和未训练的神经网络进行组织的方法、系统和装置，包括编码在计算机存储介质中的计算机程序。在一个方面，神经网络装置包括由集间连接互连的节点集的集合，每个节点集本身包括由多个集内连接互连的节点的网络，其中每个集间连接和集内连接都有相关的权重，每个权重体现由相关连接连接的节点之间的连接强度，与连接到其他节点集内的节点相比，每个集内的节点更可能连接到该集内其他节点。

【技术实现步骤摘要】
【国外来华专利技术】对神经网络进行组织相关申请的交叉引用根据美国法典第35篇第119条第(e)项，本申请要求享有2010年2月5日提交的第61/301，781号美国专利申请的权益，该美国专利申请的内容以引用的方式纳入本文。
技术介绍
本说明书涉及对训练的和未训练的神经网络进行组织的方法，以及对神经网络进行组织的方法。神经网络是受生物神经元网络的结构和功能方面启发的装置。具体地，神经网络使用被称为“节点”的互连结构的系统来模拟生物神经元网络的信息编码和其他处理能力。神经网络中节点之间连接的排列和强度决定神经网络的信息处理或信息储存的结果。神经网络可以被“训练”以产生需要的网络内信号流并且达到需要的信息处理或信息储存的结果。一般来说，在学习过程中训练神经网络可改变节点间连接的排列和/或强度。当神经网络达到对给出的输入组有足够合适的处理结果时，可以认为所述神经网络是“训练的”。神经网络可以用于多种不同的装置中来进行非线性数据处理和分析。非线性数据处理不满足叠加原理，即需要确定的变量不能表示为独立成分的线性和。其中可用非线性数据处理的情况的实例包括模式和序列识别、新颖性检测和序贯决策作出、复杂系统建模以及多种其他情况中的系统和技术。
技术实现思路
本说明书描述了对训练的和未训练的神经网络进行组织的方法，以及对神经网络进行组织的方法。对大鼠新皮质中生物神经元进行组织的研究已经给出了关于神经网络中节点可以如何被有利地组织的线索。具有模拟大鼠新皮质中对生物神经元进行组织的互连的神经网络可以被训练以提高信息处理和/或信息储存。在本说明书所述的主题的第一个方面，神经网络装置可以在硬件、软件或两者的结合中实施。所述神经网络装置包括由集间连接互连的节点集的集合，每个节点集本身包括由多个集内连接互连的节点的网络，其中每个集间连接和集内连接都有相关的权重，每个权重体现由相关连接连接的节点之间的连接强度，与连接到其他节点集内的节点相比，每个集内的节点更可能连接到该集内的其他节点。在本说明书所述的主题的第二个方面，形成神经网络装置的机器实施方法包括，形成在硬件、软件或两者的结合中实施的节点网络，通过以体现节点共有的共同邻点数目的概率来连接或断开节点而分配或再分配网络节点间的连接。这些方面和其他方面可以包括以下特征中的一个或多个。与集间连接相关的权重可以体现出于具体目的对神经装置的训练。集内连接可以体现出于具体目的对神经网络装置的训练至比集间连接小的程度。可根据两两连接关系连接节点并形成节点集。对于具有更多连接数目的节点集，每个节点集内平均权重的方差通常减小。随着各个节点集内连接数超过所述各自节点集内节点数，所述各个节点集的平均互连强度可以渐近地达到各自的极限。例如，所述各自的极限基本相同。对于集内连接数小于同一节点集内的节点数的节点集，集内连接的权重大小可以与一套水平中的不同水平显著相关。例如，每个不同的水平可以与所述集内的不同节点数目相关。神经网络装置可以包括被配置以基于每个集内连接的集内其他节点数目来改变所述集内连接各自的权重大小的适配器组件。例如，在对所述神经网络装置训练前，可以配置适配器组件以改变各自权重的大小。这样的神经网络装置可以是未训练的。神经网络装置可以包括被配置以基于节点集内节点数目来改变每个节点集内节点之间连接概率的适配器组件。例如，在对所述神经网络装置训练前，可以配置适配器组件以改变每个权重的大小。连接可以包括相互连接和非相互连接。非相互连接大约两倍于相互连接。集内的节点与该集内的其他节点连接可能性是与其他节点集内的节点连接的两倍。具有10到100个节点的节点集的数目可以大于具有少于10个和多于100个节点的节点集的数目。神经网络装置可以具有10到100个节点集。可以重复分配或再分配直到达到准稳态。可根据两两连接关系连接节点。可以对节点的网络进行训练，例如通过以 相对稳定的权重来确定节点集内连接的权重，并确定节点集之间的连接的权重以体现所述训练，同时保持所述节点集内连接的权重相对不变。基于共同连接到第一和第二节点的节点数目，可以对第一和第二节点间的每个连接分配权重。可根据随机分配过程或者根据其中依照两个节点连接的可能性进行连接分配的过程，来分配初始组的连接。通过所述方法可以形成未训练的神经网络装置。可以重复分配或再分配，直到各个节点集内的连接数目超过该各个节点集内的节点数目。可以以随着连接数目超过节点数目达到极限的权重来确定各个节点集内的连接的权重。不同大小节点集的极限基本相同。本说明书所述主题的一个或多个实施方案的细节在以下的附图和说明书中给出。所述主题的其他特征、方面和优点通过所述说明书、附图以及权利要求书将变得明显。附图说明图I是神经网络装置的示意图。图2A-2F的图呈现的示例性实例是不同数目的节点的组中出现不同数目的连接的频率。图3A-3F的图呈现的示例性实例是连接可以在图2A-2F的组中出现的频率和预期要出现的连接是随机分配的连接的频率之间的差异。图4A、4B的图呈现的示例性实例是体现共有不同数目的共同邻点的给定节点对自连的可能性的不同概率。图5A、5B的图呈现的示例性实例是在6个节点的组或集内节点之间互连的不同平均强度。图6的图呈现的示例性实例是具有不同数目互连的节点之间互连强度的不同概率密度分布。图7A、7B的图呈现的示例性实例是在6个节点的组或集内节点之间平均互连强度的不同方差。图8的图呈现的示例性实例是在一个节点集内的节点对和在两个不同节点集内的节点对连接的概率。图9A、9B的图呈现的示例性实例是训练的或未训练的神经网络装置中节点集大小的不同分布。图10的图呈现的示例性实例是包含节点集连接性的神经网络装置的集聚系数。图11的图1100呈现的示例性曲线1105是包括节点集连接性的神经网络装置的输入连接的累积分布。图12的图呈现的示例性实例是包括节点集连接性的神经网络装置的节点对共有的共同邻点数目的概率密度分布曲线。在各图中同样的参考编号和命名指示相同的要素。具体实施例方式图I是神经网络装置100的示意图。神经网络装置100是使用互连节点的系统来模拟生物神经元网络的信息编码和其他处理能力的装置。神经网络装置100可以在硬件、软件或两者的结合中实施。神经网络装置100包括通过多个连接110互连的多个节点105。节点105是类似于生物网络中的神经元的离散信息处理构件。节点105通常处理经一个或多个连接110接收的一个或多个输入信号，以产生经一个或多个连接110输出的一个或多个输出信号。例如，在一些实施中，节点105可以是对多个输入信号加权并求和的人工神经元，将所述和代入一个或多个非线性活动函数，并输出一个或多个输出信号。神经网络装置100中的节点105被组织成多个节点集115、120、125、130。每个节点集115、120、125、130都是节点的集合。各个节点集115、120、125、130内的节点105与相同各个节点集115、120、125、130内的其他节点比与节点集115、120、125、130中的其他节点集内的节点更有可能建立连接110。例如，在一些实施中，各个节点集115、120、125、130内的节点105与相同各个节点集115、120、125、130内其他节点建立连接110的可能性I. 5倍于或2本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：H·马克拉姆，R·德坎波斯佩林，T·K·伯格，
申请(专利权)人：洛桑联邦理工学院EPFL，
类型：
国别省市：