用于神经网络的基于标记的装置和方法制造方法及图纸

公开了用于神经网络的基于标记的装置和方法。框架可被用于定义节点类型，定义节点至节点连接类型，实例化针对不同节点类型的节点实例，和/或生成这些节点之间的连接类型的实例。HLND格式可被用于定义节点类型，定义节点至节点连接类型，实例化针对不同节点类型的节点实例，使用标记来动态地标识和/或选择网络子集、和/或使用此类子集来生成这些节点之间的一个或多个连接的实例。为了促成HLND操作和歧义性消除，网络的个体元素(例如，节点、扩展、连接、I/O端口)可被指派至少一个唯一性标记。该标记可被用于标识和/或引述相应网络元素。HLND内核可包括至元素式网络描述的接口。

Marker based apparatus and method for neural networks

A tag based device and method for a neural network are disclosed. The framework can be used to define node types, define nodes to node connection types, instantiate node instances for different node types, and / or generate instances of connection types between these nodes. HLND format can be used to define the definition of node type, node to node connection type, for instance node instantiation of different node types, use the tag to dynamically select the network identification and / or subset, and / or the use of such a subset to generate one or more instances of the connection between these nodes. In order to facilitate HLND operations and ambiguity removal, individual elements of the network (for example, nodes, extensions, connections, and I/O ports) can be assigned at least one unique flag. The tag can be used to identify and / or quote corresponding network elements. The HLND kernel can include the interface to the element network description.

【技术实现步骤摘要】
用于神经网络的基于标记的装置和方法本专利技术专利申请是国际申请号为PCT/US2013/032546，国际申请日为2013年3月15日，进入中国国家阶段的申请号为201380025107.5，名称为“用于神经网络的基于标记的装置和方法”的专利技术专利申请的分案申请。相关申请的交叉引用本申请是于2011年9月21日提交的题为“ELEMENTARYNETWORKDESCRIPTIONFORNEUROMORPHICSYSTEMS(用于神经元形态系统的元素式网络描述)”的美国专利申请No.13/239,123的部分接续案，该申请通过援引明确纳入于此。本申请涉及于2012年1月27日提交的共同拥有的题为“TAG-BASEDAPPARATUSANDMETHODSFORNEURALNETWORKS(用于神经网络的基于标记的装置和方法)”的美国专利申请S/N.13/XXX.XXX、于2011年9月21日提交的共同拥有的题为“ELEMENTARYNETWORKDESCRIPTIONFOREFFICIENTIMPLEMENTATIONOFEVENT-TRIGGEREDPLASTICITYRULESINNEUROMORPHICSYSTEMS(用于在神经元形态系统中高效实现事件触发式可塑性规则的元素式网络描述)”的美国专利申请S/N.13/239,163、于2011年9月21日提交的共同拥有的题为“ELEMENTARYNETWORKDESCRIPTIONFOREFFICIENTMEMORYMANAGEMENTINNEUROMORPHICSYSTEMS(用于神经元形态系统中的高效存储器管理的元素式网络描述)”的美国专利申请S/N.13/239,155、以及于2011年9月21日提交的共同拥有的题为“ELEMENTARYNETWORKDESCRIPTIONFOREFFICIENTLINKBETWEENNEURONALMODELSNEUROMORPHICSYSTEMS(用于神经元形态系统中的神经元模型之间的高效链路的元素式网络描述)”的美国专利申请S/N.13/239,148，上述每一件申请的全部内容通过援引纳入于此。版权本专利文档公开的一部分包含受版权保护的资料。版权所有人不反对任何人对该专利文档或专利公开按照其在专利商标局的专利文件或记录中的原样进行复制，但除此以外保留其它所有版权权利。CD-ROM上的计算机程序列表附录本专利的文件包括具有呈ASCII文件格式的四十六(46)个只读存储器文件的压缩盘(CD-ROM)的复制拷贝。文件详情在下表1中给出。这些ASCII文件包含表示用于本公开的计算机程序列表的示例性实现的代码行。该CD-ROM和其上所包含并在表1中列出的每一文件的全部内容通过援引纳入于此。表1
本创新涉及人工神经网络的高效设计和实现。
技术介绍
绝大多数现有的神经元模型和系统包括具有简单单元(称为神经元(neuron))的网络，这些简单单元经由称为突触的连接彼此交互。此类神经元系统中的信息处理可并行地执行。有许多专门软件工具可以帮助神经科学家模拟神经系统的模型。这些工具的示例可包括可能设计成主要供神经科学家使用的高级实现，诸如NEURON、GENESIS、NEST、BRIAN、和/或其它高级实现中的一者或多者。此类工具可能通常要求大量专门知识，可能是麻烦的，并且可能要求定制才能在使用特定软件和硬件引擎来执行的模拟期间达成高效性能(尤其是在要求实时性能时，如在自主机器人应用中)。类似地，低级实现(诸如汇编语言、低级虚拟机(LLVM)语言、Java字节码、因芯片而异的指令集、和/或其它低级实现中的一者或多者)可被设计用于x86、ARMTM、和/或其它硅芯片上的高效硬件实现。然而，此类实现可能不适合用于神经元系统的并行模拟，这主要是因为硅芯片不是为用于此类并行神经元模拟而设计的。总体上，现有的办法具有实质性缺点，因为它们不能提供设计神经网络中的足够灵活性，要求专业知识、和/或因平台而异的定制才能利用专门硬件。相应地，存在对用于以人类可阅读且机器可解读的简单且无歧义的方式来定义网络架构的通用高级网络描述的显著需求。
技术实现思路
本专利技术尤其通过提供用于神经元形态系统的高级网络描述的装置和方法等来满足上述需求。本专利技术的一个方面涉及一种实现神经网络的由计算机实现的方法。在一些实现中，该网络可包括多个元素。该方法可包括标识这多个元素的子集。该方法可包括向该子集的个体元素指派标记。给定标记的指派可被配置成使得能生成包括该子集的至少一部分元素的新网络元素。在一些实现中，该标记可包括被配置成标识一个或多个个体元素的唯一性标识符。在一些实现中，个体元素可从这多个元素中随机地选择。该子集的个体元素可包括单元。该标记可包括串(strng)标识符。在一些实现中，该标记可包括字母数字标识符，其可被适配成标识该子集的相应各个元素的空间坐标。该子集可包括多个节点。该字母数字标识符可包括这多个节点中的至少一个节点的标识符。在一些实现中，该新网络元素可包括连接。该连接可包括以下一者或多者：(i)突触、(ii)结、和/或与连接相关联的其它特征。本专利技术的另一方面涉及一种在神经网络中生成多个连接的由计算机实现的方法。该神经网络可包括多个元素。在一些实现中，该方法可包括以下一者或多者：(i)执行至少包括第一标记和第二标记的第一逻辑表达式，至少部分地基于该执行，(ii)标识这多个元素的第一子集和第二子集，(iii)生成第一子集的至少一部分与第二子集的至少一部分之间的多个连接，和/或其它操作。在一些实现中，第一子集的一个或多个个体元素可包括第一标记。第二子集的个体元素可包括第二标记。在一些实现中，第一子集和/或第二子集的个体元素可包括该网络的节点。该方法可包括向第一子集的一个或多个个体元素指派第一标记。在一些实现中，第一标记或第二标记中的一者或两者可由有限生存期来表征。本专利技术的又一方面涉及一种动态划分计算机化神经网络的方法。在一些实现中，该方法可包括以下一者或多者：(i)标识该网络的元素子集、(ii)将标记指派给该子集的每一元素、和/或其它操作。根据一些实现，该标识和该指派可协作以使得能使用单个选择操作来选择该子集的一个或多个个体元素。在一些实现中，该网络可包括多个元素。该子集可包括这多个元素的多个节点。在一些实现中，标识该子集可以至少部分地基于执行包括一个或多个关键字(包括AND(与)、NOT(非)、OR(或)和/或其它关键字)的布尔表达式。在一些实现中，该方法可包括以下一者或多者：(i)标识该网络的另一元素子集、(ii)将另一标记指派给该另一子集的每一元素、(iii)启用该子集内的至少一部分元素与该另一子集的元素之间的多个连接、和/或其它操作。在一些实现中，这多个连接中的一个或多个个体连接可包括突触和结之一。这多个连接中的一个或多个个体连接可至少部分地基于该标记和该另一标记来启用。本专利技术的又一方面涉及一种处理装置。在一些实现中，该处理装置可包括被配置成存储多个指令的非易失性存储介质，该多个指令在被执行时可以实行根据一种方法的对神经网络的动态划分。该方法可包括以下一者或多者：(i)标识该神经网络的元素子集、(ii)将标记指派给该元素子集的每一元素、和/或其它操作本文档来自技高网...

【技术保护点】
一种在包括多个元素的神经网络中生成多个连接的由计算机实现的方法，所述方法包括：执行至少包括第一标记和第二标记的第一逻辑表达式；至少部分地基于所述执行，标识所述多个元素的第一子集和第二子集；以及生成所述第一子集的至少一部分与所述第二子集的至少一部分之间的多个连接；其中：所述第一子集的每一元素包括所述第一标记；以及所述第二子集的每一元素包括所述第二标记。

【技术特征摘要】
2012.03.15 US 13/385,9331.一种在包括多个元素的神经网络中生成多个连接的由计算机实现的方法，所述方法包括：执行至少包括第一标记和第二标记的第一逻辑表达式；至少部分地基于所述执行，标识所述多个元素的第一子集和第二子集；以及生成所述第一子集的至少一部分与所述第二子集的至少一部分之间的多个连接；其中：所述第一子集的每一元素包括所述第一标记；以及所述第二子集的每一元素包括所述第二标记。2.如权利要求1所述的方法，其特征在于，所述第一子集和所述第二子集的所述每一元素包括所述网络的节点。3.如权利要求1所述的方法，其特征在于，进一步包括将所述第一标记指派给所述第一子集的每一元素。4.如权利要求1所述的方法，其特征在于，所述第一标记和所述第二标记中的至少一者由有限生存期来表征。5.如权利要求1所述的方法，其特征在于，所述多个连接中的每一连接包括突触和结之一。6.如权利要求2所述的方法，其特征在于，所述标识所述第一子集被配置成使得能生成包括所述第一子集的至少一部分节点的新网络元素。7.一种处理装置，包括被配置成存储多个指令的非易失性存储介质，所述多个指令在被执行时实行根据一种方法对神经网络的动态划分，所述方法包括：标识所述神经网络的元素子集；以及将标记指派给所述元素子集的每一元素，所述标记包括配置成标识所述每一元素的标识符；其中所述指派所述...

【专利技术属性】
技术研发人员：B·绍特马里，E·M·伊日科维奇，
申请(专利权)人：美国高通技术公司，
类型：发明
国别省市：美国,US