尖峰发放深度置信网络（DBN）中的训练、识别、以及生成制造技术

一种分布式计算方法，包括：使用第一处理节点群来在第一计算链中计算第一结果集以及将第一结果集传递给第二处理节点群。该方法还包括在传递第一结果集之后使第一处理节点群进入第一休息状态以及使用第二处理节点群基于第一结果集在第一计算链中计算第二结果集。该方法进一步包括将第二结果集传递给第一处理节点群，在传递第二结果集之后使第二处理节点群进入第二休息状态，以及协调第一计算链。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求于2014年3月26日提交的题为“TRAINING,RECOGNITION,AND GENERATION IN A SPIKING DEEP BELIEF NETWORK(DBN)(尖峰发放深度置信网络(DBN)中的训练、识别、以及生成)”的美国临时专利申请No.61/970,807的权益，其公开内容通过援引全部明确纳入于此。背景
本公开的某些方面一般涉及计算节点，尤其涉及用于分布式计算的系统和方法。
技术介绍
可包括一群互连的人工神经元(即，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应的结构和/或功能。然而，人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能，因此这样的网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是特别有用的。概述在本公开的一方面，给出了一种分布式计算方法。该方法包括使用第一处理节点群来在第一计算链中计算第一结果集以及将第一结果集传递给第二处理节点群。该方法还包括在传递第一结果集之后使第一处理节点群进入第一休息状态以及使用第二处理节点群基于第一结果集在第一计算链中计算第二结果集。该方法进一步包括将第二结果集传递给第一处理节点群，在传递第二结果集之后使第二处理节点群进入第二休息状态，以及协调第一计算链。在本公开的另一方面，给出了一种用于分布式计算的装置。该装置包括：存储器；以及耦合到存储器的至少一个处理器。该一个或多个处理器被配置成：使用第一处理节点群来在第一计算链中计算第一结果集以及将第一结果集传递给第二处理节点群。(诸)处理器还被配置成在传递第一结果集之后使第一处理节点群进入第一休息状态以及使用第二处理节点群基于第一结果集在第一计算链中计算第二结果集。(诸)处理器还被配置成：将第二结果集传递给第一处理节点群；在传递第二结果集之后使第二处理节点群进入第二休息状态；以及协调第一计算链。在本公开的又一方面，给出了一种用于分布式计算的设备。该设备包括：用于使用第一处理节点群来在第一计算链中计算第一结果集的装置；以及用于将第一结果集传递给第二处理节点群的装置。该设备还包括：用于在传递第一结果集之后使第一处理节点群进入第一休息状态的装置；以及用于使用第二处理节点群基于第一结果集在第一计算链中计算第二结果集的装置。该设备进一步包括用于将所述第二结果集传递给所述第一处理节点群的装置；用于在传递第二结果集之后使第二处理节点群进入第二休息状态的装置；以及用于协调第一计算链的装置。在本公开的又一方面，给出了一种用于分布式计算的计算机程序产品。该计算机程序产品包括其上编码有程序代码的非瞬态计算机可读介质。该程序代码包括用于以下操作的程序代码：使用第一处理节点群来在第一计算链中计算第一结果集以及将第一结果集传递给第二处理节点群。该程序代码还包括用于以下操作的程序代码：在传递第一结果集之后使第一处理节点群进入第一休息状态以及使用第二处理节点群基于第一结果集在第一计算链中计算第二结果集。该程序代码进一步包括用于以下操作的程序代码：将第二结果集传递给第一处理节点群；在传递第二结果集之后使第二处理节点群进入第二休息状态；以及协调第一计算链。这已较宽泛地勾勒出本公开的特征和技术优势以便下面的详细描述可以被更好地理解。本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。附图简述在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。图1解说了根据本公开的某些方面的示例神经元网络。图2解说了根据本公开的某些方面的计算网络(神经系统或神经网络)的处理单元(神经元)的示例。图3解说了根据本公开的某些方面的尖峰定时依赖可塑性(STDP)曲线的示例。图4解说了根据本公开的某些方面的用于定义神经元模型的行为的正态相和负态相的示例。图5解说了根据本公开的某些方面的使用通用处理器来设计神经网络的示例实现。图6解说了根据本公开的某些方面的设计其中存储器可以与个体分布式处理单元对接的神经网络的示例实现。图7解说了根据本公开的某些方面的基于分布式存储器和分布式处理单元来设计神经网络的示例实现。图8解说了根据本公开的某些方面的神经网络的示例实现。图9是解说根据本公开的各方面的示例性RBM的框图。图10是解说根据本公开的各方面的示例性DBN的框图。图11是解说根据本公开的各方面的RBM中的并行采样链的框图。图12是解说根据本公开的各方面的具有协调器神经元的RBM的框图。图13A-F是解说根据本公开的各方面的被训练用于分类、识别、以及生成的示例性DBN的框图。图14-15解说根据本公开的各方面的用于分布式计算的方法。详细描述以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以便避免淡化此类概念。基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。示例神经系统、训练及操作图1解说了根据本公开的某些方面的具有多级神经元的示例人工神经系统100。神经系统100可具有神经元级102，该神经元级102通过突触连接网络104(即，前馈连接)来连接到另一神经元级106。为简单起见，图1中仅解说了两级神经元，尽管神经系统中可存在更少或更多级神经元。应注意，一些神经元可通过侧向连接来连接至同层中的其他神经元。此外，一些神经元可通过反馈连接来后向连接至先前层中的神经元。如图1本文档来自技高网...

【技术保护点】
一种分布式计算方法，包括：使用第一处理节点群来在第一计算链中计算第一结果集；将所述第一结果集传递给第二处理节点群；在传递所述第一结果集之后使所述第一处理节点群进入第一休息状态；使用所述第二处理节点群至少部分地基于所述第一结果集在所述第一计算链中计算第二结果集；将所述第二结果集传递给所述第一处理节点群；在传递所述第二结果集之后使所述第二处理节点群进入第二休息状态；以及协调所述第一计算链。

【技术特征摘要】
【国外来华专利技术】2014.03.26 US 61/970,807;2015.03.16 US 14/659,5161.一种分布式计算方法，包括：使用第一处理节点群来在第一计算链中计算第一结果集；将所述第一结果集传递给第二处理节点群；在传递所述第一结果集之后使所述第一处理节点群进入第一休息状态；使用所述第二处理节点群至少部分地基于所述第一结果集在所述第一计算链中计算第二结果集；将所述第二结果集传递给所述第一处理节点群；在传递所述第二结果集之后使所述第二处理节点群进入第二休息状态；以及协调所述第一计算链。2.如权利要求1所述的方法，其特征在于，所述方法进一步包括由所述第一处理节点群在所述第一休息状态期间执行附加计算，从而创建并行计算链。3.如权利要求2所述的方法，其特征在于，所述并行计算链包括持久链和数据链，其中隐藏和可见神经元在所述持久链和所述数据链之间交替，以使用持久对比散度(CD)来学习。4.如权利要求1所述的方法，其特征在于，所述第一休息状态包括被用于并行地操作多个持久链的突触延迟和增加的突触延迟以及所述并行链上被取平均的权重更新。5.如权利要求1所述的方法，其特征在于，所述协调包括控制以下定时：传递所述第一和第二结果集的定时、所述第一休息状态的定时、所述第二休息状态的定时、计算所述第一结果集的定时或计算所述第二结果集的定时。6.如权利要求1所述的方法，其特征在于，所述协调是经由外部输入来进行的。7.如权利要求6所述的方法，其特征在于，所述外部输入是兴奋性的。8.如权利要求6所述的方法，其特征在于，所述外部输入是抑制性的。9.如权利要求1所述的方法，其特征在于，所述协调是经由带内消息令牌传递来进行的。10.如权利要求1所述的方法，其特征在于，所述方法进一步包括经由带内消息令牌传递或外部输入来使用协调将所述第一计算链复位。11.如权利要求1所述的方法，其特征在于，所述第一处理节点群和所述第二处理节点群包括神经元。12.如权利要求1所述的方法，其特征在于，所述第一计算链包括尖峰发放神经网络。13.如权利要求1所述的方法，其特征在于，所述第一计算链包括深度置信网络(DBN)。14.如权利要求13所述的方法，其特征在于，所述DBN的各层是使用尖峰定时依赖可塑性(STDP)来训练的。15.如权利要求1所述的方法，其特征在于，所述第一计算链包括深度波尔兹曼机。16.如权利要求1所述的方法，其特征在于，至少一个内部节点状态或节点尖峰触发一轮计算的开始或停止。17.一种用于分布式计算的装置，包括：存储器；以及耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：使用第一处理节点群来在第一计算链中计算第一结果集；将所述第一结果集传递给第二处理节点群；在传递所述第一结果集之后使所述第一处理节点群进入第一休息状态；使用所述第二处理节点群至少部分地基于所述第一结果集在所述第一计算链中计算第二结果集；将所述第二结果集传递给所述第一处理节点群；在传递所述第二结果集之后使所述第二处理节点群进入第二休息状态；以及协调所述第一计算链。18.如权利要求17所述的装置，其特征在于，所述至少一个处理器被进一步配置成由所述第一处理节点群在所述第一休息...

【专利技术属性】
技术研发人员：V·S·R·安纳普莱蒂，D·J·朱里安，A·莎拉，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US