分段线性神经元建模制造技术

用于基于一个或多个线性化神经元模型在人工神经系统中进行分段线性神经元建模以及实现一个或多个人工神经元的方法和装置。一种示例方法(用于在神经处理单元系统中实现多个神经元模型的组合)一般包括：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态。该方法还可以包括更新这多个神经元模型(例如，通过添加、删除或调整第一神经元模型或另一个神经元模型的参数)。

【技术实现步骤摘要】
【国外来华专利技术】分段线性神经元建模根据35U.S.C.§119的优先权要求本申请要求以下美国临时专利申请的权益：于2012年11月20日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/728,360、于2012年12月7日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/734,716、于2012年12月21日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/740,633、以及于2013年1月25日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/756,889，上述所有申请的全部内容通过援引纳入于此。背景
本公开的某些方面一般涉及人工神经系统，尤其涉及将神经元模型的非线性函数的至少一部分近似为分段线性函数，以及涉及在一个或多个人工神经元中使用结果所得的线性化神经元模型。
技术介绍
可包括一群互连的人工神经元(即神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应结构和/或功能。然而，人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能，因此这样的网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是特别有用的。一种类型的人工神经网络是尖峰(spiking)神经网络，其将时间概念以及神经元状态和突触状态纳入到其工作模型中，由此提供了丰富的行为集，在神经网络中能从该行为集涌现出计算功能。尖峰神经网络基于以下概念：神经元基于该神经元的状态在一个或多个特定时间激发或“发放尖峰”，并且该时间对于神经元功能而言是重要的。当神经元激发时，它生成一尖峰，该尖峰行进至其他神经元，这些其他神经元继而可基于接收到该尖峰的时间来调整它们的状态。换言之，信息可被编码在神经网络中的尖峰的相对或绝对定时中。概述本公开的某些方面一般涉及将神经元模型的非线性函数的至少一部分近似为分段线性函数。例如，还提供了用于在一个或多个人工神经元中实现结果所得的线性化神经元模型的方法和装置。本公开的某些方面一般涉及用于实现神经元模型的动态的共用且灵活的架构。设计目标包括对动态的低复杂度、准确的建模，以及实现任何神经元模型(一维、二维或更多维)的能力。分段线性近似提供了在这种架构内仅通过替代与各种神经元模型相关联的不同参数来改变神经元模型的简单方式。本公开的某些方面提供了一种用于操作人工神经元的方法。该方法一般包括：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的装置。该装置一般包括处理系统和耦合到处理系统的存储器。处理系统一般被配置成：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的设备。该设备一般包括：用于确定人工神经元的第一状态位于第一区域内的装置；用于至少部分地基于第一组线性方程来确定人工神经元的第二状态的装置，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；用于确定人工神经元的第二状态位于第二区域内的装置；以及用于至少部分地基于第二组线性方程来确定人工神经元的第三状态的装置，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的计算机程序产品。该计算机程序产品一般包括计算机可读介质(例如，存储设备)，该计算机可读介质具有可执行以进行以下操作的指令：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的方法。该方法一般包括：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的装置。该装置一般包括处理系统和耦合到处理系统的存储器。该处理系统一般被配置成：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的装置。该装置一般包括：用于将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中的装置；用于至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态的装置；以及用于至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态的装置。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的计算机程序产品。该计算机程序产品一般包括(非瞬态)计算机可读介质，该计算机可读介质具有可执行以进行以下操作的指令：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于操作人工神经元的方法。该方法一般包括：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内，其中第一区域或第二区域中的至少一者是由两个或更多个维度来定义的；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程是至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于本文档来自技高网...

【技术保护点】
一种用于在神经处理单元系统中实现多个神经元模型的组合的方法，包括：将从所述多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于所述第一神经元模型的所述参数来确定所述第一神经处理单元的第一状态；以及至少部分地基于所述第一神经元模型的所述参数并且基于所述第一状态来确定所述第一神经处理单元的第二状态。

【技术特征摘要】
【国外来华专利技术】2012.11.20 US 61/728,360;2012.12.07 US 61/734,716;1.一种用于在神经处理单元系统中实现多个神经元模型的组合的方法，包括：将从所述多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于所述第一神经元模型的所述参数来确定所述第一神经处理单元的第一状态；以及至少部分地基于所述第一神经元模型的所述参数并且基于所述第一状态来确定所述第一神经处理单元的第二状态；将第二神经元模型的参数加载到所述第一神经处理单元中；以及至少部分地基于所述第二神经元模型的所述参数和所述第二状态来确定所述第一神经处理单元的第三状态，其中所述第一神经处理单元的所述第一状态、第二状态和第三状态是通过膜电位和恢复电流来定义的。2.根据权利要求1所述的方法，还包括更新所述多个神经元模型。3.根据权利要求1所述的方法，其中加载所述第二神经元模型的所述参数是响应于配置事件的。4.根据权利要求3所述的方法，其中所述配置事件包括对所述神经处理单元系统或所述第一神经处理单元中的至少一者上电。5.根据权利要求1所述的方法，其中所述第二神经元模型至少部分地被配置成产生振荡。6.根据权利要求1所述的方法，其中加载所述第二神经元模型的所述参数是至少部分地基于以下至少一者的：状态条件、时间条件或触发，其中所述触发位于所述第一神经处理单元的外部。7.根据权利要求1所述的方法，还包括：将从所述多个神经元模型中选择的第二神经元模型的参数加载到第二神经处理单元中；以及至少部分地基于所述第二神经元模型的所述参数来确定所述第二神经处理单元的状态。8.根据权利要求7所述的方法，其中所述第一神经元模型和所述第二神经元模型表示不同类型的神经元。9.根据权利要求1所述的方法，其中加载所述第一神经元模型的所述参数包括：从存储器获取所述第一神经元模型的所述参数的至少一部分。10.根据权利要求9所述的方法，其中所述存储器的至少一部分位于所述第一神经处理单元的本地。11.根据权利要求9所述的方法，其中所述存储器的至少一部分是高速缓存存储器。12.根据权利要求9所述的方法，其中加载所述第一神经元模型的所述参数还包括：在所述存储器中访问与所述第一神经元模型相关联的存储器块。13.根据权利要求12所述的方法，其中所述存储器块是由指向所述存储器块中的存储器地址的指针来指定的。14.根据权利要求1所述的方法，其中所述多个神经元模型包括以下至少一者：Izhikevich简单模型、指数积分激发(EIF)模型、FitzHugh-Nagumo模型、四次模型或者固有电导模型。15.一种用于在神经处理单元系统中实现多个神经元模型的组合的装置，包括：处理系统，所述处理系统被配置成：将从所述多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于所述第一神经元模型的所述参数来确定所述第一神经处理单元的第一状态；以及至少部分地基于所述第一神经元模型的所述参数并且基于所述第一状态来确定所述第一神经处理单元的第二状态；将第二神经元模型的参数加载到所述第一神经处理单元中；以及至少部分地基于所述第二神经元模型的所述参数和所述第二状态来确定所述第一神经处理单元的第三状态，其中所述第一神经处理单元的所述第一状态、第二状态和第三状态是通过膜电位和恢复电流来定义的；以及耦合到所述处理...

【专利技术属性】
技术研发人员：R·派多瓦尼，Y·C·尹，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US