一种用于神经网络系统的神经装置(100)可被配置为在解码时间段期间接收一个或多个输入信号(301)，在该解码时间段期间解码该一个或多个输入信号(303)，得到解码信号，以及在该解码时间段终止时使用内部神经元动态来处理该解码信号(305)。经处理的信号可以用于编码随后的解码时间段中的一个或多个输出信号并将该一个或多个输出信号发射(307)至神经网络系统的另一神经装置。系统的另一神经装置。系统的另一神经装置。
【技术实现步骤摘要】
【国外来华专利技术】用于神经网络系统的神经装置
技术介绍
[0001]本公开涉及计算机系统领域，并且更具体地涉及用于神经网络系统的神经装置。
[0002]神经网络是在人工智能系统中使用的计算模型。神经网络可以基于多个人工神经元。每个人工神经元可以与一个或多个其他人工神经元连接，并且这些连接(“链接”)可以增强或抑制邻接神经元的激活状态。可以向尖峰神经网络(SNN)中的人工神经元提供必须被神经元的膜电位超过以生成尖峰的发放阈(firing threshold)。该阈值化可以是人工尖峰神经元的组件，其使能与尖峰进行能量高效的稀疏通信。
技术实现思路
[0003]各种实施例提供了如独立权利要求所描述的用于神经网络系统的神经装置、方法和计算机程序产品。在从属权利要求中描述了有利的实施例。如果本公开的实施例不是相互排斥的，则它们可以彼此自由地组合。
[0004]在一个方面，本公开的一些实施例涉及用于神经网络系统的神经装置(“发送装置”)。神经装置可以被配置为在解码时间段期间接收一个或多个输入信号，并且在解码时间段期间对一个或多个输入信号进行解码，得到解码信号，在解码时间段终止时，使用指示内部神经动态的模型来处理解码信号，并且使用经处理的信号编码随后的解码时间段中的一个或多个输出信号并将该一个或多个输出信号发射至神经网络系统的另一神经装置(“接收装置”)。
[0005]在另一方面，本公开的一些实施例涉及一种用于神经装置的方法。该方法可以包括在解码时间段期间接收一个或多个输入信号，在解码时间段期间对一个或多个输入信号进行解码，得到解码信号，在解码时间段终止时，使用指示内部神经动态的模型处理解码信号，并且使用经处理的信号编码随后的解码时间段中的一个或多个输出信号并将该一个或多个输出信号发射至神经网络系统的另一神经装置。
[0006]在另一方面，本公开的一些实施例涉及一种包括多个层的人工神经网络系统，其中所述多个层中的至少一个层可以包括一个或多个神经元实现，所述一个或多个神经元实现包括根据前述实施例的神经元装置。例如，人工神经网络系统的每个神经元可以是根据前述实施例的神经元装置。
[0007]在另一方面，本公开的一些实施例涉及一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有随其体现的计算机可读程序代码。计算机可读程序代码可以被配置为实现根据前述实施例的方法。
附图说明
[0008]下面，仅通过示例的方式，参考附图更详细地解释本公开的实施例，其中：
[0009]图1示出了与本公开的一些实施例一致的神经元装置的示例。
[0010]图2示出了与本公开的一些实施例一致的内部神经元动态单元的示例实现方式。
[0011]图3是与本公开的一些实施例一致的用于由神经装置处理输入信号的方法的流程
图。
[0012]图4示出了与本公开的一些实施例一致的用于确定调制值的示例时间相关函数。
[0013]图5A示出了与本公开的一些实施例一致的用于确定调制值的示例时间相关函数。
[0014]图5B示出了与本公开的一些实施例一致的用于确定调制值的示例时间相关函数。
[0015]图6是与本公开的一些实施例一致的用于由内部神经元动态单元生成输出值的方法的流程图。
[0016]图7是示出与本公开的一些实施例一致的用于使用两个神经装置来解码和编码信号的方法的图。
[0017]图8A是示出与本公开的一些实施例一致的示例SNN的测试准确度的曲线图。
[0018]图8B是示出与本公开的一些实施例一致的由示例SNN产生的尖峰的平均数量的图。
具体实施方式
[0019]本公开的各种实施例的描述将出于说明的目的而呈现，但不旨在是穷举的或限于所公开的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以帮助解释实施例的原理、实际应用或对市场中存在的技术的改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。
[0020]一些实施例中的神经装置可以提供多时间尺度尖峰神经元，其中神经元的不同部分在不同的时间尺度下操作。一些实施例可以通过有效地控制基于神经形态尖峰的装置的尖峰形成能力来增强基于神经形态尖峰的装置的操作。具体地，一些实施例可以利用输入定时信息，其可以具有理论上吸引人的能力以更有效地发送信息。与标准尖峰神经元相比，这可以提高准确度，并且与现有技术水平的速率编码相比，这可以提高效率。此外，这可以使能利用通过时间的反向传播(BPTT)技术进行端到端的可训练SNN，而不需要近似。以此方式，一些实施例可以改进人工尖峰神经元的尖峰形成过程以增强发送和接收丰富且准确的信息。
[0021]使用模型对解码信号的处理可以例如实现图像处理，例如用于手写数字识别。指示(或表示)内部神经元动态的模型f可以是神经装置的内部神经元动态的模型。该模型可以例如是躯体计算的模型。该模型可以是例如有状态模型。该模型可以例如使用一个或多个激活函数和内部状态，例如表示神经装置的膜电位。在一个示例中，模型可以是激活函数或多个激活函数的组合。
[0022]神经网络系统可被配置成实现/执行人工神经网络，诸如SNN。在一个示例中，神经装置可被实现为人工神经网络的神经元。例如，人工神经网络可包括多个层，其中该多个层中的每一层包括神经元，并且其中这些神经元中的每一神经元可以是神经装置。
[0023]根据一些实施例，输入信号和输出信号中的每个信号可以在信号在相应装置处的到达时间中对信息进行编码。输入信号和输出信号中的每个信号可以是尖峰。尖峰可以具有例如零或一的值。输入信号中的每个信号可以在信号到达发送装置的到达时间中对信息进行编码。例如，可以从到神经装置的一个或多个前馈连接和/或从到神经装置的一个或多个递归连接接收输入信号。神经装置可以经由前馈连接和/或循环连接而连接到神经网络
系统的其他神经装置。输出信号中的每个信号可以在信号到达接收装置的到达时间中对信息进行编码。所接收的信号可以是诸如零一归一化实数值之类的可变数值。例如，该值可以指示图像的像素的内容。
[0024]根据一些实施例，该装置可以被配置为通过以下操作来解码输入信号：a)在接收到输入信号中的输入信号时，为输入信号确定与输入信号的到达时间相对应的调制值，b)利用所确定的调制值对所接收的信号进行加权，c)将加权后的信号积分到装置的输入状态的当前值中，并且在解码时间段期间针对每个所接收的输入信号重复操作a)至c)，其中解码信号可以是积分值。输入状态可以例如针对每个解码时间段被(重新)初始化为给定值，例如零。
[0025]例如，在操作a)中所接收的输入信号中的每个输入信号可以是可由与该信号相关联的突触权重来加权的信号。例如，信号可穿过具有突触权重w的突触单元，并且该信号可由突触权重w来加权，从而得到在操作a)中所接收的输入信号。
[0026]根据一些实施例，该装置可以被配置用于将调制值确定为到达时间处的本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于神经网络系统的神经装置，所述装置被配置为：在解码时间段期间接收一个或多个输入信号；在所述解码时间段期间解码所述一个或多个输入信号，得到解码信号；在所述解码时间段终止时，使用指示内部神经动态的模型来处理所述解码信号；以及使用经处理的信号编码随后的解码时间段中的一个或多个输出信号并将所述一个或多个输出信号发射至所述神经网络系统的其他神经装置。2.根据权利要求1所述的装置，其中所述输入信号和所述输出信号中的每一个在所述信号在所述相应装置处的到达时间中对信息进行编码，并且其中同一信号能够依据其到达时间对不同信息进行编码。3.根据权利要求1所述的装置，其中所述装置被配置为通过以下操作来对所述输入信号进行解码：a)在接收到所述一个或多个输入信号时，针对所述输入信号确定与所述输入信号的到达时间相对应的调制值；b)用所确定的调制值对所接收的信号进行加权，以产生加权信号；c)将所述加权信号积分到所述装置的输入状态的当前值中以创建积分值；以及d)在所述解码时间段期间针对每个所接收的输入信号重复操作a)至c)，其中所述解码信号是所述积分值。4.根据权利要求3所述的装置，其中所述装置被配置用于将所述调制值确定为所述到达时间处的输入函数的值；并且其中所述输入函数是时间相关分段线性函数。5.根据权利要求4所述的装置，其中所述输入函数包括随着所述到达时间的值的增加而减小的值。6.根据权利要求3所述的装置，其中所述装置被配置用于将所述调制值确定为所述到达时间处的输入函数的值，其中所述输入函数是涉及预定义的值范围的时间相关的非线性函数。7.根据权利要求1所述的装置，其中：所述装置被配置为使用输出函数来编码和发射所述一个或多个输出信号，所述输出函数被配置为提供针对所述后续解码时间段中的每个时间点的值；以及所述装置被配置为确定所述输出函数的一个或多个值，使得所确定的值的组合表示经处理的信号的值，并且在对应于所确定的值的时间点提供所述一个或多个输出信号。8.根据权利要求7所述的装置，其中所述输出函数包括时间相关分段线性函数或时间相关非线性函数。9.根据权利要求8所述的装置，其中所述输出函数包括线性、指数或阶梯函数。10.根据权利要求1所述的装置，包括输入单元、内部神经元动态单元和输出单元，其中所述输入单元被配置为执行对所述一个或多个输入信号的接收和解码，所述内部神经元动态单元被配置为执行对所述解码信号的处理，并且所...
【专利技术属性】
技术研发人员：S，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。