神经网络计算装置和系统及其方法制造方法及图纸

为了提供神经网络计算装置和系统及其方法，其中所有部件与一个系统时钟同步且通过同步电路而运作而且包括分布型存储器结构以及计算结构，其中分布型存储器结构用于存储人工神经网络数据，计算结构用于在管线电路中以时分方式处理所有神经元，本发明专利技术包括：控制单元，用于控制神经网络计算装置；多个存储器单元，用于输出连接线属性值和神经元属性值；以及一个计算单元，用于利用从多个存储器单元输入的连接线属性值和神经元属性值计算新神经元属性值，并将新神经元属性值反馈给多个存储器单元中的每个存储器单元。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】为了提供，其中所有部件与一个系统时钟同步且通过同步电路而运作而且包括分布型存储器结构以及计算结构，其中分布型存储器结构用于存储人工神经网络数据，计算结构用于在管线电路中以时分方式处理所有神经元，本专利技术包括：控制单元，用于控制神经网络计算装置；多个存储器单元，用于输出连接线属性值和神经元属性值；以及一个计算单元，用于利用从多个存储器单元输入的连接线属性值和神经元属性值计算新神经元属性值，并将新神经元属性值反馈给多个存储器单元中的每个存储器单元。【专利说明】
本专利技术的示例实施例涉及数字神经网络计算技术；具体而言，涉及一种神经网络 计算装置及其方法，该装置的所有部件作为与一个系统时钟同步的电路而运作，而且该装 置包括用于存储人工神经网络数据的分布式存储结构以及用于通过管线电路以时分方式 处理所有神经元的计算结构。
技术介绍
数字神经网络计算机是模拟生物神经网络以便构造与大脑作用类似的功能的电 子电路。 为了以人工方式实现生物神经网络，提出了具有与生物神经网络类似的结构的各 种计算方法，这种生物神经网络的构造方法可称之为神经网络模型。在大多数神经网络模 型中，人工神经元通过有向连接而连接，以形成网络。每个神经元具有唯一属性并通过连接 传送该属性，从而影响相邻神经元的属性。各个神经元之间的每个连接具有唯一属性，并用 于调整通过该连接传送的信号的强度。在各种神经网络模型中，最常用的神经元属性是与 神经元的输出值对应的状态值，并且最常用的连接属性是指示连接的连接强度的权重值。 人工神经网络内的神经元可分为输入神经元、输出神经元以及其他隐藏神经元； 输入神经元用于从外部接收输入值，输出神经元用于把处理结果传送给外部。 与生物神经网络不同，数字神经网络计算机不能线性地改变神经元的值。因而，在 计算过程中，数字神经网络计算机逐个地计算全部神经元的值并在下次计算过程中反映已 计算的值。可将数字神经网络计算机逐个地计算全部神经元的值的周期称为神经网络更新 周期。在执行数字人工神经网络时，可以重复神经网络更新周期。 为使人工神经网络得到期望的结果值，以连接属性的形式存储神经网络内的知识 信息。将通过调整人工神经网络内的连接属性而积累知识的步骤称为学习模式，而将通过 输入数据搜索积累的知识的步骤称为回想模式。 在大多数神经网络模型中，回想模式的执行方法如下：为某输入神经元指定输入 数据，重复神经网络更新周期以得到输出神经元的状态值。在一个神经网络更新周期内，可 根据如下公式1来计算神经网络内的每个神经元j的状态值： 【权利要求】1. 一种神经网络计算装置，包括： 控制单元，被配置为控制所述神经网络计算装置； 多个存储器单元，每个存储器单元被配置为输出连接属性和神经元属性；以及 计算单元，被配置为利用从每个所述存储器单元输入的连接属性和神经元属性计算新 神经元属性，并将所述新神经元属性反馈给每个存储器单元。2. 根据权利要求1所述的神经网络计算装置，其中，所述控制单元包括： 时钟周期计数器，被配置为在一个神经网络计算周期内提供时钟周期；以及 控制存储器，被配置为存储控制信号的时序和控制信息，并根据来自所述时钟周期计 数器的时钟周期将所述时序和控制信息输出到所述神经网络计算装置。3. 根据权利要求1所述的神经网络计算装置，其中，所述控制单元由主计算机控制。4. 根据权利要求1所述的神经网络计算装置，还包括设置于所述计算单元的输出和所 述多个存储器单元之间的切换单元，所述切换单元被配置为根据所述控制单元的控制选择 来自所述控制单元的输入数据和来自所述计算单元的新神经元属性中的任一个，并将所选 择的数据或属性切换到所述多个存储器单元。5. 根据权利要求1至4中任意一项所述的神经网络计算装置，其中，每个存储器单元包 括： 第一存储器，被配置为存储连接属性； 第二存储器，被配置为存储神经元的唯一编号； 第三存储器，其地址输入连接到所述第二存储器的数据输出，并被配置为存储神经元 属性；以及 第四存储器，被配置为存储通过所述计算单元计算的新神经元属性。6. 根据权利要求5所述的神经网络计算装置，其中，每个存储器单元还包括： 第一寄存器，与系统时钟同步运作，设置于所述第一存储器的地址输入端并被配置为 临时存储输入到所述第一存储器的连接束编号；以及 第二寄存器，与所述系统时钟同步运作，设置于所述第三存储器的地址输入端并被配 置为临时存储从所述第二存储器输出的神经元的唯一编号，并且 所述第一存储器、所述第二存储器和所述第三存储器根据所述控制单元的控制以管线 方式运作。7. 根据权利要求5所述的神经网络计算装置，还包括： 多个第三寄存器，与系统时钟同步运作，设置于各个存储器单元的输出与所述计算单 元的输入之间，并被配置为临时存储连接属性和神经元属性；以及 第四寄存器，与所述系统时钟同步运作，设置于所述计算单元的输出端，并被配置为临 时存储从所述计算单元输出的新神经元属性， 其中，所述多个存储器单元和所述计算单元根据所述控制单元的控制以管线方式运 作。8. 根据权利要求5所述的神经网络计算装置，其中，所述控制单元通过下面的步骤在 每个存储器单元内的存储器中存储数据： a. 搜索神经网络中输入连接个数最大的神经元的输入连接的个数Pmax ; b. 当存储器单元的个数用p表示时，增加虚拟连接，使得神经网络内的所有神经元中 的每个神经元具有*p个连接，虽然所述虚拟连接被连接到任何神经元，但是所述 虚拟连接的连接属性对相邻神经元没有影响： c. 按任意顺序对神经网络内的所有神经元进行排序并为排序后的神经元分配连续编 号； d. 将所有神经元的连接除以p个连接，以将连接分为个连接束，并以任意顺 序对所述连接束排序； e. 为从第一神经元的第一连接束至最后一个神经元的最后一个连接束的各个连接束 分配连续编号k ; f. 将第k个连接束的第i个连接的属性存储在所述存储器单元的第i个存储器单元的 第一存储器的第k个地址中； g. 将第j个神经元的属性存储在所述多个存储器单元的第三存储器的第j个地址中； 以及 h. 将连接到第k个连接束的第i个连接的神经元的编号值存储在所述存储器单元的第 i个存储器单元的第二存储器的第k个地址中。9. 根据权利要求8所述的神经网络计算装置，其中，在步骤b中， 根据如下任一方法增加所述虚拟连接：增加属性对任何神经元的属性都没有影响的多 个虚拟连接，即使所述多个虚拟连接被连接到所述神经元；以及增加属性对神经网络中的 任何神经元都没有影响的一个虚拟神经元，即使所述虚拟神经元被连接到所述神经元，并 将所有虚拟连接都连接到所述虚拟神经元。10. 根据权利要求5所述的神经网络计算装置，其中，所述控制单元通过下面的步骤在 每个存储器单元内的存储器中存储数据： a. 根据神经网络内的每个神经元所包括的输入连接的个数，对所有神经元按升序排 序,并且为排序后的神经元顺序地分配编号； b. 增加其属性对神经网络内的另一神经元没有影响的一个空神经元，即使所述空神经 元通过连接被连接到所述神经元； C.当神经元j的输入连接的个数用pj表本文档来自技高网...

【技术保护点】
一种神经网络计算装置，包括：控制单元，被配置为控制所述神经网络计算装置；多个存储器单元，每个存储器单元被配置为输出连接属性和神经元属性；以及计算单元，被配置为利用从每个所述存储器单元输入的连接属性和神经元属性计算新神经元属性，并将所述新神经元属性反馈给每个存储器单元。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：安秉益，
申请(专利权)人：安秉益，
类型：发明
国别省市：韩国;KR