【技术实现步骤摘要】
【国外来华专利技术】神经网络的模拟硬件实现
[0001]所公开的实现大体上涉及神经网络，且更具体地涉及用于神经网络的硬件实现的系统和方法。
[0002]背景
[0003]传统硬件未能跟上神经网络中的创新和基于机器学习的应用的日益普及。随着数字微处理器的发展处于停滞，神经网络的复杂性继续超过CPU和GPU的计算能力。基于脉冲神经网络(spike neural network)的神经形态(neuromorphic)处理器(例如Loihi和True North)在它们的应用中被限制。对于类似GPU的架构，这样的架构的功率和速度受数据传输速度限制。数据传输可以消耗高达80％的芯片功率，且可以显著影响计算的速度。边缘应用(edge application)要求低功率消耗，但目前没有消耗小于50毫瓦的功率的已知高性能硬件实现。
[0004]使用交叉开关(cross
‑
bar)技术的基于忆阻器的架构对于制造循环(recurrent)和前馈(feed
‑
forward)神经网络仍然是不实用的。例如，基于忆阻器的交叉开...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于神经网络的硬件实现的方法，包括：获得训练后的神经网络的神经网络拓扑和权重；将所述神经网络拓扑变换成模拟部件的等效模拟网络；基于所述训练后的神经网络的所述权重来计算对于所述等效模拟网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效模拟网络的模拟部件之间的相应连接；以及基于所述权重矩阵来生成用于实现所述等效模拟网络的示意模型，包括选择所述模拟部件的部件值。2.根据权利要求1所述的方法，其中，生成所述示意模型包括针对所述权重矩阵生成电阻矩阵，其中所述电阻矩阵的每个元素对应于所述权重矩阵的相应权重，并表示电阻值。3.根据权利要求2所述的方法，还包括：获得对于所述训练后的神经网络的新权重；基于所述新权重来为所述等效模拟网络计算新权重矩阵；以及针对所述新权重矩阵生成新电阻矩阵。4.根据权利要求1所述的方法，其中，所述神经网络拓扑包括一层或更多层神经元，每层神经元基于相应数学函数来计算相应输出，以及将所述神经网络拓扑变换成模拟部件的所述等效模拟网络包括：对于所述一层或更多层神经元中的每层：基于所述相应数学函数针对相应层识别一个或更多个函数块，其中每个函数块有相应示意实现，该相应示意实现具有符合相应数学函数的输出的块输出；以及基于排列所述一个或更多个函数块来生成模拟神经元的相应多层网络，其中每个模拟神经元实现所述一个或更多个函数块的相应函数，并且所述多层网络的第一层的每个模拟神经元连接到所述多层网络的第二层的一个或更多个模拟神经元。5.根据权利要求4所述的方法，其中，所述一个或更多个函数块包括选自由下列项组成的组的一个或更多个基本函数块：具有块输出V
out
＝ReLU(∑w
i
.V
iin
+bias)的加权求和块，其中ReLU是修正线性单元(ReLU)激活函数或类似的激活函数，V
i
表示第i个输入，w
i
表示对应于第i个输入的权重，以及bias表示偏差值，并且∑是求和运算符；具有块输出V
out
＝coeff.V
i
.V
j
的信号乘法器块，其中V
i
表示第i个输入，以及V
j
表示第j个输入，并且coeff是预定系数；具有块输出的sigmoid激活块，其中V表示输入，以及A和B是所述sigmoid激活块的预定系数值；具有块输出V
out
＝A*tanh(B*V
in
)的双曲正切激活块，其中V
in
表示输入，以及A和B为预定系数值；以及具有块输出U(t)＝V(t
‑
dt)的信号延迟块，其中t表示当前时间段，V(t
‑
1)表示前一时间段t
‑
1的信号延迟块的输出，以及dt是延迟值。6.根据权利要求4所述的方法，其中，识别所述一个或更多个函数块包括基于所述相应层的类型来选择所述一个或更多个函数块。7.根据权利要求1所述的方法，其中，所述神经网络拓扑包括一层或更多层神经元，每
层神经元基于相应数学函数来计算相应输出，并且将所述神经网络拓扑变换成模拟部件的所述等效模拟网络包括：将所述神经网络拓扑的第一层分解成多个子层，包括分解对应于所述第一层的数学函数以获得一个或更多个中间数学函数，其中每个子层实现一个中间数学函数；以及对于所述神经网络拓扑的所述第一层的每个子层：基于相应的中间数学函数为相应的子层选择一个或更多个子函数块；以及基于排列所述一个或更多个子函数块来生成模拟神经元的相应多层模拟子网，其中每个模拟神经元实现所述一个或更多个子函数块的相应函数，并且所述多层模拟子网的第一层的每个模拟神经元连接到所述多层模拟子网的第二层的一个或更多个模拟神经元。8.根据权利要求7所述的方法，其中，对应于所述第一层的所述数学函数包括一个或更多个权重，并且分解所述数学函数包括调整所述一个或更多个权重，使得组合所述一个或更多个中间函数产生所述数学函数。9.根据权利要求1所述的方法，还包括：针对所述神经网络拓扑的一个或更多个输出层生成数字部件的等效数字网络；以及将所述等效模拟网络的一层或更多层的输出连接到数字部件的所述等效数字网络。10.根据权利要求1所述的方法，其中，所述模拟部件包括多个运算放大器和多个电阻器，每个运算放大器表示所述等效模拟网络的模拟神经元，以及每个电阻器表示在两个模拟神经元之间的连接。11.根据权利要求10所述的方法，其中，选择所述模拟部件的部件值包括执行梯度下降方法以识别所述多个电阻器的可能电阻值。12.根据权利要求1所述的方法，其中，所述神经网络拓扑包括一个或更多个GRU或LSTM神经元，并且变换所述神经网络拓扑包括为所述一个或更多个GRU或LSTM神经元的每个循环连接生成一个或更多个信号延迟块。13.根据权利要求12所述的方法，其中，所述一个或更多个信号延迟块以与所述神经网络拓扑的预定输入信号频率匹配的频率被激活。14.根据权利要求1所述的方法，其中，所述神经网络拓扑包括执行无限激活函数的一层或更多层神经元，并且变换所述神经网络拓扑包括应用选自由下列项组成的组的一个或更多个变换：用有限激活代替所述无限激活函数；以及调整所述等效模拟网络的连接或权重，使得对于预定的一个或更多个输入，在所述训练后的神经网络和所述等效模拟网络之间的输出中的差异被最小化。15.根据权利要求2所述的方法，还包括：基于所述电阻矩阵来生成用于制造实现模拟部件的所述等效模拟网络的电路的一个或更多个光刻掩模。16.根据权利要求15所述的方法，还包括：获得对于所述训练后的神经网络的新权重；基于所述新权重来计算所述等效模拟网络的新权重矩阵；针对所述新权重矩阵生成新电阻矩阵；以及基于所述新电阻矩阵来生成用于制造实现模拟部件的所述等效模拟网络的所述电路
的新光刻掩模。17.根据权利要求1所述的方法，其中，使用软件仿真来训练所述训练后的神经网络以生成所述权重。18.一种用于神经网络的硬件实现的系统，包括：一个或更多个处理器；存储器；其中，所述存储器存储被配置用于由所述一个或更多个处理器执行的一个或更多个程序，以及所述一个或更多个程序包括指令，所述指令用于：获得训练后的神经网络的神经网络拓扑和权重；将所述神经网络拓扑变换成模拟部件的等效模拟网络；基于所述训练后的神经网络的所述权重来计算所述等效模拟网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效模拟网络的模拟部件之间的相应连接；以及基于所述权重矩阵来生成用于实现所述等效模拟网络的示意模型，包括选择所述模拟部件的部件值。19.一种非暂时性计算机可读存储介质，其存储被配置用于由具有一个或更多个处理器的计算机系统执行的一个或更多个程序，所述一个或更多个程序包括指令，所述指令用于：获得训练后的神经网络的神经网络拓扑和权重；将所述神经网络拓扑变换成模拟部件的等效模拟网络；基于所述训练后的神经网络的所述权重来计算所述等效模拟网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效模拟网络的模拟部件之间的相应连接；以及基于所述权重矩阵来生成用于实现所述等效模拟网络的示意模型，包括选择所述模拟部件的部件值。20.一种用于神经网络的硬件实现的方法，包括：获得训练后的神经网络的神经网络拓扑和权重；基于模拟集成电路(IC)设计约束来计算一个或更多个连接约束；将所述神经网络拓扑变换成满足所述一个或更多个连接约束的模拟部件的等效稀疏连接网络；以及基于所述训练后的神经网络的所述权重来计算所述等效稀疏连接网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效稀疏连接网络的模拟部件之间的相应连接。21.根据权利要求20所述的方法，其中，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：根据所述一个或更多个连接约束导出可能的输入连接度N
i
和输出连接度N
o
。22.根据权利要求21所述的方法，其中，所述神经网络拓扑包括具有K个输入和L个输出以及权重矩阵U的至少一个密集连接层，以及变换所述至少一个密集连接层包括：构建具有K个输入、L个输出和个层的所述等效稀疏连接网络，使得输入连接度不超过N
i
，以及输出连接度不超过N
o
。
23.根据权利要求21所述的方法，其中，所述神经网络拓扑包括具有K个输入和L个输出以及权重矩阵U的至少一个密集连接层，以及变换所述至少一个密集连接层包括：构建具有K个输入、L个输出和个层的所述等效稀疏连接网络，其中每个层m由对应的权重矩阵U
m
表示，其中缺少的连接用零表示，使得输入连接度不超过N
i
，以及输出连接度不超过N
o
，以及其中方程U＝∏
m＝1..M
U
m
以预定精度被满足。24.根据权利要求21所述的方法，其中，所述神经网络拓扑包括具有K个输入和L个输出、最大输入连接度P
i
、最大输出连接度P
o
以及权重矩阵U的单个稀疏连接层，其中缺少的连接用零表示，以及变换所述单个稀疏连接层包括：构建具有K个输入、L个输出、个层的所述等效稀疏连接层，每个层m由对应的权重矩阵U
m
表示，其中缺少的连接用零表示，使得输入连接度不超过N
i
，以及输出连接度不超过N
o
，其中方程U＝∏
m＝1..M
U
m
以预定精度被满足。25.根据权利要求21所述的方法，其中，所述神经网络拓扑包括具有K个输入和L个输出的卷积层，以及将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：将所述卷积层分解成具有K个输入、L个输出、最大输入连接度P
i
和最大输出连接度P
o
的单个稀疏连接层，其中P
i
≤N
i
以及P
o
≤N
o
。26.根据权利要求20所述的方法，还包括利用所述权重矩阵生成用于实现所述等效稀疏连接网络的示意模型。27.根据权利要求20所述的方法，其中，所述神经网络拓扑包括循环神经层，以及将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：将所述循环神经层变换成具有信号延迟连接的一个或更多个密集或稀疏连接层。28.根据权利要求20所述的方法，其中，所述神经网络拓扑包括循环神经层，以及将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：将所述循环神经层分解成若干层，其中所述层中的至少一个层等效于具有K个输入和L个输出以及权重矩阵U的密集或稀疏连接层，其中缺少的连接用零表示。29.根据权利要求20所述的方法，其中，所述神经网络拓扑包括K个输入、权重向量U∈R
K
和具有计算神经元的单层感知器，所述计算神经元具有激活函数F，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：根据所述一个或更多个连接约束为所述等效稀疏连接网络导出连接度N；使用方程计算所述等效稀疏连接网络的层的数量m；以及构建具有K个输入、m个层和所述连接度N的所述等效稀疏连接网络，其中所述等效稀疏连接网络包括所述m个层中的每个层中的相应的一个或更多个模拟神经元，前m
‑
1个层的每个模拟神经元实现恒等变换，且最后一层的模拟神经元实现所述单层感知器的所述计算神经元的所述激活函数F，以及计算所述等效稀疏连接网络的所述权重矩阵包括：通过基于所述权重向量U对方程组求解来计算所述等效稀疏连接网络的连接的权重向
量W，其中所述方程组包括具有S个变量的K个方程，并且S使用方程被计算。30.根据权利要求20所述的方法，其中，所述神经网络拓扑包括K个输入、具有L个计算神经元的单层感知器、以及包括所述L个计算神经元中的每个计算神经元的一行权重的权重矩阵V，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：根据所述一个或更多个连接约束为所述等效稀疏连接网络导出连接度N；使用方程计算所述等效稀疏连接网络的层的数量m；将所述单层感知器分解成L个单层感知器网络，其中每个单层感知器网络包括所述L个计算神经元中的相应计算神经元；对于所述L个单层感知器网络中的每个单层感知器网络：针对相应单层感知器网络构建具有K个输入、m个层和连接度N的相应等效金字塔状子网，其中所述等效金字塔状子网在所述m个层中的每个层中包括一个或更多个相应模拟神经元，前m
‑
1个层的每个模拟神经元实现恒等变换，且最后一层的模拟神经元实现对应于所述相应单层感知器的相应计算神经元的激活函数；以及通过将每个等效金字塔状子网连接在一起来构建所述等效稀疏连接网络，包括将所述L个单层感知器网络的每个等效金字塔状子网的输入连接在一起以形成具有L*K个输入的输入向量，以及计算所述等效稀疏连接网络的所述权重矩阵包括：对于所述L个单层感知器网络中的每个单层感知器网络：设定权重向量U＝V
i
，所述权重矩阵V的第i行对应于相应计算神经元，该相应计算神经元对应于所述相应单层感知器网络；以及通过基于所述权重向量U对方程组求解来计算相应等效金字塔状子网的连接的权重向量W
i
，其中所述方程组包括具有S个变量的K个方程，并且S使用方程被计算。31.根据权利要求20所述的方法，其中，所述神经网络拓扑包括K个输入、具有S个层的多层感知器，所述S个层中的每个层i包括一组对应的计算神经元L
i
和对应的权重矩阵V
i
，所述权重矩阵V
i
包括所述L
i
个计算神经元中的每个计算神经元的一行权重，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：根据所述一个或更多个连接约束为所述等效稀疏连接网络导出连接度N；将所述多层感知器分解成Q＝∑
i＝1,S
(L
i
)个单层感知器网络，其中每个单层感知器网络包括Q个计算神经元中的相应计算神经元，其中分解所述多层感知器包括复制由所述Q个计算神经元共享的所述K个输入中的一个或更多个输入；对于Q个单层感知器网络中的每个单层感知器网络：使用方程计算相应等效金字塔状子网的层的数量m，其中K
i,j
是在所述多层感知器中的相应计算神经元的输入的数量；以及
为相应单层感知器网络构建具有K
i,j
个输入、所述m个层和所述连接度N的相应等效金字塔状子网，其中所述等效金字塔状子网在所述m个层中的每个层中包括一个或更多个相应模拟神经元，前m
‑
1个层的每个模拟神经元实现恒等变换，以及最后一层的模拟神经元实现对应于所述相应单层感知器网络的相应计算神经元的激活函数；以及通过将每个等效金字塔状子网连接在一起来构建所述等效稀疏连接网络，包括将所述Q个单层感知器网络的每个等效金字塔状子网的输入连接在一起以形成具有Q*K
i,j
个输入的输入向量，以及计算所述等效稀疏连接网络的所述权重矩阵包括：对于所述Q个单层感知器网络中的每个单层感知器网络：设定权重向量所述权重矩阵V的第i行对应于相应计算神经元，该相应计算神经元对应于所述相应单层感知器网络，其中j是在所述多层感知器中的所述相应计算神经元的对应层；以及通过基于所述权重向量U对方程组求解来计算所述相应等效金字塔状子网的连接的权重向量W
i
，其中所述方程组包括具有S个变量的K
i,j
个方程，以及S使用方程被计算。32.根据权利要求20所述的方法，其中，所述神经网络拓扑包括具有K个输入、S个层的卷积神经网络(CNN)，所述S个层中的每个层i包括一组对应的计算神经元L
i
和对应的权重矩阵V
i
，所述权重矩阵V
i
包括所述L
i
个计算神经元中的每个计算神经元的一行权重，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：根据所述一个或更多个连接约束为所述等效稀疏连接网络导出连接度N；将所述CNN分解成Q＝∑
i＝1,S
(L
i
)个单层感知器网络，其中每个单层感知器网络包括Q个计算神经元中的相应计算神经元，其中分解所述CNN包括复制由所述Q个计算神经元共享的所述K个输入中的一个或更多个输入；对于Q个单层感知器网络中的每个单层感知器网络：使用方程计算相应等效金字塔状子网的层的数量m，其中j是在所述CNN中的相应计算神经元的对应层，以及K
i,j
是在所述CNN中的所述相应计算神经元的输入的数量；以及为相应单层感知器网络构建具有K
i,j
个输入、所述m个层和所述连接度N的相应等效金字塔状子网，其中所述等效金字塔状子网在所述m个层中的每个层中包括一个或更多个相应模拟神经元，前m
‑
1个层的每个模拟神经元实现恒等变换，以及最后一层的模拟神经元实现对应于所述相应单层感知器网络的相应计算神经元的激活函数；以及通过将每个等效金字塔状子网连接在一起来构建所述等效稀疏连接网络，包括将所述Q个单层感知器网络的每个等效金字塔状子网的输入连接在一起以形成具有Q*K
i,j
个输入的输入向量，以及计算所述等效稀疏连接网络的所述权重矩阵包括：对于所述Q个单层感知器网络中的每个单层感知器网络：
设定权重向量所述权重矩阵V的第i行对应于相应计算神经元，该相应计算神经元对应于所述相应单层感知器网络，其中j是在所述CNN中的所述相应计算神经元的对应层；以及通过基于所述权重向量U对方程组求解来计算所述相应等效金字塔状子网的连接的权重向量W
i
，其中所述方程组包括具有S个变量的K
i,j
个方程，以及S使用方程被计算。33.根据权利要求20所述的方法，其中，所述神经网络拓扑包括K个输入、具有K个神经元的层L
p
、具有L个神经元的层L
n
和权重矩阵W∈R
L
×
K
，其中R是实数的集合，所述层L
p
的每个神经元连接到所述层L
n
的每个神经元，所述层L
n
的每个神经元执行激活函数F，使得所述层L
n
的输出使用关于输入x的方程Y
o
＝F(W.x)被计算，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括执行梯形变换，所述梯形变换包括：根据所述一个或更多个连接约束导出可能的输入连接度N
I
>1和可能的输出连接度N
O
>1；根据K
·
L<L
·
N
I
+K
·
N
O
的确定，构建三层模拟网络，所述三层模拟网络包括具有执行恒等激活函数的K个模拟神经元的层LA
p
、具有执行恒等激活函数的个模拟神经元的层LA
h
和具有执行所述激活函数F的L个模拟神经元的层LA
o
，使得在所述层LA
p
中的每个模拟神经元具有N
O
个输出，在所述层LA
h
中的每个模拟神经元具有不多于N
I
个输入和N
O
个输出，以及在所述层LA
o
中的每个模拟神经元具有N
I
个输入，以及计算所述等效稀疏连接网络的所述权重矩阵包括：通过对矩阵方程W
o
.W
h
＝W求解来生成稀疏权重矩阵W
o
和W
h
，所述矩阵方程W
o
.W
h
＝W包括采用K
·
N
O
+L
·
N
I
个变量的K
·
L个方程，使得所述层LA
o
的总输出使用方程Y
o
＝F(W
o
.W
h
.x)被计算，其中所述稀疏权重矩阵W
o
∈R
K
×
M
表示在所述层LA
p
和LA
h
之间的连接，以及所述稀疏权重矩阵W
h
∈R
M
×
L
表示在所述层LA
h
和LA
o
之间的连接。34.根据权利要求33所述的方法，其中，执行所述梯形变换还包括：根据K
·
L≥L
·
N
I
+K
·
N
O
的确定：使所述层L
p
分裂以获得具有K
’
个神经元的子层L
p1
和具有(K
‑
K
’
)个神经元的子层L
p2
，使得K
′
·
L≥L
·
N
I
+K
′
·
N
O
；对于具有K
’
个神经元的所述子层L
p1
，执行构建和生成步骤；以及对于具有K
‑
K
’
个神经元的所述子层L
p2
，循环地执行分裂、构建和生成步骤。35.根据权利要求34所述的方法，其中，所述神经网络拓扑包括多层感知器网络，所述方法还包括：对于所述多层感知器网络的每对连续层，迭代地执行所述梯形变换并计算所述等效稀疏连接网络的所述权重矩阵。36.根据权利要求34所述的方法，其中，所述神经网络拓扑包括循环神经网络(RNN)，所述循环神经网络包括(i)两个完全连接层的线性组合的计算，(ii)逐元素相加，以及(iii)非线性函数计算，所述方法还包括：
执行所述梯形变换并计算所述等效稀疏连接网络的所述权重矩阵，用于(i)所述两个完全连接层，和(ii)所述非线性函数计算。37.根据权利要求34所述的方法，其中，所述神经网络拓扑包括长短期记忆(LSTM)网络或门控循环单元(GRU)网络，所述长短期记忆(LSTM)网络或门控循环单元(GRU)网络包括(i)多个完全连接层的线性组合的计算，(ii)逐元素相加，(iii)Hadamard乘积，以及(iv)多个非线性函数计算，所述方法还包括：执行所述梯形变换并计算所述等效稀疏连接网络的所述权重矩阵，用于(i)所述多个完全连接层，和(ii)所述多个非线性函数计算。38.根据权利要求34所述的方法，其中，所述神经网络拓扑包括卷积神经网络(CNN)，所述卷积神经网络包括(i)多个部分连接层和(ii)一个或更多个完全连接层()，所述方法还包括：通过插入具有零权重的缺失连接来将所述多个部分连接层变换成等效完全连接层；以及对于所述等效完全连接层和所述一个或更多个完全连接层中的每对连续层，迭代地执行所述梯形变换并计算所述等效稀疏连接网络的所述权重矩阵。39.根据权利要求20所述的方法，其中，所述神经网络拓扑包括K个输入、L个输出神经元和权重矩阵U∈R
L
×
K
，其中R是实数的集合，每个输出神经元执行激活函数F，将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括执行近似变换，所述近似变换包括：根据所述一个或更多个连接约束导出可能的输入连接度N
I
>1和可能的输出连接度N
O
>1；从集合中选择参数p；根据p>0的确定，构建形成所述等效稀疏连接网络的前p个层的金字塔神经网络，使得所述金字塔神经网络具有在它的输出层中的个神经元，其中所述金字塔神经网络中的每个神经元执行恒等函数；以及构建具有N
p
个输入和L个输出的梯形神经网络，其中所述梯形神经网络的最后一层中的每个神经元执行所述激活函数F，以及所有其他神经元执行恒等函数，以及计算所述等效稀疏连接网络的所述权重矩阵包括：生成所述金字塔神经网络的权重，包括(i)根据下面的规则设定所述金字塔神经网络的第一层的每个神经元i的权重：(a)其中C为非零常数，以及k
i
＝(i
‑
1)N
I
+1；以及(b)对于除k
i
之外的神经元的所有权重j，以及(ii)将所述金字塔神经网络的所有其他权重设定为1；以及生成所述梯形神经网络的权重，包括(i)根据方程设定所述梯形神经网络的第一层的每个神经元i的权重；以及(ii)将所述梯形神经网络的其他权重设定为1。40.根据权利要求39所述的方法，其中，所述神经网络拓扑包括多层感知器，该多层感
知器具有所述K个输入、S个层和在第i层中的L
i＝1,S
个计算神经元以及所述第i层的权重矩阵其中L0＝K，以及将所述神经网络拓扑变换成模拟部件的所述等效稀疏连接网络包括：对于所述多层感知器的所述S个层中的每个层j：通过对由L
j
‑1个输入、L
j
个输出神经元和权重矩阵U
j
组成的相应单层感知器执行所述近似变换来构建相应金字塔
‑
梯形网络PTNNX
j
；以及通过堆叠每个金字塔梯形网络来构建所述等效稀疏连接网络。41.一种用于神经网络的硬件实现的系统，包括：一个或更多个处理器；存储器；其中，所述存储器存储被配置用于由所述一个或更多个处理器执行的一个或更多个程序，以及所述一个或更多个程序包括指令，所述指令用于：获得训练后的神经网络的神经网络拓扑和权重；基于模拟集成电路(IC)设计约束来计算一个或更多个连接约束；将所述神经网络拓扑变换成满足所述一个或更多个连接约束的模拟部件的等效稀疏连接网络；以及基于所述训练后的神经网络的所述权重来计算所述等效稀疏连接网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效稀疏连接网络的模拟部件之间的相应连接。42.一种非暂时性计算机可读存储介质，其存储被配置用于由具有一个或更多个处理器的计算机系统执行的一个或更多个程序，所述一个或更多个程序包括指令，所述指令用于：获得训练后的神经网络的神经网络拓扑和权重；基于模拟集成电路(IC)设计约束来计算一个或更多个连接约束；将所述神经网络拓扑变换成满足所述一个或更多个连接约束的模拟部件的等效稀疏连接网络；以及基于所述训练后的神经网络的所述权重来计算所述等效稀疏连接网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效稀疏连接网络的模拟部件之间的相应连接。43.一种用于神经网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。