紧凑且高效的稀疏神经网络的系统和方法技术方案

提供了一种用于存储稀疏神经网络的设备、系统和方法。可以获得稀疏神经网络的多个权重。每个权重可以表示多个神经元层的不同层中的一对多个人工神经元之间的唯一连接。相邻神经元层中的少数对神经元在稀疏神经网络中连接。稀疏神经网络的多个权重中的每个可以与唯一索引相关联地存储。唯一索引可以唯一地识别一对具有由权重表示的连接的人工神经元。可以仅存储表示神经元对之间的连接的非零权重(并且可以不存储表示神经元对之间的无连接的零权重)。

The system and method of compact and efficient sparse neural network

【技术实现步骤摘要】
【国外来华专利技术】紧凑且高效的稀疏神经网络的系统和方法
本专利技术的实施例涉及通过机器学习的人工智能(AI)领域。特别地，本专利技术的实施例涉及使用神经网络的深度学习。
技术介绍
人工神经网络，或简称为“神经网络”，是一种计算机模型，类似于通过机器学习训练的神经元生物网络。传统的神经网络具有输入层，多个中间层或隐藏层以及输出层。每层具有多个(例如100至1000)人造“神经元”。层(N)中的每个神经元可以通过人工“突触”连接到先前(N-1)层和随后(N+1)层中的一些或全部神经元，以形成“部分连接”或“完全连接”神经网络。每个突触连接的强度由权重表示。因此，神经网络可以由网络中所有权重的集合表示。基于学习数据集训练神经网络(NN)以解决或学习指示该连接强度的每个突触的权重。例如，突触的权重通常是随机地初始化的。通过将样本数据集迭代输入到神经网络、输出应用于该数据集的神经网络的结果、计算预期(例如目标)输出和实际输出之间的误差以及使用纠错算法(例如反向传播)调整神经网络权重来进行训练以最大程度地减少错误。可以重复训练，直到误差最小化或收敛为止。通常，执行训本文档来自技高网...

【技术保护点】
1.一种有效地存储稀疏神经网络的方法，所述方法包括：/n获得多个权重的稀疏神经网络，每个权重表示多个神经元层的不同层中的一对多个人工神经元之间的唯一连接，其中，相邻神经元层中的少数神经元对通过权重在所述稀疏神经网络中连接；以及/n将所述稀疏神经网络的所述多个权重中的每个权重与唯一索引相关联地存储，所述唯一索引唯一地标识一对具有由所述权重表示的连接的人工神经元，其中，仅存储表示神经元对之间的连接的非零权重并且不存储表示神经元对之间的无连接的零权重。/n

【技术特征摘要】
【国外来华专利技术】20171006 US 62/569,033;20180720 US 16/041,4971.一种有效地存储稀疏神经网络的方法，所述方法包括：
获得多个权重的稀疏神经网络，每个权重表示多个神经元层的不同层中的一对多个人工神经元之间的唯一连接，其中，相邻神经元层中的少数神经元对通过权重在所述稀疏神经网络中连接；以及
将所述稀疏神经网络的所述多个权重中的每个权重与唯一索引相关联地存储，所述唯一索引唯一地标识一对具有由所述权重表示的连接的人工神经元，其中，仅存储表示神经元对之间的连接的非零权重并且不存储表示神经元对之间的无连接的零权重。


2.根据权利要求1所述的方法，包括存储标识每个权重的三元组值，所述三元组值包括：
所述索引的第一值，标识所述不同层中的第一层中的对的第一神经元，
所述索引的第二值，标识所述不同层中的第二层中的对的第二神经元，以及
所述权重的值。


3.根据权利要求1所述的方法，包括：
根据所述稀疏神经网络中与非零权重相关联的所述索引的非顺序模式，从主存储器中获取存储在所述主存储器中非顺序位置中的权重；以及
将从所述主存储器中非顺序位置获取的所述权重存储到高速缓存存储器中的顺序位置。


4.根据权利要求1所述的方法，包括使用选自由以下项构成的组中的一种或多种数据表示来存储所述稀疏神经网络的权重值：压缩稀疏行(CSR)表示、压缩稀疏列(CSC)表示、稀疏张量表示、映射表示、列表表示和稀疏矢量表示。


5.根据权利要求1所述的方法，包括：
接收包括多个权重的密集神经网络，其中，相邻神经元层中的多数神经元对通过权重在所述密集神经网络中连接；以及
通过修剪所述密集神经网络的权重，将所述密集神经网络转换为所述稀疏神经网络。


6.根据权利要求5所述的方法，其中，所述修剪在所述神经网络的训练阶段期间执行。


7.根据权利要求6所述的方法，包括使用选自由L1正则化、Lp正则化、阈值化、随机归零和基于偏置的修剪构成的组中的一种或多种修剪技术来修剪。


8.根据权利要求5所述的方法，其中，所述修剪在所述神经网络的训练阶段之后执行。


9.根据权利要求5所述的方法，其中，所述多个权重中的一个或多个权重被随机地、概率地或启发式地修剪。


10.根据权利要求1所述的方法，包括仅缓存由相关联的唯一索引标识的所述非零权重，从而连续地存储具有非连续索引的权重，跳过与所述零权重相关联的索引。


11.根据权利要求1所述的方法，包括在所述稀疏神经网络中生成一个或多个新权重。


12.根据权利要求1所述的方法，其中，所述多个权重中的一个或多个权重表示非相邻层中的成对人工神经元之间的跳过连接。


13.根据权利要求1所述的方法，其中，所述神经网络是循环神经网络，并且所述多个权重中的一个或多个权重表示相同层内的成对人工神经元之间的循环连接。


14.根据权利要求1所述的方法，包括使用进化算法或强化学习来训练所述稀疏神经网络。


15.一种用于有效地存储稀疏卷积神经网络的方法，所述方法包括：
获得一个或多个神经元层中包括多个神经元通道的稀疏卷积神经网络，每个神经元通道包括多个人工神经元，所述稀疏卷积神经网络由多个卷积滤波器表示，每个卷积滤波器包括多个权重，所述权重表示输入层的输入通道的神经元与卷积层的卷积通道的神经元之间的唯一连接，其中，相邻神经元层中的少数通道对通过所述稀疏神经网络中的卷积滤波器连接；
存储与唯一索引相关联的所述稀疏神经网络的所述多个卷积滤波器中的每个卷积滤波器，所述唯一索引唯一地标识一对通道，所述一对通道具有由所述卷积滤波器的权重表示的连接，其中，仅存储表示通道之间的连接的具有非零权重的卷积滤波器，而不存储表示通道之间未连接的具有零权重的卷积滤波器。


16.根据权利要求15所述的方法，包括：
接收包括多个卷积滤波器的密集卷积神经网络，其中，相邻神经元层中的多数通道对通过所述密集卷积神经网络中的卷积滤波器连接；以及
通过修剪所述密集卷积神经网络的滤波器，将所述密集卷积神经网络转换为所述稀疏卷积神经网络。


17.根据权利要求15所述的方法，包括存储标识每个卷积滤波器的三元组信息，所述三元组信息包括：
所述索引的第一值，标识所述通道对的所述输入通道，
所述索引的第二值，标识所述通道对的所述输出通道，以及
所述卷积滤波器的权重。


18.根据权利要求15所述的方法，包括：
...

【专利技术属性】
技术研发人员：伊莱·戴维，埃里·鲁滨，
申请(专利权)人：深立方有限公司，
类型：发明
国别省市：以色列;IL