处理装置和处理系统制造方法及图纸

本公开提供了一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，存储单元用于存储网络的输入和输出数据以及指令；粗粒度选数单元用于接收输入数据和非零单元位置数据，选出非零单元对应的输入数据；运算单元，用于输入非零单元和非零权值对应的输入数据。上述处理系统能减少访存同时减少运算量，从而获得加速比并降低能耗。

【技术实现步骤摘要】
处理装置和处理系统
本公开涉及计算机领域，进一步涉及人工智能领域。
技术介绍
神经网络(neuralnetwork)已经获得了非常成功的应用。但是随着我们设计更大规模，更深层次的神经网络，将引入更多的权值，而超大规模权值成为神经网络应用的一个巨大挑战。一方面，大规模的权值数据对存储提出了更高的要求，大量访存操作将带来巨大的访存能耗，另一方面，大量的权值对运算单元也提出更高要求，计算时间和计算能耗随之增加。因此，减少神经网络的权值并减少计算量成为一个亟待解决的问题。目前大部分的工作主要利用低秩矩阵分解或者哈希技巧等，但是这些方法能够减少的权值以及计算量有限，并且会降低神经网络的精度，因此，需要一种更加有效的方法减少神经网络的权值并减少计算量。公开内容(一)要解决的技术问题有鉴于此，本公开的目的在于提供一种处理系统，以解决以上所述的至少一项技术问题。(二)技术方案根据本公开，提供一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，存储单元，用于存储神经网络的输入神经元、输出神经元、权值以及指令；粗粒度选数单元，用于接收输入神经元和非零权值位置数据，选出非零权值对应的输入神经元；运本文档来自技高网...

【技术保护点】
1.一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，存储单元，用于存储神经网络的输入神经元、输出神经元、权值以及指令；粗粒度选数单元，用于接收输入神经元和非零权值位置数据，选出非零权值对应的输入神经元；运算单元，用于输入非零权值和非零权值对应的输入神经元，完成神经网络运算并将输出神经元作为下一层的输入神经元传输给存储单元。

【技术特征摘要】
1.一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，存储单元，用于存储神经网络的输入神经元、输出神经元、权值以及指令；粗粒度选数单元，用于接收输入神经元和非零权值位置数据，选出非零权值对应的输入神经元；运算单元，用于输入非零权值和非零权值对应的输入神经元，完成神经网络运算并将输出神经元作为下一层的输入神经元传输给存储单元。2.根据权利要求1所述的处理装置，其特征在于还包括：指令控制单元，用于接收所述指令，经过译码后生成控制指令控制运算单元。3.根据权利要求1或2所述的处理装置，其特征在于，所述存储单元用于存放的权值为非零权值以及非零权值位置数据。4.根据权利要求1-3任一所述的处理装置，其特征在于，还包括预处理单元：用于对输入神经元和权值进行预处理，将预处理后的数据输入所述存储部分。5.根据权利要求4所述的处理装置，其特征在于，所述预处理包括数据的切分、高斯滤波、二值化、正则化和/或归一化处理。6.根据权利要求2-5任一所述的处理装置，其特征在于，还包括指令缓存单元，用于缓存指令。7.根据权利要求2-5任一所述的处理装置，其特征在于，还包括非零权值缓存单元，用于缓存非零权值数据。8.根据权利要求2-5任一所述的处理装置，特征在于，还包括非零权值位置缓存单元，用于缓存非零权值数据位置。9.根据权利要求2-5任一所述的处理装置，其特征在于，还包括输入神经元缓存单元，用于缓存输入神经元。10.根据权利要求2-5任一所述的处理装置，其特征在于，还包括输出神经元缓存单元，用于缓存输出神经元。11.根据权利要求6-10任一所述的处理装置，其中所述指令缓存单元、非零权值缓存单元、非零权值位置缓存单元、输入神经元缓存单元或输出神经元缓存单元为片上缓存。12.根据权利要求2-5任一所述的处理装置，其特征在于，非零权值位置缓存单元，用于缓存非零权值位置数据；非零权值位置缓存将输入数据中每个连接权值一一对应到相应的输入神经元。13.根据权利要求1-12任一所述的处理装置，其特征在于，还包括直接数据存取单元DMA，用于在所述存储单元，与所述指令缓存单元、非零权值缓存单元、非零权值位置缓存单元、输入神经元缓存单元或输出神经元缓存中进行数据或者指令读写。14.根据权利要求2-13任一所述的处理装置，其特征在于，所述运算单元包括以下至少一种：乘法器，用于将所述第一输入数据和第二输入数据相乘，得到相乘之后的数据；一个或多个加法器，用于将第三输入数据相加；激活函数运算单元，用于对第五数据通过激活函数运算得到输出数据，所述激活函数包括sigmoid、tanh、relu或softmax函数。15.根据权利要求14所述的处理装置，其特征在于，所述运算单元包括多个加法器，所述多个加法器组成加法树，用于将第三输入数据通过加法树逐级相加。16.根据权利要求14或15任一所述的处理装置，其特征在于，所述运算单元还包池化单元，用于对输入的数据通过池化运算得到池化操作之后的输出数据，所述池化操作包括：平均值池化，最大值池化或者中值池化。17.一种处理系统，其中包括：粗粒度剪枝单元：用于使用滑动窗口从神经网络选取出一组权值，将选取的权值都置为零；训练单元：用于对神经网络进行训练，训练过程中已经被置为零的权值保持为零；以及权利要求1-16任一所述的处理装置，用于接收非零权值。1...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31