神经网络计算装置、神经网络计算方法及相关产品制造方法及图纸

本发明专利技术公开了一种神经网络计算装置及相关产品，该神经网络计算装置应用于神经网络芯片，该神经网络芯片设置于板卡上，该板卡包括：存储器件，用于存储数据；接口装置，用于实现神经网络芯片与外部设备之间的数据传输；控制器件，用于对神经网络芯片的状态进行监控，上述神经网络计算装置包括：运算单元、控制器单元和存储单元。采用本发明专利技术实施例能够减少神经网络的计算时间和计算能耗。

【技术实现步骤摘要】
神经网络计算装置、神经网络计算方法及相关产品
本专利技术涉及数据处理领域，尤其涉及一种神经网络计算装置、神经网络计算方法及相关产品。
技术介绍
稀疏模型中的权值数据params以一定比例为0。稀疏模型可在基本不降低神经网络推理准确度的情况下加快网络运行速度，如何优化稀疏模型的加速特性的问题亟待解决。
技术实现思路
本专利技术实施例提供一种神经网络计算装置、神经网络计算方法及相关产品，能够更好地发挥稀疏特性，使得网络推理速度更快。第一方面，本专利技术实施例提供一种神经网络计算装置，所述神经网络计算装置用于训练神经网络模型，所述神经网络模型的输入神经元数据的至少一部分数据为定点数格式，且所述定点数格式的位数数量小于预设数量，所述神经网络模型的权值数据为稀疏的权值数据；所述神经网络计算装置包括：运算单元、控制器单元以及存储单元；所述控制器单元，用于获取第i层的输入神经元数据以及所述第i层的权值数据，并将所述第i层的输入神经元数据和所述第i层的权值数据发送给所述运算单元；所述运算单元，用于确定所述第i层的输入神经元数据中的摆放顺序，根据所述摆放顺序进行组划分，得到多个组，并对所述第i层的权值数据本文档来自技高网...

【技术保护点】
1.一种神经网络计算装置，其特征在于，所述神经网络计算装置用于训练神经网络模型，所述神经网络模型的输入神经元数据的至少一部分数据为定点数格式，且所述定点数格式的位数数量小于预设数量，所述神经网络模型的权值数据为稀疏的权值数据；所述神经网络计算装置包括：运算单元、控制器单元以及存储单元；所述控制器单元，用于获取第i层的输入神经元数据以及所述第i层的权值数据，并将所述第i层的输入神经元数据和所述第i层的权值数据发送给所述运算单元；所述运算单元，用于确定所述第i层的输入神经元数据中的摆放顺序，根据所述摆放顺序进行组划分，得到多个组，并对所述第i层的权值数据中与所述摆放顺序中的一个维度对应的目标参数进...

【技术特征摘要】
1.一种神经网络计算装置，其特征在于，所述神经网络计算装置用于训练神经网络模型，所述神经网络模型的输入神经元数据的至少一部分数据为定点数格式，且所述定点数格式的位数数量小于预设数量，所述神经网络模型的权值数据为稀疏的权值数据；所述神经网络计算装置包括：运算单元、控制器单元以及存储单元；所述控制器单元，用于获取第i层的输入神经元数据以及所述第i层的权值数据，并将所述第i层的输入神经元数据和所述第i层的权值数据发送给所述运算单元；所述运算单元，用于确定所述第i层的输入神经元数据中的摆放顺序，根据所述摆放顺序进行组划分，得到多个组，并对所述第i层的权值数据中与所述摆放顺序中的一个维度对应的目标参数进行处理，得到处理后的目标参数；所述运算单元，还用于对所述多个组中每一组的数据做处理，得到多个值，每一组对应一个值；将处理后的所述第i层的权值数据中的元素值从小到大进行排序；按照预设比例将排序后的所述i层的权值数据中的绝对值小于预设阈值的组中数据稀疏为0，得到稀疏结果，将该稀疏结果以及所述多个组的数据执行所述第i层的训练运算，得到运算结果。2.根据权利要求1所述的装置，其特征在于，所述存储单元，用于存储第i层的输入神经元数据和所述第i层的权值数据；所述控制器单元，用于从所述存储单元中读取所述第i层的输入神经元数据和所述第i层的权值数据；或者，所述控制器单元，用于从外部设备中获取所述第i层的输入神经元数据和所述第i层的权值数据。3.根据权利要求1或2所述的装置，其特征在于，所述第i层为卷积层或者全连接层。4.根据权利要求3所述的装置，其特征在于，在所述根据所述摆放顺序进行组划分方面，所述运算单元具体用于：在所述第i层为卷积层时，沿所述摆放顺序的最内层维度进行组划分；或者，在所述第i层为全连接层时，按照所述输入神经元的行维度进行组划分。5.根据权利要求3或4所述的装置，其特征在于，在所述第i层为卷积层时，所述第i层的输入神经元数据的四个维度为(N，C，H，W)，其中，N表示输入神经元数据的batch_size，C表示输入神经元数据的通道数，H表示输入神经元数据的高度，W表示输入神经元数据的宽度；所述第i层的权值数据的四个维度为(M，C，KH，KW)，M表示卷积核的数量，C表示卷积核的通道数，KH表示卷积核的高度，KW表示卷积核的宽度；或者，在所述第j层为全连接层时，所述第j层的输入神经元数据的形状为(n，nin)，其中，n表示输入神经元数据的batch_size，nin表示输入神经元数据的长度，所述输入神经元数据对应的权值数据的形状为(nout，nin)，其中，nout表示全连接层每个输出神经元数据的长度。6.根据权利要求1-5任一项所述的装置，其特征在于，在所述对所述多个组中每一组的数据做处理方面，所述运算单元具体用于：选取所述多个组中每一组的最大值，得到所述多个值；或者，确定所述多个组中每一组的均值，得到所述多个值。7.根据权利要求1-6任一项所述的装置，其特征在于，所述装置还包括：配置解析单元和映射单元，所述存储器中预先存储稀疏处理指令以及预设配置数据时，其中，所述配置解析单元，用于根据所述预设配置数据设置映射模式；所述映射单元，用于根据所述映射模式对所述第i层的输入神经元数据和所述第i层的权值数据进行映射处理，得到输入神经元-权值对，所述输入神经元-权值对为映射处理后的输入神经元数据与权值数据之间的映射关系；在所述将所述第i层的输入神经元数据和所述第i层的权值数据发送给所述运算单元方面，所述控制器单元具体用于：将映射处理后的所述第i层的输入神经元数据和所述第i层的权值数据发送给所述运算单元。8.一种机器学习运算装置，其特征在于，所述机器学习运算装置包括一个或多个如权利要求1-7任一项所述的神经网络计算装置，用于从其他处理装置中获取待运算输入数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其他处理装置；当所述机器学习运算装置包含多个所述神经网络计算装置时，所述多个所述神经网络计算装置间可以通过特定的结构进行连接并传输数据；其中，多个所述神经网络计算装置通过快速外部设备互连总线PCIE总线进行互联并传...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京,11