一种应用于神经网络芯片的预测方法和预测装置制造方法及图纸

本发明专利技术提供了一种应用于神经网络芯片的预测方法和装置、服务器及可读存储介质。该方法包括：对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间；对M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到每个输出数据分布区间内的输出数据的数量占M个输出数据的总体数量的比率；基于M个输出数据分布区间对应的比率和预设的比特宽度，对M个输出数据进行比特宽度约束，得到M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特；以及基于第一起始比特和第一终止比特，对当前层的M个输出数据进行比特宽度约束，以实现神经网络芯片的预测。本发明专利技术降低了数据带宽，并进一步提高了计算效率。

Prediction method and prediction device applied to neural network chip

The present invention provides a prediction method, device, server and readable storage medium for neural network chip. The method includes: M output data on the current layer division, get the current layer of the M output data distribution; statistics on the output data of each output data of M output data distribution interval in the distribution range, quantity of each output data output data distribution range in the proportion of the total number of M output data; M output data distribution interval corresponding to the preset ratio and the bit width based on bit width constraint on the M output data, the N distribution range of the first and the first stop bit bit starting M output data distribution interval; and based on the first start bit and first termination bits. The M output data on the current layer of the bit width constraint, to realize the prediction of neural network chip. The invention reduces the data bandwidth and further improves the calculation efficiency.

【技术实现步骤摘要】
一种应用于神经网络芯片的预测方法和预测装置
本专利技术涉及人工神经网络计算
，尤其涉及一种应用于神经网络芯片的预测方法和预测装置、服务器及可读存储介质。
技术介绍
人工神经网络(ArtificialNeuralNetwork，ANN)由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称之为激活函数(ActivationFunction)。每两个节点之间的每个连接都有一个决定其连接强度的权重，该权重的值决定神经元的状态以及整个神经网络系统的性能，对于具有不同权重的同一网络结构而言，所表现出的行为特点往往不同。权重和偏置是影响人工神经网络模型性能的重要参数。现有技术中，在人工神经网络的训练阶段，通常利用某种“学习规则”对人工神经网络模型进行训练，从而得到有效的权重和偏置；在人工神经网络的预测阶段，通过训练得到的权重和偏置对人工神经网络模型进行预测运算。由于运算过程中存在大量的卷积运算，使得运算过程中产生大量的临时数据且占用大量的数据带宽，因此，导致计算时间长，且计算效率低，进而无法实现对人工神经网络模型的快速预测。
技术实现思路
有鉴于此，本专利技术实施例提供一种应用于神经网络芯片的预测方法和预测装置、服务器及可读存储介质，能够降低数据带宽，节省计算时间，并进一步提高计算效率。本专利技术的一个方面提供一种应用于神经网络芯片的预测方法，该方法包括：在神经网络训练过程中，对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间；对当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到每个输出数据分布区间内的输出数据的数量占M个输出数据的总体数量的比率；基于M个输出数据分布区间对应的比率和预设的比特宽度，对当前层的M个输出数据进行比特宽度约束，得到M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特，其中比特宽度为第一终止比特与第一起始比特之间的距离，N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于第一起始比特和第一终止比特，对当前层的M个输出数据进行比特宽度约束，以实现神经网络芯片的预测。在本专利技术的一个实施例中，对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间，包括：以2的n次方为界，对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间，其中n为整数，该方法还包括：以2的n次方为界，对当前层的M个权重数据进行划分，得到当前层的M个权重数据分布区间，其中n为整数；对当前层的M个权重数据分布区间中的每个权重数据分布区间内的权重数据进行统计，得到每个权重数据分布区间内的权重数据的数量占M个权重数据的总体数量的比率；基于M个权重数据分布区间对应的比率和预设的比特宽度，对当前层的M个权重数据进行比特宽度约束，得到M个权重数据分布区间中的N个分布区间的第二起始比特和第二终止比特，其中比特宽度为第二终止比特与第二起始比特之间的距离，N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于第二起始比特和第二终止比特，对当前层的M个权重数据进行比特宽度约束，以实现神经网络芯片的预测。在本专利技术的一个实施例中，该方法还包括：以2的n次方为界，对当前层的M个偏置数据进行划分，得到当前层的M个偏置数据分布区间，其中n为整数；对当前层的M个偏置数据分布区间中的每个偏置数据分布区间内的偏置数据进行统计，得到每个偏置数据分布区间内的偏置数据的数量占M个偏置数据的总体数量的比率；基于M个偏置数据分布区间对应的比率和预设的比特宽度，对当前层的M个偏置数据进行比特宽度约束，得到M个偏置数据分布区间中的N个分布区间的第三起始比特和第三终止比特，其中比特宽度为第三终止比特与第三起始比特之间的距离，N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于第三起始比特和第三终止比特，对当前层的M个偏置数据进行比特宽度约束，以实现神经网络芯片的预测。在本专利技术的一个实施例中，当前层为卷积层，该方法还包括：在神经网络训练过程中，对神经网络的输入层的M个输入数据进行数据预处理，得到输入层的M个输出数据，将输入层的M个输出数据作为卷积层的M个输入数据；以及对卷积层的M个输入数据进行卷积，得到卷积层的M个输出数据。在本专利技术的一个实施例中，当前层为激活层，该方法还包括：对激活层的M个输入数据进行激活，得到激活层的M个输出数据。在本专利技术的一个实施例中，当前层为池化层，该方法还包括：对池化层的M个输入数据进行采样，得到池化层的M个输出数据。在本专利技术的一个实施例中，当前层为全连接层，该方法还包括：对全连接层的M个输入数据进行分类，得到全连接层的M个输出数据。在本专利技术的一个实施例中，预设的比特宽度在1比特到32比特的范围内。在本专利技术的一个实施例中，预设的比特宽度为8比特。本专利技术的另一个方面提供一种应用于神经网络芯片的预测装置，该装置包括：划分模块，用于在神经网络训练过程中，对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间；统计模块，用于对当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到每个输出数据分布区间内的输出数据的数量占M个输出数据的总体数量的比率；约束模块，用于基于M个输出数据分布区间对应的比率和预设的比特宽度，对当前层的M个输出数据进行比特宽度约束，得到M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特，其中比特宽度为第一终止比特与第一起始比特之间的距离，N个分布区间对应的比率满足预设规则；以及预测模块，用于在神经网络预测过程中，基于第一起始比特和第一终止比特，对当前层的M个输出数据进行比特宽度约束，以实现神经网络芯片的预测。在本专利技术的一个实施例中，划分模块还以2的n次方为界，对当前层的M个输出数据进行划分，得到当前层的M个输出数据分布区间，其中n为整数，并且划分模块还以2的n次方为界，对当前层的M个权重数据进行划分，得到当前层的M个权重数据分布区间，其中n为整数，统计模块还对当前层的M个权重数据分布区间中的每个权重数据分布区间内的权重数据进行统计，得到每个权重数据分布区间内的权重数据的数量占M个权重数据的总体数量的比率，约束模块还基于M个权重数据分布区间对应的比率和预设的比特宽度，对当前层的M个权重数据进行比特宽度约束，得到M个权重数据分布区间中的N个分布区间的第二起始比特和第二终止比特，其中比特宽度为第二终止比特与第二起始比特之间的距离，N个分布区间对应的比率满足预设规则，以及预测模块还在神经网络预测过程中，基于第二起始比特和第二终止比特，对当前层的M个权重数据进行比特宽度约束，以实现神经网络芯片的预测。在本专利技术的一个实施例中，划分模块还以2的n次方为界，对当前层的M个偏置数据进行划分，得到当前层的M个偏置数据分布区间，其中n为整数，统计模块还对当前层的M个偏置数据分布区间中的每个偏置数据分布区间内的偏置数据进行统计，得到每个偏置数据分布区间内的偏置数据的数量占M个偏置数据的总体数量的比率，约束模块还基于M个偏置数据分布区间对应的比率和预设的比特宽度，对当前层的M个偏置数据进行比特宽度约束，得到M个偏置数据分布区间中的N个分布区间的第三起始比特和第三终止比特，其中比特本文档来自技高网...

【技术保护点】
一种应用于神经网络芯片的预测方法，其特征在于，所述方法包括：在神经网络训练过程中，对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间；对所述当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到所述每个输出数据分布区间内的输出数据的数量占所述M个输出数据的总体数量的比率；基于所述M个输出数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个输出数据进行比特宽度约束，得到所述M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特，其中所述比特宽度为所述第一终止比特与所述第一起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于所述第一起始比特和所述第一终止比特，对所述当前层的M个输出数据进行比特宽度约束，以实现所述神经网络芯片的预测。

【技术特征摘要】
1.一种应用于神经网络芯片的预测方法，其特征在于，所述方法包括：在神经网络训练过程中，对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间；对所述当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到所述每个输出数据分布区间内的输出数据的数量占所述M个输出数据的总体数量的比率；基于所述M个输出数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个输出数据进行比特宽度约束，得到所述M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特，其中所述比特宽度为所述第一终止比特与所述第一起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于所述第一起始比特和所述第一终止比特，对所述当前层的M个输出数据进行比特宽度约束，以实现所述神经网络芯片的预测。2.根据权利要求1所述的预测方法，其特征在于，所述对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间，包括：以2的n次方为界，对所述当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间，其中n为整数，所述方法还包括：以2的n次方为界，对所述当前层的M个权重数据进行划分，得到所述当前层的M个权重数据分布区间，其中n为整数；对所述当前层的M个权重数据分布区间中的每个权重数据分布区间内的权重数据进行统计，得到所述每个权重数据分布区间内的权重数据的数量占所述M个权重数据的总体数量的比率；基于所述M个权重数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个权重数据进行比特宽度约束，得到所述M个权重数据分布区间中的N个分布区间的第二起始比特和第二终止比特，其中所述比特宽度为所述第二终止比特与所述第二起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于所述第二起始比特和所述第二终止比特，对所述当前层的M个权重数据进行比特宽度约束，以实现所述神经网络芯片的预测。3.根据权利要求2所述的预测方法，其特征在于，所述方法还包括：以2的n次方为界，对所述当前层的M个偏置数据进行划分，得到所述当前层的M个偏置数据分布区间，其中n为整数；对所述当前层的M个偏置数据分布区间中的每个偏置数据分布区间内的偏置数据进行统计，得到所述每个偏置数据分布区间内的偏置数据的数量占所述M个偏置数据的总体数量的比率；基于所述M个偏置数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个偏置数据进行比特宽度约束，得到所述M个偏置数据分布区间中的N个分布区间的第三起始比特和第三终止比特，其中所述比特宽度为所述第三终止比特与所述第三起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及在神经网络预测过程中，基于所述第三起始比特和所述第三终止比特，对所述当前层的M个偏置数据进行比特宽度约束，以实现所述神经网络芯片的预测。4.根据权利要求1-3中任一项所述的预测方法，其特征在于，所述当前层为卷积层，所述方法还包括：在神经网络训练过程中，对神经网络的输入层的M个输入数据进行数据预处理，得到所述输入层的M个输出数据，将所述输入层的M个输出数据作为所述卷积层的M个输入数据；以及对所述卷积层的M个输入数据进行卷积，得到所述卷积层的M个输出数据。5.根据权利要求1-3中任一项所述的预测方法，其特征在于，所述当前层为激活层，所述方法还包括：对所述激活层的M个输入数据进行激活，得到所述激活层的M个输出数据。6.根据权利要求1-3中任一项所述的预测方法，其特征在于，所述当前层为池化层，所述方法还包括：对所述池化层的M个输入数据进行采样，得到所述池化层的M个输出数据。7.根据权利要求1-3中任一项所述的预测方法，其特征在于，所述当前层为全连接层，所述方法还包括：对所述全连接层的M个输入数据进行分类，得到所述全连接层的M个输出数据。8.根据权利要求1-3中任一项所述的预测方法，其特征在于，所述预设的比特宽度在1比特到32比特的范围内。9.根据权利要求8所述的预测方法，其特征在于，所述预设的比特宽度为8比特。10.一种应用于神经网络芯片的预测装置，其特征在于，所述装置包括：划分模块，用于在神经网络训练过程中，对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间；统计模块，用于对所述当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行...

【专利技术属性】
技术研发人员：刘小涛，艾国，张韵东，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：北京,11