在卷积神经网络中的计算方法及装置制造方法及图纸

在卷积神经网络中的计算方法及装置。上述方法包括：接收一原始数据；根据上述原始数据的一分布确定一第一最优量化步长；根据上述第一最优量化步长定点化上述原始数据以产生一第一数据；将上述第一数据输入至上述卷积神经网络的第一层，以产生一第一输出数据；根据上述第一输出数据的分布确定一第二最优量化步长；根据上述第二最优量化步长定点化上述第一输出数据以产生一第二数据；以及将上述第二数据输入至上述卷积神经网络的第二层。

Method and apparatus for computing in convolutional neural networks

Method and apparatus for computing in convolutional neural networks. The method comprises: receiving an original data; according to a distribution to determine a first optimal quantization step of the original data; according to the first optimal quantization step of fixed point to the original data to generate a first data; the first layer of the first data input to the convolutional neural network, to generate a first output data; according to a second the optimal quantization step to determine the distribution of the first output data; according to the second optimal quantization step of fixed point of the first output data to generate a second data; and the second layer of the second data input to the convolutional neural network.

【技术实现步骤摘要】
在卷积神经网络中的计算方法及装置
本专利技术涉及一种神经网络的领域，更加具体地说涉及一种在一卷积神经网络中的计算方法及装置。
技术介绍
神经网络是一种以生物大脑为模型的计算机结构。在神经网络中，称为神经元的节点可互连并共同操作以处理输入数据。不同类型神经网络的例子包括但不局限于卷积神经网络(ConvolutionalNeuralNetworks)、循环神经网络(RecurrentNeuralNetworks)、深层信念网络(DeepBeliefNetworks)等神经网络。卷积神经网络包括一或多个卷积层的神经网络。卷积层通常稀疏连接至神经网络层。也就是说，卷积层中的每个节点从前面的神经网络层的一部分节点接收输入，并从输入产生激活。一般来说，卷积层具有根据每一节点的一组权重并藉由卷积已接收的输入产生激活的节点。在一些情况下，在卷积层中的节点可被配置为共享权重。也就是说，层中的所有节点或部分节点可被限制为具有与层中其他节点相同的权重。由于卷积层具有能依据在输入图像中像素数据的相对位置而从输入图像中提取特征的能力，因此卷积层被视为非常适合用于处理图像。然而，卷积神经网络庞大的计算量和存储量本文档来自技高网...

【技术保护点】
一种在卷积神经网络中的计算方法，上述方法包括：接收原始数据；根据上述原始数据的分布确定一第一最优量化步长；根据上述第一最优量化步长定点化上述原始数据以产生第一数据；将上述第一数据输入至上述卷积神经网络的第一层，以产生第一输出数据；根据上述第一输出数据的分布确定一第二最优量化步长；根据上述第二最优量化步长定点化上述第一输出数据以产生第二数据；以及将上述第二数据输入至上述卷积神经网络的第二层。

【技术特征摘要】
1.一种在卷积神经网络中的计算方法，上述方法包括：接收原始数据；根据上述原始数据的分布确定一第一最优量化步长；根据上述第一最优量化步长定点化上述原始数据以产生第一数据；将上述第一数据输入至上述卷积神经网络的第一层，以产生第一输出数据；根据上述第一输出数据的分布确定一第二最优量化步长；根据上述第二最优量化步长定点化上述第一输出数据以产生第二数据；以及将上述第二数据输入至上述卷积神经网络的第二层。2.如权利要求1所述的在卷积神经网络中的计算方法，其中上述原始数据的数据格式为浮点型，上述第一数据和第二数据的数据格式为定点型。3.如权利要求1所述的在卷积神经网络中的计算方法，其中上述第一最优量化步长与上述第二最优量化步长不相同。4.如权利要求1所述的在卷积神经网络中的计算方法，其中上述第一层及上述第二层为上述卷积神经网络中的卷积层。5.如权利要求4所述的在卷积神经网络中的计算方法，其中输入至上述卷积神经网络的第一层的上述第一数据包括第一图像数据、第一权重数据和/或第一偏置数据。6.如权利要求5所述的在卷积神经网络中的计算方法，其中对上述权重数据及上述偏置数据采用非均匀量化法进行定点化处理。7.如权利要求1所述的在卷积神经网络中的计算方法，其中根据上述第二最优量化步长定点化上述第一输出数据之前，上述第一输出数据还通过激活层和/或池化层处理。8.如权利要求1所述的在卷积神经网络中的计算方法，其中上述第一最优量化步长和/或上述第二最优量化步长离线地被确定。9.如权利要求1所述的在卷积神经网络中的计算方法，其中上述根据上述第一最优量化步长定点化上述原始数据以产生上述第一数据还包括：根据上述第一最优量化步长确定第一定点数格式；以及根据上述第一定点数格式对原始数据进行定点化处理产生上述第一数据。10.如权利要求1所述的在卷积神经网络中的计算方法，其中上述原始数据包括原始图像数据、原始权重数据和/或原始偏置数据。11.如权利要求1所述的在卷积神经网络中的计算方法，其中上述根据上述第一输出数据的分布确定上述第二最...

【专利技术属性】
技术研发人员：潘杰，王旭，
申请(专利权)人：上海兆芯集成电路有限公司，
类型：发明
国别省市：上海,31