利用非均匀权重分布提高定点神经网络推理效率制造技术

提供了一种用于配置神经网络的装置和方法，所述装置包括处理单元，所述处理单元用于：组合两个权重值的各自低部分值，一个权重值从所述神经网络的多个非均匀分布的权重值的第一权重值集合中选择，另一个权重值从所述神经网络的多个非均匀分布的权重值的第二权重值集合中选择；以及并发地将所述神经网络的第一乘法器集合应用于组合的低部分值的集合，并将所述神经网络的第二乘法器集合应用于非零高部分值的集合，每个高部分值与低部分值相关联，其中，所述低部分值和所述高部分值都来自公共权重值。公共权重值。公共权重值。

【技术实现步骤摘要】
【国外来华专利技术】利用非均匀权重分布提高定点神经网络推理效率

技术介绍

[0001]本专利技术中描述的一些实施例涉及执行神经网络的计算机化装置，更具体地，但不排他性地，涉及执行具有定点权重值的神经网络的计算机化装置。
[0002]术语神经网络通常用于描述受人类大脑和神经系统启发的计算机系统。神经网络通常涉及大量并行操作，并在层(或层级)中排列和连接的处理对象。深度神经网络(deep neural network，DNN)中的术语“深度”是指这种神经网络中的层数。术语“推理”是指应用来自经过训练的神经网络模型的参数和计算，以响应于一个或多个输入值推断一个或多个输出值。神经网络层中的典型计算涉及对层输入值(也称为激活值)与关联权重值之间的多个乘积进行求和，并将所得到的和映射到层输出值。神经网络具有用于这种计算的多个权重值。在一些神经网络中，所述多个权重值是多个定点值。值的定点表示是一种表示实数值的近似值的方法，其中，基点之后有标识的位量。在十进制表示法中，基点称为小数点。在二进制表示法中，基点可以称为“二进制点”。在二进制表示法中，数字“四分之一”可以表示为以2为底的0.01。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于配置神经网络的装置，其特征在于，包括处理单元，所述处理单元用于：接收所述神经网络的多个权重值的第一权重值集合和第二权重值集合，其中，所述第一集合和所述第二集合的每个权重值具有低部分值和高部分值；产生组合的低部分值的集合，每个组合的低部分值通过组合两个权重值的各自低部分值而产生，一个权重值从所述第一集合中选择，另一个权重值从所述第二集合中选择；配置所述神经网络以通过并发计算以下各项来计算至少一个输出值：第一中间值集合，通过将所述神经网络的第一乘法器集合应用于所述组合的低部分值的集合；第二中间值集合，通过将所述神经网络的第二乘法器集合应用于所述第一集合和所述第二集合中的至少一些的高部分值集合，所述高部分值集合中的每个高部分值与低部分值相关联，其中，所述低部分值和所述高部分值都来自所述第一集合和所述第二集合的公共权重值。2.根据权利要求1所述的装置，其特征在于，所述组合的低部分值的集合中的每个组合的低部分值与激活值集合中的一个激活值相关联；其中，将所述第一乘法器集合应用于所述组合的低部分值的集合包括所述第一乘法器集合中的每个乘法器将所述组合的低部分值的集合中的一个组合的低部分值乘以与其相关联的相应激活值；其中，将所述第二乘法器集合应用于所述高部分值集合包括所述第二乘法器集合中的每个乘法器将所述高部分值集合中的一个高部分值乘以与相应低部分值相关联的相应激活值，所述相应低部分值与所述高部分值相关联；其中，计算所述至少一个输出值包括使用所述第一中间值集合和所述第二中间值集合计算所述至少一个输出值。3.根据权利要求2所述的装置，其特征在于，所述高部分值集合中的每个高部分值不等于零。4.根据权利要求2或3所述的装置，其特征在于，每个相应的激活值乘以所述高部分值集合中的高部分值不等于零。5.根据权利要求2至4中任一项所述的装置，其特征在于，配置所述神经网络计算至少一个输出值还包括：从所述第一乘法器集合和所述第二乘法器集合中的一个或多个中选择的至少一些乘法器通过如下方式计算另一个第二中间值集合：将从所述第一集合和所述第二集合中的一个或多个中选择的至少一些其它高部分值的其它高部分值的集合中的一个其它高部分值乘以所述相应激活值，其中，所述其它高部分值与其它低部分值相关联，所述其它低部分值和所述其它高部分值都源自所述第一集合和所述第二集合的另一个公共权重值，其中，所述相应激活值与相应其它低部分值相关联，所述相应其它低部分值与所述其它高部分值相关联；其中，计算所述至少一个输出值包括进一步使用所述另一个第二中间值集合计算所述至少一个输出值。6.根据权利要求5所述的装置，其特征在于，所述第二乘法器集合具有标识的乘法器量；
其中，通过选择所述第一集合和所述第二集合中的所有的完整高部分值集合而产生的非零高部分集合包括比所述标识的乘法器量更多的高部分值；其中，所述其它高部分值的集合包括所述完整高部分值集合中，不是所述高部分值集合的成员的多个其它高部分值。7.根据权利要求6所述的装置，其特征在于，接收所述第一集合包括：接收所述第一集合的第一低部分值序列；按顺序接收第一位序列，每个位与所述第一低部分值序列中的一个低部分值相关联，并且当与所述低部分值相关联的相应高部分值不等于零时，该第一位序列的值为1，否则其值为0；按顺序接收第一高部分值序列，每个高部分值与所述第一位序列的非零位相关联；其中，接收所述第二集合包括：接收所述第二集合的第二低部分值序列；按顺序接收第二位序列，每个位与所述第二低部分值序列中的一个其它低部分值相关联，并且当与所述其它低部分值相关联的另一个相应高部分值不等于零时，该第二位序列的值为1，否则其值为0；按顺序接收第二高部分值序列，每个高部分值与所述第二位序列的另一个非零位相关联。8.根据权利要求6或7所述的装置，其特征在于，所述标识的乘法器量为32。9.根据权利要求1至8中任一项所述的装置，其特征在于：每个权重值包括权重位量；每个低部分值包括低部分位量；每个低部分值是所述权重值的最低有效部分。10.根据权利要求9所述的装置，其特征在于，所述低部分位量是所述权重位量的一半。11.根据权利要求9或10所述的装置，其特征在于，所述权重位量从由4、8、16、32和64组成的位量组中选择。12.根据权利要求1至11中任一项所述的装置，其特征在于，所述神经网络包括多个层，每个层具有所述神经网络的所述多个权重值中的多个层权重值；其中，所述第一集合和所述第二集合从所述多个层中的一个层的所述多个层权重值中选择。13.根据权利要求1至12中任一项所述的装置，其特征在于：第一对集合包括所述第一集合和所述第二集合；其中，第二对集合包括所述多个权重值的另一个第一权重值集合和所述多个权重值的另一个第二权重值集合；其中，所述处理单元还用于：接收所述第二对集合；产生组合的低部分值的另一个集合，每个组合的低部分值通过组合两个其它权重值的各自其它低部分值而产生，一个权重值从所述另一个第一集合中选择，另一个权重值从所述另一个第二集合中选择；
配置...

【专利技术属性】
技术研发人员：迈克尔，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：