【技术实现步骤摘要】
用于处置具有异常的处理的电路
[0001]相关申请的交叉引用
[0002]本申请要求2021年6月28日提交的题为“IMPROVING AREA AND POWER EFFICIENCY USING ACTIVATION OUTLIER VALUES”的美国临时申请No.63/215,812的优先权和权益，其全部内容通过引用并入本文。
[0003]根据本公开的实施例的一个或多个方面涉及神经网络计算，并且更具体地，涉及用于处置异常(outlier)的系统和方法。
技术介绍
[0004]由人工神经网络执行的计算可能涉及计算乘积的和，例如，当执行卷积运算时。每个乘积可以是权重和激活(activation)的乘积，并且在一些情况下，激活值的分布可以使得只有相对少量的激活(其可以被称为“异常”)超过诸如15或31的阈值。在这种情况下，因为例如当激活中的任一个是5位宽时，可能使用5
×
8位乘法器而不是4
×
8位乘法器来将多个4位激活乘以8位权重，因此以相同的方式处理所有的乘积可能是浪费...
【技术保护点】
【技术特征摘要】
1.一种方法，包括：从激活阵列的第一行读取第一激活，所述第一激活包括最低有效部分和最高有效部分，所述第一激活的最高有效部分为零；将第一权重乘以第一激活；从激活阵列的第二行读取第二激活，所述第二激活包括最低有效部分和最高有效部分，所述第二激活的最高有效部分非零；以及将第二权重乘以第二激活，其中，将第一权重乘以第一激活包括：在第一乘法器中将第一权重乘以第一激活的最低有效部分，所述第一乘法器与第一行相关联；其中，将第二权重乘以第二激活包括：在第二乘法器中将第二权重乘以第二激活的最低有效部分，所述第二乘法器与第二行相关联；以及在共享的乘法器中将第二权重乘以第二激活的最高有效部分，所述共享的乘法器与激活阵列的多个行相关联，所述多个行包括第一行和第二行。2.根据权利要求1所述的方法，还包括：从激活阵列的第三行读取第三激活，所述第三激活包括最低有效部分和最高有效部分，所述第三激活的最高有效部分非零；以及将第三权重乘以第三激活，其中，将第三权重乘以第三激活包括：在第三乘法器中将第三权重乘以第三激活的最低有效部分，所述第三乘法器与激活阵列的第三行相关联；以及将第三激活的最高有效部分存储在包括多个行的缓冲器的第一行中，所述缓冲器的第一行与激活阵列的第三行相关联。3.根据权利要求2所述的方法，还包括递增与缓冲器的第一行相关联的计数器。4.根据权利要求3所述的方法，其中，将第三激活存储在缓冲器的第一行中包括：确定与缓冲器的第一行相关联的计数器的值小于或等于与对应于第二激活的缓冲器的行相关联的计数器的值。5.根据权利要求3所述的方法，其中，将第三权重乘以第三激活的最高有效部分还包括：从缓冲器中检索第三激活的最高有效部分，以及在第三乘法器中将第三权重乘以第三激活的最高有效部分。6.根据权利要求3所述的方法，其中，将第三权重乘以第三激活的最高有效部分还包括：从缓冲器中检索第三激活的最高有效部分，以及在共享的乘法器中将第三权重乘以第三激活的最高有效部分。7.根据权利要求2所述的方法，其中，所述第三激活的最高有效部分具有四位的宽度，并且所述第三激活的最低有效部分具有四位的宽度。8.根据权利要求2所述的方法，其中，所述第三激活的最高有效部分具有三位的宽度，
并且所述第三激活的最低有效部分具有五位的宽度。9.根据权利要求1所述的方法，其中，所述共享的乘法器包括：第一部分宽度乘法器；第二部分宽度乘法器；以及加法器。10.一种系统，包括：处理电路，包括：第一乘法器；第二乘法器；以及共享的乘法器；所述处理电路被配置为：从激活阵列的第一行读取第一激活，所述第一激活包括最低有效部分和最高有效部分，所述第一激活的最高有效部分为零；将第一权重乘以第一激活；从激活阵列的第二行读取第二激活，所述第二激活包括最低有效部分和最高有效部分，所述第二激活的最高有效部分非零；以及将第二权重乘以第二激活，其中，将第一权重乘以第一激活包括：在第一乘法器中将第一权重乘以第一激活的最低有效部分，所述第一乘法器与第一行相关联；其中，将第二权重乘以第二激活包括：在第二乘法器中将第二权重乘以第二激活的最低有效部分，所述第二乘法器与第二行相关联；以及在共享的乘法器中将第二权重乘以第二激活的最高有效部分，所述共享的乘法器与激活...
【专利技术属性】
技术研发人员：A沙菲阿德斯塔尼，HAA阿布德拉齐兹，J哈苏恩，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。