【技术实现步骤摘要】
【国外来华专利技术】
本公开的实施例大体上涉及神经网络技术，并且具体地涉及用于加速处理引擎的计算的装置、方法、设备和介质。
技术介绍
1、在神经网络加速架构中，有很多处理引擎，每个处理引擎中均可以计算矩阵/张量的内积或卷积。不同任务的输入通道可能会有很大差异，因此输入通道的数量不一定是处理引擎的处理容量的整数倍。在神经网络加速硬件中，大部分电路和区域被分配给处理引擎，这些处理引擎经常需要固定长度的数据。然而，当输入通道大小(即，输入通道的数量)不是处理引擎的处理容量的整数倍时，处理引擎可能未被充分利用。目前，需要填充输入通道以适应处理引擎。结果，存储器利用率降低并且处理引擎的计算变慢。
技术实现思路
1、根据本公开的一方面，提供了一种装置。该装置包括接口电路，该接口电路被配置为接收权重数据和激活数据，其中权重数据和激活数据被以批次-高度-宽度-通道(nhwc)存储器布局存储；以及处理器电路，该处理器电路耦合到接口电路并且被配置为：确定处理引擎的处理容量；确定输入通道大小；响应于输入通道大小不是处理容量的整数倍，在属于过滤器的权重数据的最后一个元素之后和对应的激活数据的最后一个元素之后分别填充多个零，其中零的数量等于以下二者之间的绝对差值：处理引擎的处理容量，和输入通道大小与过滤器的内核宽度和内核高度的乘积除以处理引擎的处理容量的余数，将属于过滤器的所有权重数据元素和在权重数据的最后一个元素之后填充的零按照处理容量的大小切成权重数据切片，并且将对应的激活数据元素和在对应的激活数据的最后一个元素之后填充的零
2、根据本公开的另一方面，提供了一种方法。该方法包括确定处理引擎的处理容量；确定输入通道大小；响应于输入通道大小不是处理容量的整数倍，在属于过滤器的权重数据的最后一个元素之后和对应的激活数据的最后一个元素之后分别填充多个零，其中零的数量等于以下二者之间的绝对差值：处理引擎的处理容量，和输入通道大小与过滤器的内核宽度和内核高度的乘积除以处理引擎的处理容量的余数，权重数据和激活数据被以批次-高度-宽度-通道(nhwc)存储器布局存储，将属于过滤器的所有权重数据元素和在权重数据的最后一个元素之后填充的零按照处理容量的大小切成权重数据切片，并且将对应的激活数据元素和在对应的激活数据的最后一个元素之后填充的零按照处理容量的大小切成对应的激活数据切片，并且顺序地向处理引擎馈送权重数据切片和对应的激活数据切片。
3、本公开的另一方面提供了一种设备，该设备包括用于实现本公开的方法的装置。
4、本公开的另一方面提供了一种机器可读存储介质，其上存储有指令，这些指令在由机器执行时，使得机器执行本公开的方法。
本文档来自技高网...【技术保护点】
1.一种装置，包括：
2.根据权利要求1所述的装置，其中，权重数据切片包括来自属于所述过滤器的一个或多个数据组的权重数据元素，并且每个数据组包括的权重数据元素的数目为所述输入通道大小。
3.根据权利要求1所述的装置，其中，所述处理器电路还被配置为对属于下一个过滤器的权重数据和对应的激活数据执行填充、切片和馈送操作。
4.根据权利要求1所述的装置，其中，所述处理引擎是神经网络加速硬件，并且被设计为按照所述处理容量的大小计算数据元素的内积或卷积。
5.根据权利要求1到4中任一项所述的装置，其中，所述处理引擎的处理容量是16，所述输入通道大小是8，所述过滤器的内核宽度和内核高度均是3，并且所述处理器电路配置为：
6.根据权利要求5所述的装置，其中，存储器利用率是90％。
7.根据权利要求1到4中任一项所述的装置，其中，所述处理引擎的处理容量是16，所述输入通道大小是24，所述过滤器的内核宽度和内核高度均是3，并且所述处理器电路配置为：
8.根据权利要求7所述的装置，其中，存储器利用率是96.42％。p>
9.一种方法，包括：
10.根据权利要求9所述的方法，其中，权重数据切片包括来自属于所述过滤器的一个或多个数据组的权重数据元素，并且每个数据组包括的权重数据元素的数目为所述输入通道大小。
11.根据权利要求9所述的方法，进一步包括：
12.根据权利要求9所述的方法，其中，所述处理引擎是神经网络加速硬件，并且被设计为按照所述处理容量的大小计算数据元素的内积或卷积。
13.根据权利要求9到12中任一项所述的方法，其中，所述处理引擎的处理容量是16，所述输入通道大小是8，所述过滤器的内核宽度和内核高度均是3，并且所述方法包括：
14.根据权利要求13所述的方法，其中，存储器利用率是90％。
15.根据权利要求9到12中任一项所述的方法，其中，所述处理引擎的处理容量是16，所述输入通道大小是24，所述过滤器的内核宽度和内核高度均是3，并且所述方法包括：
16.根据权利要求15所述的方法，其中，存储器利用率是96.42％。
17.一种机器可读存储介质，其上存储有指令，所述指令在被机器执行时，使所述机器执行操作，所述操作包括：
18.根据权利要求17所述的机器可读存储介质，其中，权重数据切片包括来自属于所述过滤器的一个或多个数据组的权重数据元素，并且每个数据组包括的权重数据元素的数目为所述输入通道大小。
19.根据权利要求17所述的机器可读存储介质，其中，所述指令在被所述机器执行时，还使得所述机器对属于下一个过滤器的权重数据和对应的激活数据执行填充、切片和馈送操作。
20.根据权利要求17所述的机器可读存储介质，其中，所述处理引擎是神经网络加速硬件，并且被设计为按照所述处理容量的大小计算数据元素的内积或卷积。
21.根据权利要求17到21中任一项所述的机器可读存储介质，其中，所述处理引擎的处理容量是16，所述输入通道大小是8，所述过滤器的内核宽度和内核高度均是3，并且所述指令在被所述机器执行时，使得所述机器：
22.根据权利要求21所述的机器可读存储介质，其中，存储器利用率是90％。
23.根据权利要求17到21中任一项所述的机器可读存储介质，其中，所述处理引擎的处理容量是16，所述输入通道大小是24，所述过滤器的内核宽度和内核高度均是3，并且所述指令在被所述机器执行时，使得所述机器：
24.根据权利要求23所述的机器可读存储介质，其中，存储器利用率是96.42％。
25.一种设备，包括用于执行如权利要求9到16中任一项所述的方法的装置。
...【技术特征摘要】
【国外来华专利技术】
1.一种装置，包括：
2.根据权利要求1所述的装置，其中，权重数据切片包括来自属于所述过滤器的一个或多个数据组的权重数据元素，并且每个数据组包括的权重数据元素的数目为所述输入通道大小。
3.根据权利要求1所述的装置，其中，所述处理器电路还被配置为对属于下一个过滤器的权重数据和对应的激活数据执行填充、切片和馈送操作。
4.根据权利要求1所述的装置，其中，所述处理引擎是神经网络加速硬件，并且被设计为按照所述处理容量的大小计算数据元素的内积或卷积。
5.根据权利要求1到4中任一项所述的装置，其中，所述处理引擎的处理容量是16，所述输入通道大小是8，所述过滤器的内核宽度和内核高度均是3，并且所述处理器电路配置为：
6.根据权利要求5所述的装置，其中，存储器利用率是90％。
7.根据权利要求1到4中任一项所述的装置，其中，所述处理引擎的处理容量是16，所述输入通道大小是24，所述过滤器的内核宽度和内核高度均是3，并且所述处理器电路配置为：
8.根据权利要求7所述的装置，其中，存储器利用率是96.42％。
9.一种方法，包括：
10.根据权利要求9所述的方法，其中，权重数据切片包括来自属于所述过滤器的一个或多个数据组的权重数据元素，并且每个数据组包括的权重数据元素的数目为所述输入通道大小。
11.根据权利要求9所述的方法，进一步包括：
12.根据权利要求9所述的方法，其中，所述处理引擎是神经网络加速硬件，并且被设计为按照所述处理容量的大小计算数据元素的内积或卷积。
13.根据权利要求9到12中任一项所述的方法，其中，所述处理引擎的处理容量是16，所述输入通道大小是8，所述过滤器的内核宽度和内核高度均是3，并且所述方法包括：
14.根据权利要求13所述的方法，其中...
【专利技术属性】
技术研发人员：钱煦，洪海云，蒋佩卿，李源源，楼思佳，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。