用于类混排网神经网络的跨通道的、基于移位的信息混合的系统和方法技术方案

本文公开了一种用于在神经网络的当前层的数据上执行卷积的系统、方法和设备，包括以第一顺序布置并且根据第一顺序被分区成多个第一分区的多个通道。每个第一分区包括在神经网络的先前层的数据中的通道的对应分区上的卷积的结果。该设备将以第一顺序布置的多个通道移位为第二顺序，根据第二顺序将经移位的多个通道分区成多个第二分区。针对多个第二分区中的每个第二分区，该设备在对应的第二分区中的、经移位的多个通道的通道上执行卷积。经移位的多个通道的通道上执行卷积。经移位的多个通道的通道上执行卷积。

【技术实现步骤摘要】
【国外来华专利技术】用于类混排网神经网络的跨通道的、基于移位的信息混合的系统和方法


[0001]本公开一般涉及用于执行卷积的系统和方法，包括但不限于用于在经移位的通道上执行卷积的系统和方法。

技术介绍

[0002]人工智能(AI)加速器中的一个挑战涉及控制或减少执行针对神经网络的AI处理中的功耗。例如，神经网络可以是可以包括卷积层的卷积神经网络。在卷积层中，AI加速器可以将卷积运算应用到输入层，以相较于传统全连接前馈神经网络而减少参数数目的方式将结果传递到下一层。然而，随着越来越多的复杂多维(例如，多通道)输入/输出结构在卷积神经网络中被使用，减少能量和延时的方式可以是有益的。此外，考虑到将信息混合应用到卷积运算中的过多存储器操作，减少存储器操作可以是有益的。

技术实现思路

[0003]本文公开的各种实施例涉及用于在多个分区当中的、对应分区中的多个通道中的通道上执行卷积的设备。在一些实施例中，该设备可以包括存储器和电路。存储器可以被配置为存储神经网络的当前层的数据。数据可以包括多个通道，该多个通道以第一顺序布置并且根据第一顺序被分区成多个第一分区。多个通道中的通道可以是具有至少一个维度的数据的阵列。每个第一分区可以包括：在神经网络的先前层的数据中的通道的对应分区上的卷积的结果。电路可以被配置为将以第一顺序布置的多个通道移位为第二顺序。电路可以被配置为根据第二顺序将经移位的多个通道分区成多个第二分区。针对多个第二分区中的每个第二分区，电路可以被配置为在经移位的多个通道中的通道上执行卷积，该多个通道在对应的第二分区中。/>[0004]在一些实施例中，电路可以被配置为：将以第一顺序布置的多个通道循环地移位确定数目的通道，以成为第二顺序。在一些实施例中，电路还可以被配置为将以第二顺序布置的多个通道写入到存储器的连续范围地址。电路还可以被配置为：从存储器的连续范围地址中读取以第二顺序布置的多个通道。
[0005]在一些实施例中，多个通道中的每个通道可以具有对应的标识符。电路可以被配置为：通过将地址映射函数应用到对应于多个通道中的特定通道的标识符，来标识特定通道的存储器地址。电路可以被配置为：从存储器中的特定通道的所标识的地址中读取特定通道。在一些实施例中，多个第二分区的数目可以与多个第一分区的数目相同。在一些实施例中，多个第二分区中的每个第二分区可以具有至少一个、与多个第一分区中的对应一个第一分区公共的通道。
[0006]在一些实施例中，电路可以包括：移位电路，其被配置为：将以第一顺序布置的多个通道循环地移位。电路可以包括：乘法器和累加器(MAC)电路，其被配置为针对多个第二分区中的每个第二分区，在循环地经移位的多个通道中的通道上执行所述卷积，该多个通
道在对应的第二分区中。移位电路可以被配置为在向右方向或向左方向中的一个方向上将以第一顺序布置的多个通道循环地移位。
[0007]本文公开的各种实施例涉及用于在多个分区当中的、对应分区中的多个通道中的通道上执行卷积的方法。在一些实施例中，该方法可以包括将神经网络的当前层的数据存储在存储器中。数据可以包括：多个通道，该多个通道以第一顺序布置并且根据第一顺序被分区成多个第一分区。每个第一分区可以包括：在神经网络的先前层的数据中的通道的对应分区上的卷积的结果。根据该方法，以第一顺序布置的多个通道可以由电路移位为第二顺序。经移位的多个通道可以由电路根据第二顺序被分区成多个第二分区。可以由电路来执行针对多个第二分区中的每个第二分区，在对应的第二分区中的、经移位的多个通道中的通道上的卷积。
[0008]在一些实施例中，多个通道中的通道可以包括：具有至少一个维度的数据的阵列。在一些实施例中，以第一顺序布置的多个通道可以被循环地移位确定数目的通道被循环地移位，以成为第二顺序。在一些实施例中，以第一顺序布置的多个通道可以由移位电路被循环地移位。在一些实施例中，以第一顺序布置的多个通道可以由移位电路在向右方向或向左方向中的一个方向上被循环地移位。
[0009]在一些实施例中，以第二顺序布置的多个通道可以被写入到存储器的连续范围地址。在一些实施例中，以第二顺序布置的多个通道可以从存储器的连续范围地址中被读取。在一些实施例中，多个第二分区的数目可以与多个第一分区的数目相同。多个第二分区中的每个第二分区可以具有至少一个、与多个第一分区中的对应一个第一分区公共的通道。
[0010]在一些实施例中，多个通道中的每个通道可以具有对应的标识符。在一些实施例中，多个通道中的特定通道的存储器地址可以通过将地址映射函数应用到对应于特定通道的标识符而被标识。特定通道可以从存储器中的特定通道的所标识的地址中被读取。在一些实施例中，由乘法器和累加器(MAC)电路针对多个第二分区中的每个第二分区，在循环地经移位的多个通道中的通道上执行所述卷积，该多个通道在对应的第二分区中。
[0011]这些和其他方面以及实现在下文详细讨论。前述信息和以下详细描述包括各个方面和实现的说明性示例，并且提供用于理解要求保护的方面和实现的本质和特征的概述或框架。将认识到，本文所描述的任何特征为适合于并入本专利技术的一个或多个方面或实施例中，这些任何特征旨在能跨本公开的任何和所有方面或实施例而具有可概括性。附图提供各个方面和实现的说明和进一步理解，并且被并入本说明书中并且组成本说明书的部分。
附图说明
[0012]附图不旨在为按比例绘制的。各个附图中的类似的附图标记和标记指示类似的元素。为了清楚性的目的，不是每个组件都可以被标记在每个附图中。
[0013]图1A是根据本公开的示例实现的、用于执行人工智能(AI)相关的处理的系统的实施例的框图。
[0014]图1B是根据本公开的示例实现的、用于执行AI相关的处理的设备的实施例的框图。
[0015]图1C是根据本公开的示例实现的、用于执行AI相关的处理的设备的实施例的框图。
[0016]图1D是根据本公开的示例实现的计算环境的框图。
[0017]图2A包括用于执行AI相关的处理的数据的表示。
[0018]图2B是用于执行针对神经网络层的信息混合的方法的实施例的框图。
[0019]图2C是根据本公开的示例实现的、用于执行针对神经网络层的信息混合的设备的实施例的框图。
[0020]图2D是根据本公开的示例实现的、用于执行针对神经网络层的信息混合的设备的实施例的框图。
[0021]图2E是图示根据本公开的示例实现的、用于执行针对神经网络层的信息混合的方法的流程图。
具体实施方式
[0022]在转到详细图示某些实施例的附图之前，应当理解，本专利技术不限于说明书中所阐述的或附图中图示的细节或方法。还应当理解，本文使用的术语仅出于描述的目的并且不应当被认为是限制性的。
[0023]出于阅读下面的本专利技术的各种实施例的描述的目的，对本说明书的各章节及其相应内容的以下描述可以是有帮助的：
[0024]‑
章节A描述对实践或实现本文的系统、方法和设备的实施例有用的环境、系统、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：存储器，被配置为存储神经网络的当前层的数据，所述数据包括多个通道，所述多个通道以第一顺序布置并且根据所述第一顺序被分区成多个第一分区，每个第一分区包括在所述神经网络的先前层的数据中的通道的对应分区上的卷积的结果；以及电路，被配置为：将以所述第一顺序布置的所述多个通道移位为第二顺序；根据所述第二顺序，将经移位的所述多个通道分区成多个第二分区；以及针对所述多个第二分区中的每个第二分区，在对应的所述第二分区中的、经移位的所述多个通道中的通道上执行卷积。2.根据权利要求1所述的设备，其中所述多个通道中的通道包括：具有至少一个维度的数据的阵列。3.根据权利要求1或权利要求2所述的设备，其中所述电路被配置为：将以所述第一顺序布置的所述多个通道循环地移位确定数目的通道，以成为所述第二顺序。4.根据权利要求1、权利要求2或权利要求3所述的设备，其中所述电路还被配置为：将以所述第二顺序布置的所述多个通道写入到所述存储器的连续范围地址；并且优选地其中，所述电路还被配置为：从所述存储器的所述连续范围地址中读取以所述第二顺序布置的所述多个通道。5.根据权利要求1至4中的任一项所述的设备，其中所述多个通道中的每个通道具有对应的标识符；并且优选地其中，所述电路还被配置为：通过将地址映射函数应用到对应于所述多个通道中的特定通道的标识符，来标识所述特定通道的存储器地址；以及从所述存储器中的所述特定通道的所标识的所述地址中读取所述特定通道。6.根据权利要求1至5中的任一项所述的设备，其中：所述多个第二分区的数目与所述多个第一分区的数目相同，并且所述多个第二分区中的每个第二分区具有至少一个、与所述多个第一分区中的对应一个第一分区公共的通道。7.根据权利要求1至6中的任一项所述的设备，其中所述电路包括：移位电路，被配置为：将以所述第一顺序布置的所述多个通道循环地移位；以及乘法器和累加器(MAC)电路，被配置为：针对所述多个第二分区中的每个第二分区，在循环地经移位的所述多个通道中的通道上执行所述卷积，所述多个通道在对应的所述第二分区中；并且优选地其中，所述移位电路被配置为：在向右方向或向左方向中的一个方向上将以所述第一顺序布置的所述多个通...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：