加速器和用于加速操作的系统技术方案

本申请公开了一种用于加速操作的加速器和系统。相应装置包括：接口，被配置为将所述装置耦接到互连；多个处理模块，每个处理模块被配置为处理数据；控制模块，被配置为控制所述多个处理模块中的每个处理模块的处理；以及高速缓存模块，被配置为存储由所述多个处理模块中的至少一个处理模块处理后的数据的至少一部分。每个处理模块进一步包括：处理核，被配置为通过使用多个处理元件对数据执行操作来处理所述数据；输入控制单元，被配置为经由所述接口来检索数据和检索存储在所述高速缓存模块中的数据，并将检索到的数据提供给所述处理核；以及输出控制单元，被配置为将由所述处理核处理后的数据提供给所述接口和所述高速缓存模块。存模块。存模块。

【技术实现步骤摘要】
【国外来华专利技术】加速器和用于加速操作的系统


[0001]本专利技术涉及使用具有多个处理元件的多个处理模块来加速操作的装置、系统和方法。特别地，本专利技术可以涉及加速器，其可以被配置为实现卷积操作以加速卷积神经网络的操作。

技术介绍

[0002]由于计算技术的最新发展，大多数设备、机器或基础设施的操作完全依赖于基于计算机的各种输入数据处理和/或基于计算机的处理状态评估，以便生成适合于控制设备、机器或基础设施的信息。通常，这种处理和相应的决策制定需要大量复杂的计算任务或操作，但是，这些计算任务或操作通常属于相似的类型。虽然可以由诸如处理设备的CPU或核之类的通用处理单元执行所述任务或操作，各种用于加速此类任务或操作的专用硬件仍被提出。这种专用硬件通常称为加速器。
[0003]例如，已经提出了各种数学协处理器来加速数学运算，诸如对浮点数的运算等等。作为加速器的另一示例，已经提出了视频或图形加速器来加速图形或视频对象的处理和渲染。加速器通常包括专用于所需任务或操作以及相应的数据格式的专用硬件。
[0004]在图像处理、计算机视觉和人工智能的领域，已经提出了用于卷积操作的加速器。在许多人工智能方法中都需要卷积操作来对输入数据进行分析和分类以实现决策过程。由于这种处理通常响应于所拍摄的传感器数据而在相应设备上本地执行，因此卷积操作的实时处理已成为例如脸部识别、交通标志检测以及与监视、安全应用、自动驾驶等相关的其他任务中的关键问题。卷积神经网络(CNN)是应用在计算机视觉和人工智能中的使用卷积操作的一种技术示例。CNN将特征提取和分类组合在一个灵活的模型中，该模型可以通过更新处理参数来适应各种场景。
[0005]已经提出了几种CNN加速器，例如，由S.Chakradhar等人于2010年在ISCA中发表的“A Dynamically Configurable Coprocessor for Convolutional Neural Networks(用于卷积神经网络的动态可配置协处理器)”，以及C.Farabet等人于2011年在Embedded Computer Vision Workshop(嵌入式计算机视觉研讨会)中发表的“NeuFlow:A Runtime Reconfigurable Data Flow Processor for Vision(NeuFlow：面向视觉的运行时可重配置数据流处理器)”中提出的。这些CNN加速器将CNN的操作映射到专用硬件。但是，在大多数方法中，困难在于如何进行仲裁和路由以共享输入并将CNN的输出连接到其他资源。在各种应用场景中，加速器的处理效率可能因过多的数据传输和有限的带宽而大大降低，这可能会降低加速器的效率。M.Peemen等人于2013年在ICCD中发表的“Memory-centric Accelerator Design for Convolutional Neural Networks(用于卷积神经网络的以存储器为中心的加速器设计)”公开了一种用于卷积神经网络的以存储器为中心的加速器设计，该加速器具有可通过利用数据重用和存储器访问模式来解决带宽问题的存储器子系统。加速器经由快速单工链路(Fast Simplex Link)连接而耦接到外部存储器，所述连接被主机处理器用来使数据流入和流出加速器。
[0006]除带宽问题外，已知的加速器还受到输入数据的特定大小和排列的限制。US 9,665,799公开了一种CNN，其在每一周期计算权重核与底层数据的卷积。但是，如果使用其他大小的权重核，则可能无法充分利用计算资源，并且如果对输入数据进行二次采样，则计算效率可能会下降。在WO 2017/003887 A1中公开了加速器的另一种布置。此布置可能会因权重核重叠而需要存储冗余输入数据。
[0007]因此，本公开的至少一个目的在于定义一种使用装置来加速诸如卷积操作之类的操作的方法，其可以灵活地适用于各种场景，有效地利用可用资源，并且处理与由装置处理的输入和输出数据的交换有关的带宽问题。

技术实现思路

[0008]本专利技术由根据独立权利要求的装置、系统和方法限定。优选实施例在从属权利要求中限定。
[0009]根据本公开的第一方面，定义了一种装置，该装置包括：接口，被配置为将所述装置耦接到互连；多个处理模块，每个处理模块被配置为处理数据；控制模块，被配置为控制多个处理模块中的每个处理模块的处理；以及高速缓存模块，被配置为存储由多个处理模块中的至少一个处理模块处理后的数据的至少一部分，其中，每个处理模块进一步包括：处理核，被配置为使用多个处理元件执行操作来处理数据；输入控制单元，被配置为经由接口来检索数据和检索存储在高速缓存模块中的数据，并将所检索到的数据提供给处理核；以及输出控制单元，被配置为将由处理核处理后的数据提供给接口和高速缓存模块。
[0010]可以使用接口将该装置插入计算系统，该计算系统可以接收输入数据以供多个处理模块进行处理，并提供该装置的处理结果。该装置还包括高速缓存模块，该高速缓存模块存储部分结果数据以使多个处理模块能够经由高速缓存模块直接访问任何中间数据或结果。这可以减少输入数据到初始设置的任何传输和(最终)结果的交换。即使在处理期间需要数据，也可以减少经由接口的中间数据的过度通信。
[0011]高速缓存模块可以与多个处理模块一起提供在相同的模具(die)、电路上或在同一封装内，并且可以被布线或以其他方式耦接到多个处理模块，以使得能够经由高速缓存模块直接交换输出数据，作为下一个计算周期的输入数据。高速缓存模块可以被配置为存储器，以存储和/或缓存一个或多个处理模块的至少部分结果数据，其可以进一步用作用于处理(不同或相同的)一个或多个处理模块的输入。高速缓存模块可以是具有多个写入和读取端口的存储器，其可以连接到处理模块，以便为各处理模块提供低延迟的片上存储器。
[0012]该装置包括多个处理模块，其中，每个处理模块可以对输入数据执行所需操作，该输入数据可以经由接口来检索，或者可以直接从高速缓存模块中检索。这实现了用于各种任务或操作的装置的灵活配置。
[0013]每个处理模块包括具有多个处理元件的处理核，所述处理元件可以处理输入数据的多个数据值以生成对应的(中间)结果。每个处理模块还包括输入控制单元，该输入控制单元控制要由处理核处理的输入数据是经由接口检索还是从高速缓存模块检索。卷积操作结果的提供进一步由输出控制单元控制，该输出控制单元控制输出数据是经由接口提供(给外部存储)还是作为中间数据存储在高速缓存模块中，该中间数据进一步由多个处理模块中的至少一个处理模块用作后续输入。这使得装置的灵活配置能够加速用于各种任务和
操作的操作，从而有效地利用可用资源并减少经由接口与外部主机通信的数据量。因此，每个处理元件可以在各个写入和读取接口上访问高速缓存模块，以获得对高速缓存模块的同时访问。
[0014]优选地，输入数据和/或输出数据可以包括神经网络的层数据。在一个实施例中，输入数据和/或输出数据可以包括图像数据，并且输入数据和/或输出数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：接口，被配置为将所述装置耦接到互连；多个处理模块，每个所述处理模块被配置为处理数据；控制模块，被配置为控制所述多个处理模块中的每个处理模块的处理；以及高速缓存模块，被配置为存储由所述多个处理模块中的至少一个处理模块处理后的数据的至少一部分，其中，每个所述处理模块进一步包括：处理核，被配置为通过使用多个处理元件对数据执行操作来处理所述数据；输入控制单元，被配置为经由所述接口来检索数据和检索存储在所述高速缓存模块中的数据，并将检索到的数据提供给所述处理核；以及输出控制单元，被配置为将由所述处理核处理后的数据提供给所述接口和所述高速缓存模块。2.根据权利要求1所述的装置，其中，所述控制模块被配置为：经由所述接口检索配置数据，以及基于所述配置数据来设置所述多个处理模块中的至少一个处理模块。3.根据权利要求1或2所述的装置，其中，所述控制模块被配置为在所述多个处理模块之间调度命令，所述命令是响应于从所述多个处理模块的所述输入控制单元和所述输出控制单元中的一个或多个接收的多个状态而被调度的。4.根据前述权利要求中任一项所述的装置，其中，所述控制模块被配置为：控制至少一个处理模块的至少一个输出控制单元以及一个或多个处理模块的一个或多个输入控制单元，以将由所述至少一个处理模块处理后的数据经由所述高速缓存模块馈送回所述一个或多个处理模块。5.根据前述权利要求中任一项所述的装置，其中，每个所述处理模块还包括系数控制单元，所述系数控制单元被配置为经由所述接口检索系数数据。6.根据前述权利要求中任一项所述的装置，所述处理核进一步包括：数据缓冲器；以及处...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：智动科技有限公司，
类型：发明
国别省市：