本公开涉及由加速器装置访问和处理数据的方法。所述方法包括：检索要由所述加速器装置处理的输入数据的至少一部分；将所述输入数据分割为多个相邻输入块，所述输入块具有预定大小；将所述多个相邻输入块中的至少一个输入块存储在所述加速器装置的数据缓冲器中；通过将输入窗口定位于存储在所述数据缓冲器中的多个相邻输入块中的所述至少一个输入块的数据元素上方，访问存储在所述数据缓冲器中的数据元素，以生成多个输入区域，其中，所述输入窗口能够根据一组参数进行调整；以及顺序地处理所述多个输入区域中的至少一个输入区域，以由所述加速器装置至少部分地处理所述多个相邻输入块中的所述至少一个输入块。加速器装置和相应的系统被公开。相应的系统被公开。相应的系统被公开。
【技术实现步骤摘要】
【国外来华专利技术】用于加速操作的方法和加速器装置
[0001]本专利技术涉及由加速器装置访问和处理数据的方法、加速器装置和系统。特别地，本专利技术可以涉及使用可调整输入窗口对相邻输入块进行操作的方法。
技术介绍
[0002]由于计算技术的最新发展，大多数设备、机器或基础设施的操作完全依赖于基于计算机的各种输入数据处理和/或基于计算机的处理状态评估，以便生成适合于控制设备、机器或基础设施的信息。通常，这种处理和相应的决策制定需要大量复杂的计算任务或操作，但是，这些计算任务或操作通常属于相似的类型。虽然可以由诸如处理设备的CPU或核之类的通用处理单元执行所述任务或操作，各种用于加速此类任务或操作的专用硬件仍被提出。这种专用硬件通常称为加速器。
[0003]例如，已经提出了各种数学协处理器来加速数学运算，诸如对浮点数的运算等等。作为加速器的另一示例，已经提出了视频或图形加速器来加速图形或视频对象的处理和渲染。加速器通常包括专用于所需任务或操作以及相应的数据格式的专用硬件。
[0004]在图像处理、计算机视觉和人工智能的领域，已经提出了用于卷积操作的加速器。在许多人工智能方法中都需要卷积操作来对输入数据进行分析和分类以实现决策过程。由于这种处理通常响应于所拍摄的传感器数据而在相应设备上本地执行，因此卷积操作的实时处理已成为例如脸部识别、交通标志检测以及与监视、安全应用、自动驾驶等相关的其他任务中的关键问题。卷积神经网络(CNN)是应用在计算机视觉和人工智能中的使用卷积操作的一种技术示例。CNN将特征提取和分类组合在一个灵活的模型中，该模型可以通过更新处理参数来适应各种场景。
[0005]已经提出了几种CNN加速器，例如，由S.Chakradhar等人于2010年在ISCA中发表的“A Dynamically Configurable Coprocessor for Convolutional Neural Networks(用于卷积神经网络的动态可配置协处理器)”，以及C.Farabet等人于2011年在Embedded Computer Vision Workshop(嵌入式计算机视觉研讨会)中发表的“NeuFlow:A Runtime Reconfigurable Data Flow Processor for Vision(NeuFlow：面向视觉的运行时可重配置数据流处理器)”中提出的。这些CNN加速器将CNN的操作映射到专用硬件。但是，在大多数方法中，困难在于如何进行仲裁和路由以共享输入并将CNN的输出连接到其他资源。在各种应用场景中，加速器的处理效率可能因过多的数据传输和有限的带宽而大大降低，这可能会降低加速器的效率。M.Peemen等人于2013年在ICCD中发表的“Memory-centric Accelerator Design for Convolutional Neural Networks(用于卷积神经网络的以存储器为中心的加速器设计)”公开了一种用于卷积神经网络的以存储器为中心的加速器设计，该加速器具有可通过利用数据重用和存储器访问模式来解决带宽问题的存储器子系统。加速器经由快速单工链路(Fast Simplex Link)连接而耦接到外部存储器，所述连接被主机处理器用来使数据流入和流出加速器。
[0006]除带宽问题外，已知的加速器还受到输入数据的特定大小和排列的限制。US 9,
665,799公开了一种CNN，其在每一周期计算权重核与底层数据的卷积。但是，如果使用其他大小的权重核，则可能无法充分利用计算资源，并且如果对输入数据进行二次采样，则计算效率可能会下降。在WO2017/003887A1中公开了加速器的另一种布置。此布置可能会因权重核重叠而需要存储冗余输入数据。
[0007]因此，本公开的至少一个目的在于定义一种由加速器装置访问和处理数据(诸如通过应用卷积操作)的方法，其可以灵活地适用于各种场景，有效地利用可用资源，并且处理与由加速器装置处理的输入和输出数据的交换有关的带宽问题。
技术实现思路
[0008]本专利技术由根据独立权利要求的方法、装置和系统限定。优选实施例在从属权利要求中限定。
[0009]在本公开的一方面，定义了由加速器装置访问和处理数据的方法，该方法包括：检索要由所述加速器装置处理的输入数据的至少一部分；将所述输入数据分割为多个相邻输入块，所述输入块具有预定大小；将所述多个相邻输入块中的至少一个输入块存储在所述加速器装置的数据缓冲器中；通过将输入窗口定位于存储在所述数据缓冲器中的所述多个相邻输入块中的所述至少一个输入块的数据元素上方，访问存储在所述数据缓冲器中的所述数据元素，以生成多个输入区域，其中，所述输入窗口能够根据一组参数进行调整；以及顺序地处理所述多个输入区域中的至少一个输入区域，以由所述加速器装置至少部分地处理所述多个相邻输入块中的所述至少一个输入块。
[0010]该方法可以被实现为加速器装置中的硬件、软件或两者的组合，例如，被配置为执行一个或多个方法步骤的硬件单元，该加速器装置具有：多个处理模块，每个所述处理模块被配置为处理输入数据；控制模块，被配置为控制所述多个处理模块中的每个处理模块的处理；和/或高速缓存模块，被配置为存储由所述多个处理模块中的至少一个处理模块处理后的数据的至少一部分。每个所述处理模块可以包括：处理核，被配置为通过使用多个处理元件执行操作来处理输入数据；输入控制单元，被配置为检索输入数据，例如，经由接口访问的外部数据和/或存储在高速缓存模块中的数据，并将检索到的输入数据提供给处理核。所述处理核可以包括存储输入块的数据缓冲器。每个处理模块还可以包括输出控制单元，该输出控制单元被配置为向接口和高速缓存模块提供由处理核处理后的数据。
[0011]该方法通过定义检索输入数据并使用可调整输入窗口来对个体输入块进行操作的结构，改善了加速器装置中对数据的访问和处理。这简化了加速器装置对存储在数据缓冲器中的输入数据的结构化检索和对检索到的输入数据的处理，使得用于实现处理元件的硬件可以简化为对连续输入区域的处理。
[0012]在一个实施例中，该方法还包括：依序将多个相邻输入块中的另一输入块存储在数据缓冲器中；以及使用输入窗口来访问多个相邻输入块中的另一输入块的数据。
[0013]根据一个实施例，所述一组参数包括步长值和膨胀值。应理解，步长值和膨胀值表示作为用于配置输入窗口以生成输入区域的参数的数值。
[0014]在优选实施例中，膨胀值定义输入窗口的两个连续位置之间的距离。
[0015]在另一实施例中，该方法还包括确定加速器装置的处理模式。优选地，在第一处理模式下，步长值定义由输入窗口采样的数据元素之间的间隔。根据另一优选实施例，在第二
处理模式下，步长值定义由输入窗口的单个数据元素生成的数据元素的数量。可以以一维或多维、二维、三维或三个以上的维度来生成数据元素。例如，可以在包括水平维度和垂直维度的两个维度上生成数据元素。由输入窗口的单个数据元素生成的数据元素的数量可以取决于维度的数量和/或步长值本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种利用加速器装置访问和处理数据的方法，包括：检索要由所述加速器装置处理的输入数据的至少一部分；将所述输入数据分割为多个相邻输入块，所述输入块具有预定大小；将所述多个相邻输入块中的至少一个输入块存储在所述加速器装置的数据缓冲器中；通过将输入窗口定位于存储在所述数据缓冲器的所述多个相邻输入块中的所述至少一个输入块的数据元素上方，访问存储在所述数据缓冲器的所述数据元素，以生成多个输入区域，其中，所述输入窗口能够根据一组参数进行调整；以及顺序地处理所述多个输入区域中的至少一个输入区域，以由所述加速器装置至少部分地处理所述多个相邻输入块中的所述至少一个输入块。2.根据权利要求1所述的方法，还包括：依序将所述多个相邻输入块中的另一输入块存储在所述数据缓冲器；以及使用所述输入窗口来访问所述多个相邻输入块中的所述另一输入块的数据。3.根据权利要求1或2所述的方法，其中，所述一组参数包括步长值和膨胀值，所述膨胀值定义所述输入窗口的两个连续位置之间的距离。4.根据权利要求3所述的方法，还包括确定所述加速器装置的处理模式，其中，在第一处理模式下，所述步长值定义由所述输入窗口采样的数据元素之间的间隔，在第二处理模式下，所述步长值定义由所述输入窗口的单个数据元素生成的数据元素的数量。5.根据前述权利要求中任一项所述的方法，其中，所述一组参数还包括到存储在系数缓冲器中的系数矩阵的映射，通过根据所述映射将所述系数矩阵中的至少一个元素应用于输入区域来处理所述输入区域。6.根据权利要求5所述的方法，还包括：与生成所述输入区域并行地检索所述系数矩阵中的所述至少一个元素；以及使用至少一个处理元件在所述输入区域上应用所述系数矩阵中的所述至少...
【专利技术属性】
技术研发人员：G，
申请(专利权)人：智动科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。