调度器、操作调度器的方法以及包括调度器的加速器设备技术

公开了调度器、操作调度器的方法以及包括调度器的加速器设备。一种操作调度器以对将在加速器中执行的模型执行调度的方法，所述方法包括：接收对在加速器中彼此独立地执行的第一模型和第二模型的至少一个执行请求；以及基于第一模型和第二模型的工作负载特性，对第一模型和第二模型执行以层为单位的调度。型和第二模型执行以层为单位的调度。型和第二模型执行以层为单位的调度。

【技术实现步骤摘要】
调度器、操作调度器的方法以及包括调度器的加速器设备
[0001]本申请要求于2020年6月1日在韩国知识产权局提交的第10
‑
2020
‑
0065626号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及调度器、操作调度器的方法以及包括调度器的加速器设备。

技术介绍

[0003]随着人工智能(AI)技术的发展，对仅用于AI的执行推断和学习的独立硬件的需求正在增加。因此，正在开发各种装置作为专用于实现AI的硬件。
[0004]这样的用于AI的专用硬件可由例如可被改变用途的中央处理器(CPU)、图形处理器(GPU)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)来实现。

技术实现思路

[0005]提供本
技术实现思路
以便以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
[0006]在一个总体方面，提供了一种调度加速器的方法，所述方法包括：接收对在加速器中彼此独立地执行的第一模型和第二模型的至少一个执行请求；以及基于第一模型和第二模型的工作负载特性，对第一模型和第二模型执行以层为单位的调度。
[0007]执行以层为单位的调度的步骤可包括：独立于所述至少一个执行请求被接收的顺序，对第一模型和第二模型执行以层为单位的调度。
[0008]第一模型和第二模型中的一个可具有计算成本大于存储器访问成本的工作负载特性，并且第一模型和第二模型中的另一个可具有存储器访问成本大于计算成本的工作负载特性。
[0009]执行以层为单位的调度的步骤可包括：响应于第一模型和第二模型具有相同的工作负载特性，执行以层为单位的调度，使得包括在第一模型中的层和包括在第二模型中的层以包括在第一模型中的层与包括在第二模型中的层之间的时间间隔被处理。
[0010]执行以层为单位的调度的步骤可包括：将第一模型和第二模型中的每个中的层之中的具有不同工作负载特性的两个层分别分配给加速器的计算资源和加速器的存储器访问资源。
[0011]执行以层为单位的调度的步骤可包括：响应于第一模型的第一层被分配给加速器的计算资源，将第一模型中的第一层之后的第二层或第二模型中的随后将被处理的第三层分配给加速器的存储器访问资源。
[0012]分配给计算资源的第一层可具有与分配给存储器访问资源的第二层或第三层的工作负载特性不同的工作负载特性。
[0013]执行以层为单位的调度的步骤可包括：基于第一模型和第二模型的每个层的工作
负载特性以及加速器的硬件资源，对第一模型和第二模型执行以层为单位的调度。
[0014]执行以层为单位的调度的步骤可包括：对第一模型和第二模型执行以层为单位的调度，以使用加速器的内部存储器中的重用的第一模型和第二模型中的每个的中间数据。
[0015]执行以层为单位的调度的步骤可包括：对第一模型和第二模型执行以层为单位的调度，以在搜索指示从包括在第一模型和第二模型中的每个中的输入层到包括在第一模型和第二模型中的每个中的输出层的执行顺序的路径时，基于直到前一步骤中的最佳调度结果来确定当前步骤中的最佳调度结果。
[0016]第一模型和第二模型在加速器中被执行时可彼此不具有数据依赖性。
[0017]加速器的硬件资源可包括：基于加速器中包括的至少一个处理元件的计算资源和基于加速器的内部存储器和/或外部存储器的存储器访问资源。
[0018]工作负载特性可包括：用于处理对应的工作负载的存储器访问成本大于计算成本的存储器密集型特性，以及用于处理对应的工作负载的计算成本大于存储器访问成本的计算密集型特性。
[0019]所述方法可包括：基于每个模型的工作负载特性和加速器的硬件资源，从接收到对其的执行请求的模型选择将被执行调度的至少两个模型，其中，执行以层为单位的调度的步骤可包括：基于工作负载特性对选择的至少两个模型执行以层为单位的调度。
[0020]在另一总体方面，提供了一种调度器，所述调度器被配置为对加速器中的模型的执行进行调度，所述调度器包括：处理器，被配置为：接收对在加速器中彼此独立地执行的第一模型和第二模型的至少一个执行请求；以及基于第一模型和第二模型的工作负载特性，对第一模型和第二模型执行以层为单位的调度。
[0021]处理器可被配置为：独立于所述至少一个执行请求被接收的顺序，对第一模型和第二模型执行以层为单位的调度。
[0022]第一模型和第二模型中的一个可具有计算成本大于存储器访问成本的工作负载特性，并且第一模型和第二模型中的另一个可具有存储器访问成本大于计算成本的工作负载特性。
[0023]处理器可被配置为：响应于第一模型和第二模型具有相同的工作负载特性，执行以层为单位的调度，使得包括在第一模型中的层和包括在第二模型中的层以包括在第一模型中的层与包括在第二模型中的层之间的时间间隔被处理。
[0024]在另一总体方面，提供了一种加速器设备，所述加速器设备包括：调度器，被配置为：接收对彼此独立地执行的第一模型和第二模型的至少一个执行请求，并且基于第一模型和第二模型的工作负载特性对第一模型和第二模型执行以层为单位的调度；以及加速器，被配置为：基于由调度器确定的调度来执行第一模型和第二模型。
[0025]在另一总体方面，提供一种处理设备，所述处理设备包括：调度器，被配置为：基于一个或多个模型的各自的工作负载特性和加速器的硬件资源来确定用于执行所述一个或多个模型的以层为单位的调度，并且将调度发送到加速器；以及加速器，被配置为：基于由调度器确定的调度来执行所述一个或多个模型，其中，所述一个或多个模型在加速器中被执行时彼此不具有数据依赖性。
[0026]调度器可被配置为：基于所述一个或多个模型的每个层的各自的工作负载特性和加速器的硬件资源来确定调度。
[0027]调度可被配置为：基于直到前一步骤获得的调度来确定当前步骤的调度。
[0028]加速器可包括：多个处理元件和可由所述多个处理元件中的至少一个处理元件访问的多级存储器。
[0029]从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
[0030]图1A和图1B是示出加速器设备的示例的示图。
[0031]图2是示出加速器的硬件资源的示例的示图。
[0032]图3是示出调度器和加速器的示例的示图。
[0033]图4是示出调度器的操作的示例的示图。
[0034]图5是示出以层为单位的调度搜索的示例的示图。
[0035]图6是示出操作调度器的方法的示例的示图。
[0036]图7和图8是示出加速器设备的示例的示图。
[0037]贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度加速器的方法，所述方法包括：接收对在加速器中彼此独立地执行的第一模型和第二模型的至少一个执行请求；以及基于第一模型和第二模型的工作负载特性，对第一模型和第二模型执行以层为单位的调度。2.根据权利要求1所述的方法，其中，执行以层为单位的调度的步骤包括：独立于所述至少一个执行请求被接收的顺序，对第一模型和第二模型执行以层为单位的调度。3.根据权利要求1所述的方法，其中，第一模型和第二模型中的一个具有计算成本大于存储器访问成本的工作负载特性，并且第一模型和第二模型中的另一个具有存储器访问成本大于计算成本的工作负载特性。4.根据权利要求1所述的方法，其中，执行以层为单位的调度的步骤包括：响应于第一模型和第二模型具有相同的工作负载特性，执行以层为单位的调度，使得包括在第一模型中的层和包括在第二模型中的层以预定时间差或以包括在第一模型中的层与包括在第二模型中的层之间的时间间隔被处理。5.根据权利要求1至权利要求4中任意一项所述的方法，其中，执行以层为单位的调度的步骤包括：将第一模型和第二模型中的每个中的层之中的具有不同工作负载特性的两个层分别分配给加速器的计算资源和加速器的存储器访问资源。6.根据权利要求1至权利要求4中任意一项所述的方法，其中，执行以层为单位的调度的步骤包括：响应于第一模型的第n层被分配给加速器的计算资源，将第一模型中的第n层之后的第n+1层或第二模型中的随后将被处理的第m层分配给加速器的存储器访问资源，其中，n和m为正整数。7.根据权利要求6所述的方法，其中，被分配给加速器的计算资源的第n层具有与被分配给加速器的存储器访问资源的第n+1层或第m层的工作负载特性不同的工作负载特性。8.根据权利要求1至权利要求4中任意一项所述的方法，其中，执行以层为单位的调度的步骤包括：基于第一模型和第二模型的每个层的工作负载特性以及加速器的硬件资源，对第一模型和第二模型执行以层为单位的调度。9.根据权利要求1至权利要求4中任意一项所述的方法，其中，执行以层为单位的调度的步骤包括：通过使用加速器的内部存储器中的重用的第一模型和第二模型中的每个的中间数据，来对第一模型和第二模型执行以层为单位的调度。10.根据权利要求1至权利要求4中任意一项所述的方法，其中，执行以层为单位的调度的步骤包括：通过在搜索路径的处理中基于直到前一步骤中的最优调度结果确定当前步骤中的最优调度结果，来对第一模型和第二模型执行以层为单位的调度，所述路径指示从包括在第一模型和第二模型中的每个中的输入层到包括在第一模型和第二模型中的每个中的输出层的执行顺序。
11.根据权利要求1至权利要求4中任意一项所述的方法，其中，第一模型和第二模型在加速器中被执行时彼此不具有数据依赖性。12.根据权利要求1至权利要求4中任意一项所述的方法，其中，加速器的硬件资源包括：基于包括在加速器中的至少一个处理元件的计算资源和基于加速器的内部存储器和/或外部存储器的存储器访问资...

【专利技术属性】
技术研发人员：李承昱，李宰旭，吴永皖，金成学，咸台俊，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：